条件付き確率場の推論と学習

条件付き確率場の推論と学習 from Masaki Saito

　前回の研究室ゼミで話した，条件付き確率場についての簡単な紹介スライドを公開します．内容は基本的なPairwise CRFについての話と，それが実際にどのような問題に対して応用がなされているか，またもっとも使われる最適化手法の一つである，平均場近似と確率伝搬法についての簡単な解説と，CRFの初歩的な学習法といった流れです．

補足:
　CRFの学習は自然言語処理など他の分野でもよく使われている学習法なのでおそらく知っている方は多いと思うのですが，普通はダイレクトに対数尤度を最大化することでパラメータを求めています．しかし，今回はKL距離という確率分布間の近さを図る指標を用いて対数尤度を拡張し，パラメータを求めています．なぜわざわざそうするのかというと，だいたいの最適化手法がKL距離の最小化という議論に帰着できて，すっきりするからです．KL距離を使えば平均場近似，確率伝搬法，最尤推定，あと時間の都合上話せなかったTRWやGeneralized Belief Propagationなどの最適化手法がすべて統一的に理解できます．これによって覚えることが少なくなって楽できるだけでなく，このKL距離を使った新しい最適化手法を提案することもできます．