機械学習のお勉強(ベイズ推定)
パラメトリックモデルの3つのステップ
パラメータを含むモデル(数式)を設定する
パラメータを評価する
最良の評価を与えるパラメータを決定する
ここで、2.においてパラメータを評価する基準として大きく2つある
1つは誤差を定義して誤差を最小にするパラメータを決める
トレーニングセットが得られる確率である尤度関数を定義してこれを最大にするようにパラメータを決める
尤度関数(わかりやすい→): 【統計学】尤度って何?をグラフィカルに説明してみる。 - Qiita
ベイズ推定
これらとは異なる新しいパラメータの評価方法
ベイズの定理
考え方:ベイズの定理の基本的な解説 | 高校数学の美しい物語
使い方(大事!):10-6. ベイズの定理の使い方 | 統計学の時間 | 統計WEB
最尤推定とベイズ推定
ベイズ推定は最尤推定の拡張と考えることができる。ベイズ推定は事前分布からの影響を受けない時は、最尤推定と同じになり、影響を受けるときは異なり、オーバーフィッティングを防ぐなどの効果がある。
藤井四段で学ぶ最尤推定、MAP推定、ベイズ推定 - Qiita
ベイズ推定の回帰分析への応用
(TBD)