空飛ぶロボットのつくりかた

ロボットをつくるために必要な技術をまとめます。ロボットの未来についても考えたりします。

機械学習のお勉強(ベイズ推定)

パラメトリックモデルの3つのステップ

  1. パラメータを含むモデル(数式)を設定する

  2. パラメータを評価する

  3. 最良の評価を与えるパラメータを決定する

ここで、2.においてパラメータを評価する基準として大きく2つある

  • 1つは誤差を定義して誤差を最小にするパラメータを決める

  • トレーニングセットが得られる確率である尤度関数を定義してこれを最大にするようにパラメータを決める

尤度関数(わかりやすい→):  【統計学】尤度って何?をグラフィカルに説明してみる。 - Qiita

ベイズ推定

これらとは異なる新しいパラメータの評価方法

ベイズの定理

考え方:ベイズの定理の基本的な解説 | 高校数学の美しい物語

使い方(大事!):10-6. ベイズの定理の使い方 | 統計学の時間 | 統計WEB

最尤推定ベイズ推定

  • 最尤推定は一意にパラメータを決める
  • ベイズ推定は求めたいパタメータの確率を決める(トレーニングデータ数が増えるほど、最尤推定のパラメータに近づく)

ベイズ推定は最尤推定の拡張と考えることができる。ベイズ推定は事前分布からの影響を受けない時は、最尤推定と同じになり、影響を受けるときは異なり、オーバーフィッティングを防ぐなどの効果がある。

藤井四段で学ぶ最尤推定、MAP推定、ベイズ推定 - Qiita

ベイズ推定の回帰分析への応用

(TBD)

共役事前分布

【ベイズ統計】共役事前分布とは?わかりやすく解説 | 全人類がわかる統計学

13-1. 二項分布 | 統計学の時間 | 統計WEB

13-3. ポアソン分布 | 統計学の時間 | 統計WEB

多項分布の意味と平均,分散,共分散などの計算 | 高校数学の美しい物語