ベイズ的最適化・実験計画法のお勉強
目的
少ない実験回数で最適なパラメータを導出したい
ベイズ的最適化
まずはこの2つを見てお勉強
要点を箇条書きでまとめる
どういう実験を行えばblack box関数を最適化できるか
一回の実験コストが高い場合に有用
black box関数をgausiann processでモデル化
ベイズではblack box関数の最適化を行う代わりに獲得関数を最適化(活用・探索)
活用とは:近しい分野の本を読む
探索:本屋に行って面白い本を探す
活用と探索のトレードオフが重要
[TODO] 強化学習 活用 探索 でググッてこのあたりの知識を強化
参考: 1020:ベイズ的最適化の入門と応用 機械学習による機械学習の実験計画 - YouTube
» 機械学習のハイパーパラメータ探索 : ベイズ最適化の活用 TECHSCORE BLOG ←最高にわかりやすい!コード付き!!
第3回 機械学習のためのベイズ最適化入門|Tech Book Zone Manatee ←わかりやすい!
PRML第6章 ガウス過程による回帰 Python実装 - Qiita ←わかりやすい!
統計学の考え方を抑えて機械学習との関連と相違を整理 - HELLO CYBERNETICS
ライブラリ
sk-learn: ベイズ的最適化、グリッドサーチ、ランダムサーチも可能
Pythonでベイズ最適化を使ってハイパーパラメータを探索するライブラリ実装のメモ - Qiita
ハイパーパラメータの最適化と結果の見方【Pythonとscikit-learnで機械学習:第8回】
GpyOpt:
Pythonでベイズ最適化を行うパッケージ GPyOpt - Qiita
カーネル
カーネルとはふたつのベクトル xx と yy の内積を(たいていはとても高次元の)特徴空間で計算する方法
参考: カーネルとは直感的に説明するとなんなのか? - Qiita
交差検定
例:正解付きのデータをK分割して,そのうち1つをテストデータに,残りのK-1個を訓練データとして学習と精度の評価を行う
参考:
第21回(最終回) 機械学習 はじめよう:機械学習 はじめよう|gihyo.jp … 技術評論社
実験計画法
(TBD)
参考:
Excelで学ぶ実験計画法の基礎(3):試作品の数を劇的に減らす直交配列実験の実務 (1/5) - MONOist(モノイスト)