空飛ぶロボットのつくりかた

ロボットをつくるために必要な技術をまとめます。ロボットの未来についても考えたりします。

ベイズ的最適化・実験計画法のお勉強

目的

少ない実験回数で最適なパラメータを導出したい

ベイズ的最適化

まずはこの2つを見てお勉強

  1. 1020:ベイズ的最適化の入門と応用 機械学習による機械学習の実験計画 - YouTube

  2. » 機械学習のハイパーパラメータ探索 : ベイズ最適化の活用 TECHSCORE BLOG

要点を箇条書きでまとめる

  1. どういう実験を行えばblack box関数を最適化できるか

  2. 一回の実験コストが高い場合に有用

  3. black box関数をgausiann processでモデル化

  4. ベイズではblack box関数の最適化を行う代わりに獲得関数を最適化(活用・探索)

  5. 活用とは:近しい分野の本を読む

  6. 探索:本屋に行って面白い本を探す

  7. 活用と探索のトレードオフが重要

[TODO] 強化学習 活用 探索 でググッてこのあたりの知識を強化

参考: 1020:ベイズ的最適化の入門と応用 機械学習による機械学習の実験計画 - YouTube

» 機械学習のハイパーパラメータ探索 : ベイズ最適化の活用 TECHSCORE BLOG ←最高にわかりやすい!コード付き!!

第3回 機械学習のためのベイズ最適化入門|Tech Book Zone Manatee ←わかりやすい!

PRML第6章 ガウス過程による回帰 Python実装 - Qiita ←わかりやすい!

http://www.r.dl.itc.u-tokyo.ac.jp/study_ml/pukiwiki/index.php?plugin=attach&refer=schedule%2F2009-09-10&openfile=GP.pdf

ベイズ最適化についての入門記事を書きました - ほくそ笑む

統計学の考え方を抑えて機械学習との関連と相違を整理 - HELLO CYBERNETICS

ライブラリ

sk-learn: ベイズ的最適化、グリッドサーチ、ランダムサーチも可能

Pythonでベイズ最適化を使ってハイパーパラメータを探索するライブラリ実装のメモ - Qiita

ハイパーパラメータの最適化と結果の見方【Pythonとscikit-learnで機械学習:第8回】

GpyOpt:

Pythonでベイズ最適化を行うパッケージ GPyOpt - Qiita

カーネル

カーネルとはふたつのベクトル xx と yy の内積を(たいていはとても高次元の)特徴空間で計算する方法

参考: カーネルとは直感的に説明するとなんなのか? - Qiita

交差検定

例:正解付きのデータをK分割して,そのうち1つをテストデータに,残りのK-1個を訓練データとして学習と精度の評価を行う

参考:

第21回(最終回) 機械学習 はじめよう:機械学習 はじめよう|gihyo.jp … 技術評論社

交差検証 - Wikipedia

実験計画法

(TBD)

参考:

試験回数を減らそう(実験計画法)

Excelで学ぶ実験計画法の基礎(3):試作品の数を劇的に減らす直交配列実験の実務 (1/5) - MONOist(モノイスト)

実験計画法

実験計画法の概要~データを上手く使って実験のコスパを上げましょう!~

1020:ベイズ的最適化の入門と応用 機械学習による機械学習の実験計画 - YouTube