空飛ぶロボットのつくりかた

ロボットをつくるために必要な技術をまとめます。ロボットの未来についても考えたりします。

WideResNetのお勉強

Machine Learning GPU tensorflow

https://image.slidesharecdn.com/presentationslideshare-170919153832/95/deep-learningchainer-83-638.jpg?cb=1507530330

やりたいこと

Wideなネットワークについて理解を深めたい

内容理解

教科書: Residual Network(ResNet)の理解とチューニングのベストプラクティス - DeepAge

スキップコネクションでDeepなネットワークの学習が可能に。

https://deepage.net/img/resnet/bottleneck_architecture.jpg

BatchNormは下図の左を用いるとよい。

https://deepage.net/img/resnet/bn_pos.jpg

activationの位置に関して下図の右の方が良い結果に。

https://deepage.net/img/resnet/post_vs_pre.jpg

WideResNetはこのResNetのフィルタ数を増やすことで、GPUを活用し、浅いネットワークで同等の表現力を持つように改良したもの。kが広さの係数。

https://deepage.net/img/resnet/wide_param.jpg

Dropoutの入れ方。

https://deepage.net/img/resnet/wide_resnet.jpg

実装参考

わかりやすいブログや資料

https://image.slidesharecdn.com/resnetvariant-170221133435/95/convnetresnet-11-638.jpg?cb=1487684306

https://image.slidesharecdn.com/presentationslideshare-170919153832/95/deep-learningchainer-83-638.jpg?cb=1507530330

Global Average Pooling (GAP)

教科書: Global Average Pooling（GAP）を理解してみる - Qiita

通常の全結合

https://camo.qiitausercontent.com/c41fe18f1d26e1a864cb047d3b3c5f4896c3c996/68747470733a2f2f71696974612d696d6167652d73746f72652e73332e616d617a6f6e6177732e636f6d2f302f3133303737312f66343965666537352d306139662d313433642d383633342d3962376330663561343061332e706e67

GAP

https://camo.qiitausercontent.com/f1b0f5ebf5e574f6eecd31a9e8066bb81b1d35d8/68747470733a2f2f71696974612d696d6167652d73746f72652e73332e616d617a6f6e6177732e636f6d2f302f3133303737312f38386431313561332d663463342d663032312d653062342d6632633737616135326266662e706e67

実装参考

参考ブログ

所感

計算資源や学習対象によって適切なネットワークを選択できるようになりたい！