空飛ぶロボットのつくりかた

ロボットをつくるために必要な技術をまとめます。ロボットの未来についても考えたりします。

動画像処理のお勉強(12)

やりたいこと

動画像処理について学ぶ

教科書

CG-ARTS | 書籍・教材

目次

差分画像

二枚の画像において、同じ位置に画素値の差の絶対値を画像とする

参考:2枚の画像のdiff(差分)を超簡単に調べる方法 - 昼メシ物語

背景差分法

f:id:robonchu:20180519092628j:plain

参考: 研究開発:前景と背景の分離技術 - livedoor Blog(ブログ)

フレーム間差分法

移動物体を撮影した異なる時間の3枚の画像を用いて、移動物体領域を取り出す

f:id:robonchu:20180519093239j:plain

参考: 高度情報演習1A “テーマC” 実践 画像処理プログラミング 〜画像認識とCGによる画像生成〜 第四回 演習課題 画像中からの物体抽出処理(背景情報を手がかりとして) 芝浦工業大学 工学部 情報工学科 青木 義満 2006/05/ ppt download

統計的背景差分法

画素値の定常的な変動を考慮して移動物体を検出する方法

f:id:robonchu:20180519093711j:plain

参考: 高度情報演習1A “テーマC” 実践 画像処理プログラミング 〜画像認識とCGによる画像生成〜 第四回 演習課題 画像中からの物体抽出処理(背景情報を手がかりとして) 芝浦工業大学 工学部 情報工学科 青木 義満 2006/05/ ppt download

オプティカルフロー

異なる時間に取られた二枚の画像を用いて、静止カメラで撮影した移動物体の解析ができる。

異なる時間に撮影された二枚の画像間での対象の移動量をベクトルデータとして表現したものをオプティカルフローと呼ぶ

ブロックマッチング法

テンプレートマッチングを用いてオプティカルフローを求める方法

f:id:robonchu:20180519095425j:plain

参考: 高度情報演習1A “テーマC” 実践 画像処理プログラミング 〜画像認識とCGによる画像生成〜 第四回 演習課題 画像中からの物体抽出処理(背景情報を手がかりとして) 芝浦工業大学 工学部 情報工学科 青木 義満 2006/05/ ppt download

勾配法

連蔵する二枚の画像での対象物体の移動量が微小であることを前提にオプティカルフローを求める方法

この前提により、オプティカルフローの拘束条件式が求められ、この未知数である2つのベクトルを求める方法を以下に示す

Lucas-Kanade法(LK法)

f:id:robonchu:20180519100301j:plain

f:id:robonchu:20180519100310j:plain

参考: Lucas kanade法について

Horn-Shunck法

オプティカルフローの空間的滑らかさを拘束条件として、エネルギー関数を導出し、それを最小にするベクトルを計算する

f:id:robonchu:20180519100731p:plain

参考: OpenCVでとらえる画像の躍動、Optical Flow

移動体追跡

参考: [http://www.vision.cs.chubu.ac.jp/features/pdf/seminar/100326%E3%82%BB%E3%83%9F%E3%83%8A%E3%83%BC%E8%B3%87%E6%96%99%E7%89%A9%E4%BD%93%E8%BF%BD%E8%B7%A1.pdf]

テンプレートマッチングによる追跡

テンプレートマッチングを、前の時刻における移動体の位置周辺だけを行えば良い

探索範囲の広さや位置を設定する良い方法論がないのが課題。

KLTトラッカー

LK法を用いた特徴点ベースの追跡法

f:id:robonchu:20180519111521j:plain

参考:

ミーンシフトトラッキング

ミーンシフトによる追跡は類似度極大点に向かって、局所的に探索する方法

重なり領域が存在しない場合、追跡できなくなる

f:id:robonchu:20180519112824j:plain

参考:

ベイジアンフィルタ

時刻tまでに観測された時系列画像から移動体の状態を推定する方法

前述の2つと異なり、ある位置にある確率と別の位置に物体がある確率と言った具合に、物体の状態に関する仮設を複数保持しながら追跡が可能。

f:id:robonchu:20180519113816j:plain

参考:

カルマンフィルタ

ベイジアンフィルタにおいて、線形・ガウス型の状態空間モデルにのみ適応可能な最適フィルタ

f:id:robonchu:20180519115009j:plain

参考:

パーティクルフィルタ

パーティクルと呼ばれる離散的なサンプルを状態空間にばらまき、モンテカルロ法により、ベイジアンフィルタを近似計算する方法

f:id:robonchu:20180519120455j:plain

参考: コンピュータビジョン特論 第8回対象追跡 2006年11月22日 加藤丈和. - ppt download

↓めちゃくちゃわかりやすい!!!

www.slideshare.net

その他同画像処理

カット検出

撮影場面が大きく変化する部分をカットという

画像を長方形領域に区分し、長方形領域ごとの画素値の平均値を求めその差の絶対値を用いてカットの判定を行う。

カメラモーション推定

背景の動きをオプティカルフローで求め、その動きからカメラの動きを求めることができる。

時空間画像処理

時空間画像とは画像を時間方向に重ねた三次元データ

f:id:robonchu:20180519143134j:plain

参考: 電子情報通信学会知識ベース |2群 画像・音・言語