画像の復元と生成（６）
参考：1307(月)ピンボケ写真修正。アンシャープマスク他 - 四級猫 ． ．
やりたいこと
画像復元の原理について学ぶ
教科書
ぼけ・ぶれ画像の復元
画像の劣化モデル
点拡がり関数：点広がり関数と線広がり関数とは？ | ギモンらど！！
参考： クラスター変分法と確率的情報処理 --Belief Propagation と画像処理アルゴリズム-- - ppt download
焦点ボケによる劣化に対する点拡がり関数のモデル化
カメラの焦点ぼけによる劣化は原画像では点であったものが広がりをもつようになる劣化である。また、広がりは方向によらず一定。
- ローパスフィルタと同じガウス分布により表現できる
参考： Pythonで画像処理（ローパスフィルタと畳み込み） - cBlog
カメラのぶれによる劣化に対する点拡がりモデル関数のモデル化
カメラの動きが等速直線運動で近似できる場合の点拡がり関数はカメラのブレ方向θにのみ、幅Wに一次元に広がっている関数で近似できる。
点拡がり関数のモデルのパラメータ推定
劣化画像の2次フーリエ変換が周波数領域で周期的に0になる性質を利用してモデルパラメータを推定することができる
逆フィルタ・ウィーナフィルタによる画像復元
逆フィルタが発散し、劣化画像に含まれるノイズ成分が増幅され、復元画像に大きなノイズが生じることがある。
周波数領域におけるノイズを考慮したものとして、ウィーナフィルタがある。
参考： 1.5. Scipy: 高水準の科学技術計算 — Scipy lecture notes
さまざまな画像復元・生成
ノイズ除去
以下の２つの仮定を行うとノイズは独立同一分布に従う。また、モデルとして独立同一なガウス分布がよく用いられる。
ノイズの確率密度分布が画像全体で変化しない
ノイズは画素ごとに独立である
また、単純な線形フィルタではノイズ除去の際にエッジがなまることが多く、エッジを保存するような非線形フィルタが用いられることが多い。
画像の性質を拘束に利用する拘束付き最小2乗法によりノイズ除去を行う方法がある。以下にキーワードを記載する。
事後確率最大化法（MAP法）
尤度
事前確率
マルコフ確率場
上記の事前確率をモデル化したり、拘束の汎関数設計は困難なことが多いため、パッチベース手法がよく取られる。
パッチベース手法
画像超解像
標本化により劣化した画像から高周波成分を復元する処理を 画像超解像 と呼ぶ。以下の２つがある。
参考： 次世代デジカメ技術なぅ（2）：デジカメにリコンフィギュラブルな頭脳を――カシオ「EXILIMエンジンHS」 (3/3) - MONOist（モノイスト）
ハイダイナミックレンジ画像
ダイナミックレンジ：観測可能な最大値と最小値の比
8bit量子化では明暗差がある画像ではダイナミックレンジが不足してしまう
そのため、露出設定の異なるダイナミックレンジの狭い複数の画像を用いてダイナミックレンジの広いハイダイナミックレンジ画像を生成する方法がある。
露出設定を変えて撮影した複数の画像からハイダイナミックレンジ画像を合成して、トーンマッピングすることにより明暗領域を同時に観察できる。
ガイド画像を利用した画像処理
ジョイントバイラテラルフィルタ：複数枚の入力画像を使ってバイラテラルフィルタを計算するフィルタ
ガイデットフィルタ：Bilateral Filterのようなエッジ保存型のフィルターで高速な動作が特徴
ライトフィールド撮影
ライトフィールド：Light Field Imaging by Kawaguchi Tatsuya
参考： プロジェクト | 九州大学 大学院システム情報科学研究院 情報知能工学部門 イメージ・メディア理解研究室
コンピューテーションフォトグラフィ
コンピュテーショナルフォトグラフィでは、光学によって得られた像は中間生成物に位置づけられる。撮影時の光の方向や角度、被写体までの距離など、さまざま情報を記録し、あとからデジタル処理で画像を生成する。これにより、撮影後のピント調整やぶれの除去など、従来のカメラでは不可能だった機能を実現する。
参考： コンピュテーショナルフォトグラフィ：Computational Photography：研究開発：日立
例：符号化露光
参考： 20160612 第34回cv勉強会@関東 コンピュテーショナルフォトグラフィ
所感
機械学習を使わずとも、ピントをあとから変えたり、高解像度化を行えるのは便利
