空飛ぶロボットのつくりかた

ロボットをつくるために必要な技術をまとめます。ロボットの未来についても考えたりします。

画像処理についてまとめメモ

やりたいこと

画像処理の大事な内容について箇条書きでまとめ

教科書

CG-ARTS | 書籍・教材

まとめメモ

  • カメラ応答関数:カメラへの入射光強度を入力として、画素値を出力とする関数

  • 光ショットノイズ:受光素子に到達した光子数に比例して出力電圧に含まれるゆらぎの標準偏差

  • 暗時ノイズ:受光素子に到達した光子数に依存せずに生じるノイズの総称で暗電流ノイズや読み出しノイズなどを含む

  • モスキートノイズ:元画像の高周波の成分が失われるようなノイズ

  • 量子化雑音:量子化誤差に起因する画素値の歪み

  • フリッカ:動画において各フレームで明るさが一定でない現象

  • ガウシアンフィルタ:正規分布型の重み係数をもつ。

  • バイラテラルフィルタ: ガウシアンフィルタを改良して、「中心画素からの距離のみで決めていた重み」を「中心画素の画素値と他の画素値の離れ方も含めた重み」に変更したもの

  • ノンローカルミーンフィルタ:テンプレートマッチングのように周辺画素を含めた領域が、注目画素の周辺領域とどれくらい似通っているかによって重みを決定するもの

  • ラプラシアンフィルタ:画像の二次微分に相当。

    • ガウシアンフィルタからのラプラシアンフィルタでノイズを減らしつつもエッジを強調できる
  • 鮮鋭化フィルタ:元画像をそのまま出力するフィルタからラプラシアンフィルタを引いたもの

  • ガボールフィルタ:ある特定の方向の周波数成分を検出するフィルタ

  • LoGフィルタ: ガウシアン分布のラプラシアン

  • ゼロ交差:値が生から負へ、負から正へ変化する間の0になる位置。ゼロ交差の点をつなげると閉曲線になる

  • 点拡がり関数:劣化過程を表す空間フィルタ

  • 歪曲収差:ピントがしっかり合致していて色のにじみもないのに、映像が歪んで見えてしまうこと

  • 被写界深度:レンズのピント調整をした時に十分にピントがあっていると判断できる距離

  • F値 = レンズ焦点距離 / レンズの有効開口径。F値が大きいと、被写界深度は深くなる。

  • 平面パノラマ: 複数の画像を平面に投影しながらつなぎあわせたもの。直線性は維持。

  • 円筒面パノラマ:円筒面に投影したもの。直線性は維持されない。

  • 球面パノラマ:球面に投影したもの。直線性は維持されない。

  • フレーム間差分:二枚の差分画像を用いて、論理積を求めることで移動領域だけを抽出する

  • Horn-Shunkckの方法:オプティカルフローのx,y方向の微分値の二乗値が小さくなるような平滑化項。オプティカルフローの拘束条件だけでは一意に決定することはできない。

  • 光学:

放射量 測光量 備考
放射束[W] 光束[lm] 単位時間に人感の明るさ単位
放射照度[W/m**2] 照度[lx] 単位面積あたりの光束
放射強度[W/sr] 光度[cd] 単位立体角あたりの放射束

あるアナログ的な信号をデジタルデータにサンプリングする場合、原信号に含まれる周波数成分をすべて正確にサンプリングするためには、原周波数の2倍以上のサンプリング周波数が必要となる。

これを標本化定理という。たとえば、100Hzのアナログ信号を正確にサンプリングするためには、最低でも200Hz以上の周期でサンプリングしなければならない。

もしサンプリング周波数の1/2よりも高い周波数成分が含まれていると、その成分がサンプリング結果にはエイリアス(alias、虚像)信号として現われる。

参考:標本化定理とは - コトバンク

  • dpi: dots per inch

  • 青色波長のピーク:450nm

  • 緑色波長のピーク:550nm

  • 赤色波長のピーク: 600nm

  • 色の順番:青、シアン、赤、黄色、緑、青緑、青

f:id:robonchu:20180707160328p:plain

  • ラプラシアンフィルタは以下のように表すことができ、負の値にもなるし、同じ色が多い場合、0付近に値が集中する

0 | 1 | 0

1 | -4| 1

0 | 1 | 0

  • バイリニア補間:隣接4画素を頂点とする正方形の下底と上底それぞれについてx方向で補間を行い、得られた2つの値を用いて、y方向に線形補間を行う

  • pタイル法:濃度ヒストグラムの濃度の低い方からの画素数と,画像全体の画素数の割合がpとなる濃度値を閾値とする

  • オイラー数 = 連結結合の個数 - 穴の個数は

  • 市街地距離:f:id:robonchu:20180707163500p:plain

  • ユークリッド距離:f:id:robonchu:20180707145411p:plain

  • チェス盤距離:横方向と縦方向の移動距離の大きい方の長さ

以下、赤:市街地距離、緑:ユークリッド距離、青:チェス盤距離

f:id:robonchu:20180707194907p:plain

  • マハラノビス距離:データの各方向への散らばり具合まで考慮した「データ群からの距離」 -> sqrt( (a-b)2 / delta2 )

f:id:robonchu:20180707184857p:plain

参考:マハラノビス距離の意味を2次元の場合で理解する - 具体例で学ぶ数学

  • バンドル調整:たくさんの画像の対応点を利用して、各画像のカメラモーションと各対応点の3次元位置を更新する

  • テンレートマッチングの演算回数: 減算、絶対値、加算の三回

  • SIFT: http://www.vision.cs.chubu.ac.jp/cvtutorial/PDF/02SIFTandMore.pdf

  • FAST: 注目画素の周囲16画素の画素値が注目画像より明るい、もしくは暗い画素が一定の画素以上連続する場合はコーナーとする。

  • Cannyエッジ検出:

    1. ノイズ低減と微分

    2. 勾配の最大位置の検出

    3. しきい値処理(2つのしきい値を用いる)

  • 2次元DCT: 離散コサイン変換

  • 虹彩デジタルカメラの絞りにあたるもの

  • mod M ; Mで割った余り

  • チェイン符号化: 線画像を、画素の連なりに注目して記述する可逆符号方式

  • ハフマン符号化: 画像の種類によらない符号化方式。符号割り当ては、濃度やランレングスといった情報源シンボルに符号を割り当てる作業であるが、生起確率の高い情報源シンボルほど短い符号を与えると、符号化に必要な平均の符号長を最小とすることができる。

  • JPEG2000方式:二次元離散ウェーブレット変換と算術符号化が用いられる

  • 立体角:f:id:robonchu:20180707190932p:plain

参考:立体角とは - スーパーサイエンスガール

  • ステラジアン:立体角の大きさを表わすSI補助単位。記号 sr 。1 sr は球の半径の2乗に等しい面積をもつ球面上の面分が球の中心に対してつくる立体角。

  • 双方向反射率分布関数(BRDF):入射光の方向と出射光の方向に依存する四次元の関数。反射率を一般化したもので、出射光の放射輝度と入射光の放射照度の比として定義される。

  • ヘルムホルツの相反性:ヘルムホルツの定理 [物理のかぎしっぽ]

  • ディザ法:黒と白つまり輝度が0と255の色だけを用いてハーフトーン(中間色)を表現しようという技術で,2値しか出力できない表示装置でなんとかグレースケールを表現しようとしたもの。グレースケールの画像を小さいブロックに分割し,それにマスクを掛けて閾値を越えたピクセルを白,下回ったものを黒というように処理。

  • デジタルカメラのゲイン:ゲインを下げるとノイズが減り、全体的に暗く撮影される

  • デジタルカメラの明るさ:F値の2乗に反比例する

  • 1画素のモーションブラーの計算: 対象物との距離 / 焦点距離 * 1画素あたりの大きさ 1

  • ライトフィールドカメラ: 被写体からの光線を、三次元的な情報も含めて記録するカメラ。イメージセンサーの前面にマイクロレンズアレイを配し、光線の明暗だけでなく、光線の入射方向に関する情報を記録する。

  • ダイナミックレンジ: 観測可能な最大、最小明るさの比によって定義

  • ノイズのない画像の推定:事後確率の最大化がある。事後確率は尤度と事前確率の積に比例する。

  • 残差逐次検定(SSDA)法: 相違度の加算の途中で残差がしきい値を超えたら加算を打ち切ることで、全体の計算量を減らしている。

  • ワールド座標系X = Z / f(焦点距離) * u

  • 基本行列E = D(歪対称行列)* R(回転行列)。Dからはカメラの相対的な平行移動ベクトルがわかる。

  • ネガポジ変換でエントロピーは変化しない

  • 著作隣接権: 著作物の創作者ではないが、著作物の伝達に重要な役割を果たしている実演家、レコード製作者、放送事業者、有線放送事業者に認められた権利

  • ガンマ補正:ガンマ分の1乗のガンマが1より小さい時は暗くなり、大きい時は明るくなる

  • リギング:周波数領域において、不連続にフィルタリングを行うとエッジに対して波打つような濃淡の繰り返しが発生する

  • ウィーナフィルタ:復元画像と原画像の誤差が最小になるように定義されたフィルタ

  • オープニング:背景のノイズを除去

  • クロージング:画像内のノイズを除去

  • 細線化では以下の条件を満たしているときに白画素にする

    1. 注目画素が境界上にある黒画素

    2. 白画素に変更しても連結性が保持

    3. 線分の端点でない

  • ミーンシフト:近傍の点群の平均位置に移動を繰り返して、極大点を求める方法

  • スネーク:閉曲線が縮んでエッジの境界に張り付くことにより対象物の領域を抽出する方法

  • JPEGの圧縮率を高くした時:隣り合うブロックの境界が目立つブロック歪みが生じる。また、はっきりとした輪郭の周りにモスキートノイズも現れる。

  • モスキートノイズ:デジタル画像圧縮画像(特にJPEG静止画およびMPEG動画)において輪郭部分や色の変化の激しい部分で起こる画像の乱れ

  • オーレンネイヤーモデル:拡散反射モデル。

  • フォンモデル:鏡面反射モデル。物理的に正確なモデルでない。

  • トランススパロウモデル:鏡面反射モデル。物理的に正確性を求めたモデル。

所感

画像処理、幅が広いので大変だぁ。。。光や色の特性や座標変換、フィルターや著作権などなど、、、

一歩ずつ!!!