画像の復元と生成（６）
参考：1307(月)ピンボケ写真修正。アンシャープマスク他 - 四級猫 ． ．
やりたいこと
画像復元の原理について学ぶ
教科書
ぼけ・ぶれ画像の復元
画像の劣化モデル
点拡がり関数：点広がり関数と線広がり関数とは？ | ギモンらど！！
参考： クラスター変分法と確率的情報処理 --Belief Propagation と画像処理アルゴリズム-- - ppt download
焦点ボケによる劣化に対する点拡がり関数のモデル化
カメラの焦点ぼけによる劣化は原画像では点であったものが広がりをもつようになる劣化である。また、広がりは方向によらず一定。
- ローパスフィルタと同じガウス分布により表現できる
参考： Pythonで画像処理（ローパスフィルタと畳み込み） - cBlog
カメラのぶれによる劣化に対する点拡がりモデル関数のモデル化
カメラの動きが等速直線運動で近似できる場合の点拡がり関数はカメラのブレ方向θにのみ、幅Wに一次元に広がっている関数で近似できる。
点拡がり関数のモデルのパラメータ推定
劣化画像の2次フーリエ変換が周波数領域で周期的に0になる性質を利用してモデルパラメータを推定することができる
逆フィルタ・ウィーナフィルタによる画像復元
逆フィルタが発散し、劣化画像に含まれるノイズ成分が増幅され、復元画像に大きなノイズが生じることがある。
周波数領域におけるノイズを考慮したものとして、ウィーナフィルタがある。
参考： 1.5. Scipy: 高水準の科学技術計算 — Scipy lecture notes
さまざまな画像復元・生成
ノイズ除去
以下の２つの仮定を行うとノイズは独立同一分布に従う。また、モデルとして独立同一なガウス分布がよく用いられる。
ノイズの確率密度分布が画像全体で変化しない
ノイズは画素ごとに独立である
また、単純な線形フィルタではノイズ除去の際にエッジがなまることが多く、エッジを保存するような非線形フィルタが用いられることが多い。
画像の性質を拘束に利用する拘束付き最小2乗法によりノイズ除去を行う方法がある。以下にキーワードを記載する。
事後確率最大化法（MAP法）
尤度
事前確率
マルコフ確率場
上記の事前確率をモデル化したり、拘束の汎関数設計は困難なことが多いため、パッチベース手法がよく取られる。
パッチベース手法
画像超解像
標本化により劣化した画像から高周波成分を復元する処理を 画像超解像 と呼ぶ。以下の２つがある。
参考： 次世代デジカメ技術なぅ（2）：デジカメにリコンフィギュラブルな頭脳を――カシオ「EXILIMエンジンHS」 (3/3) - MONOist（モノイスト）
ハイダイナミックレンジ画像
ダイナミックレンジ：観測可能な最大値と最小値の比
8bit量子化では明暗差がある画像ではダイナミックレンジが不足してしまう
そのため、露出設定の異なるダイナミックレンジの狭い複数の画像を用いてダイナミックレンジの広いハイダイナミックレンジ画像を生成する方法がある。
露出設定を変えて撮影した複数の画像からハイダイナミックレンジ画像を合成して、トーンマッピングすることにより明暗領域を同時に観察できる。
ガイド画像を利用した画像処理
ジョイントバイラテラルフィルタ：複数枚の入力画像を使ってバイラテラルフィルタを計算するフィルタ
ガイデットフィルタ：Bilateral Filterのようなエッジ保存型のフィルターで高速な動作が特徴
ライトフィールド撮影
ライトフィールド：Light Field Imaging by Kawaguchi Tatsuya
参考： プロジェクト | 九州大学 大学院システム情報科学研究院 情報知能工学部門 イメージ・メディア理解研究室
コンピューテーションフォトグラフィ
コンピュテーショナルフォトグラフィでは、光学によって得られた像は中間生成物に位置づけられる。撮影時の光の方向や角度、被写体までの距離など、さまざま情報を記録し、あとからデジタル処理で画像を生成する。これにより、撮影後のピント調整やぶれの除去など、従来のカメラでは不可能だった機能を実現する。
参考： コンピュテーショナルフォトグラフィ：Computational Photography：研究開発：日立
例：符号化露光
参考： 20160612 第34回cv勉強会@関東 コンピュテーショナルフォトグラフィ
所感
機械学習を使わずとも、ピントをあとから変えたり、高解像度化を行えるのは便利
周波数領域によるフィルタリングのお勉強（５）
やりたいこと
周波数領域によるフィルタリングについて学ぶ
教科書
画像のフーリエ変換
画像フィルタリング、復元・再構成、テクスチャ解析、符号化などに用いられる
２次元フーリエ変換
参考： 【画像処理】フーリエ変換の原理・実装例 | アルゴリズム雑記
振幅・位相・パワースペクトル : https://tmytokai.github.io/open-ed/activity/spectrum/text01/page02.pdf
高速フーリエ変換 (FFT) ： FFTとは何か、フーリエ変換との関連と絶対抑えるべき注意点 - HELLO CYBERNETICS
参考： 周波数フィルタリング | Rによる画像処理プログラミング
周波数フィルタリング
参考： フィルタリングについて
フーリエ変換の重要な性質
空間フィルタの大きさが小さい時は空間フィルタリングが有利であり、その大きさが大きくなるに従って、周波数フィルタリングのほうが有利になる
ローパス・ハイパス・バンドパスフィルタ
参考： 周波数フィルタリング | Rによる画像処理プログラミング
ローパスフィルタ：高周波成分が除かれ、平滑化された画像が得られる
- 空間フィルタのガウシアンフィルタや平均化フィルタもフーリエ変換してみるとローパスフィルタの性質を持っていることがわかる
ハイパスフィルタ：ローパスの逆。画像の高周波成分は残し、低周波成分は除去する
バンドパスフィルタ：画像に含まれる空間周波数のうちある中間的な周波数の範囲を残すもの
- 空間フィルタのLoGフィルタをフーリエ変換してみるとバンドパスフィルタの性質を持っていることがわかる
ローパス
ハイパス
バンドパス
参考： 画像処理におけるフーリエ変換④〜pythonによるフィルタ設計〜 - IMACEL Academy -人工知能・画像解析の技術応用に向けて-|LPixel(エルピクセル)
高域強調フィルタ
ハイパスフィルタは画像の直流成分を含む低周波数成分を除去してしまうため、画像の平均的な明るさが保たれない。
一方、低周波成分を保ちつつ高周波を強調するフィルタを高域強調フィルタという。
H_high_emph = 1 + k x H_high(←ハイパスフィルタ) で表すことができる。直流成分は1を保ちつつ高域が強調される。
- 空間フィルタのアンシャープマスクと等価の処理になる
参考
【画像処理】フーリエ変換の原理・実装例 | アルゴリズム雑記
所感
いろんな分野でフーリエ変換がでてくる。大事！！！
領域に基づく濃淡変換（4）
参考：デジタル・フロンティア-Digital Frontier | DF TALK | 空間フィルタリングを別の表色系で！
やりたいこと
空間フィルタリングについて学ぶ
教科書
参考になりまくるブログ
2.6. Numpy と Scipy を利用した画像の操作と処理 — Scipy lecture notes
空間フィルタ
領域に基づく濃淡変換を空間フィルタと呼ぶ。
線形フィルタ：積和演算
非線形フィルタ：上記以外すべて
参考：
平滑化
スムージング友呼ばれ、ノイズなどの不要な濃淡変動を軽減するために用いられる
平均化
重み付き平均化
加重平均フィルタ
ガウシアンフィルタ
特定方向の平滑化
- 流れるような効果が与えられる
エッジ抽出
参考： 空間フィルタリングによる平滑化とエッジ検出 | Rによる画像処理プログラミング
微分フィルタ
参考：edge detection (Sobel filter/Prewitt filter)
プリューウィットフィルタ
縦（横）方向のエッジを残しつつノイズを低減する
ソベルフィルタ
プリューウィットに重みをつけたもの
二次微分とラプラシアン
ゼロ交差： エッジ検出
参考： edge detection (Laplacian 8-dir filter)
LoGフィルタ
上記ガウシアンフィルタ -> ラプラシアンフィルタ
鮮鋭化
元の画像濃淡を残したままエッジを強調する
アンシャープマスク
元画像から平滑化した画像を引いた画像をもとの画像に足し合わせることでエッジをより鮮明化
参考:アンシャープマスク | | KNAP Member Blog
エッジを保存した平滑化
参考： OpenCVのエッジ保持平滑化フィルタ - Qiita
局所領域の選択と平均フィルタ
画像を9分割し、画素値の分散が最小になる領域を選びその領域の平均値を出力する。
k最近傍平均化フィルタ
注目画素に対し、注目b画素の近傍領域中で近い値を一定個数選び出し、その選ばれた画素の平均値を出力する。
バイラテラルフィルタ
注目画素からの距離による重みに加えて注目画素との画素値の差に応じて、同様にガウス分布に従う重みを付け加えた平均化フィルタ
ノンローカルミーンフィルタ
参考：Non-local Means Filterによるデノイジング | OpenCV.jp
注目画素の周りの小領域の画素値パターンと、周辺画素のまわりの小領域の画素値パターンとの類似度をに応じた重みを用いて平均化するフィルタ
メディアンフィルタ
参考：xarray を使った 中央値フィルタ （メディアンフィルタ） - Qiita
中央値とは：M画素xN画素の画像ヒストグラムを求め、画素値の小さい方からMN/2番目の値
参考：【基本】平均値・中央値・最頻値はどう使い分ける？ | なかけんの数学ノート
スパイク状のノイズの除去に有効
参考：画像処理
画像構成要素の置き換え
- モザイク：モザイク処理 - js do it
所感
フィルター関係の勉強楽しい♪
Xiaomi Mi Notebook Air 13.3 2018 と戦う
Xiaomi Mi Notebook Air 13.3
NVIDIA GeForce MX150| NVIDIA|NVIDIAが乗っている比較的安い中華製小型PC
小さい わりに高スペック 安い ! 果物のlaptopとデザインが似てる笑
- やりたいこと
- 無線
- Nvidia-Driver インストール
- USキーボードを使いやすくする方法
- WorkSpaceの有効化
- ROSのインストール
- Dockerのインストール
- 便利ツール初期インストール
- 便利な周辺機器
- 全体参考
- 所感
やりたいこと
Xiaomi Mi Notebook Air 13.3 2018 (i5-8250U MX150)のubuntu16.04の設定をまとめる
参考：Xiaomi Mi Notebook Air 13.3 2018 (i5-8250U MX150) Review - NotebookCheck.net Reviews
無線
ubuntu16を素直にインストールしただけでは Intel Dual Band Wireless-AC 8265 (a/b/g/n/ac), Bluetooth 4.1が使えない
設定方法
Intel Driverのダウンロード＆配置
sudo cp iwlwifi-8265-22.ucode /lib/firmware/
Kernelのアップデート
- sudo apt install linux-generic-hwe-16.04
sudo reboot
原因
無線のセキュリティ
ルータの設定
Nvidia-Driver インストール
sudo add-apt-repository ppa:graphics-drivers/ppa
sudo apt updates
sudo apt install nvidia-384
再起動
- nvidia-smi
参考：How to Install Latest Nvidia Drivers on Ubuntu
うまくいかなかった手順：原因調査中
MX150 -> バージョン: 390.48
USキーボードを使いやすくする方法
mozcで対応
日本語はJISで半角はUSキーボード配置で打ち込めるように変更
WorkSpaceの有効化
ROSのインストール
Dockerのインストール
Docker-CE
Nvidia-Docker
参考
便利ツール初期インストール
sudo apt-get -y install xpad
sudo apt-get -y install emacs
sudo apt-get -y install tmux
便利な周辺機器
全体参考
networking - WiFi won't turn on 16.04 xiaomi Mi Air - Ask Ubuntu
[SOLVED] Intel® Dual Band Wireless-AC 8265 , no Wifi - Linux Mint Forums
所感
環境設定はいつも大変だぁ
Linuxのお勉強(1)
やりたいこと
linuxの構造やコマンドの知識を増やしたい
教科書
ハードリンクとシンボリックリンクの作成・変更
ハードリンクとは： ハードリンクは、既に存在するファイルに別名を付けること、または作成されたリンクそのものを指す言葉です。
また、Linux上のファイルは、全てiノード番号という番号でデータとの紐付けが管理されています。
$ ls -i 2753226 test1.txt 2753345 test2.txt $ ln test1.txt test3.txt $ ln -i 2753226 test1.txt 2753345 test2.txt 2753226 test3.txt
ハードリンクを利用することで、別のパスに同じ内容のファイルを作ることができます。また新たにハードリンクを作成しても、基本的にディスク容量が増えません。
この特性は、ファイルの管理や、バックアップの技術に応用されています。
ハードリンクのメリット： ハードリンクを使った効率的なバックアップ - DoMshi
参考：
RPMおよびYUMパッケージ管理の管理
RPMとは: 「rpm」は、Red Hat系のLinuxディストリビューションで使われている“RPM（Red Hat Package Manager）パッケージ”を扱うことができるパッケージ管理コマンド
なお、CentOSなどで使われている「Yum」というパッケージ管理システム（コマンド名：yum）も、RPMデータベースを参照しています
- rpm -ql [パッケージ名]
- パッケージに含まれるファイルの一覧を表示するコマンド
- rpm -q [パッケージ名]
- システムにパッケージがインストールされているかを調べるためのコマンド
- rpm -qi [パッケージ名]
- パッケージの情報を調べるためのコマンド
- rpm -qR [パッケージ名]
- 指定されたパッケージが依存するパッケージ・ライブラリ等を出力するためのコマンド
参考：
【 rpm 】コマンド（基礎編）――RPMパッケージをインストールする／アンインストールする：Linux基本コマンドTips（47） - ＠IT
【 yum 】コマンド（基礎編）――ソフトウェア（パッケージ）をインストールする／アンインストールする：Linux基本コマンドTips（42） - ＠IT
ハードディスクのレイアウト設計
スワップスペース: 実メモリが不足した場合に、メモリ上のデータを退避するための領域
システムが動作するためのメモリサイズが充分な場合、スワップスペースは必須ではありません。
スワップスペースのサイズは、任意で決めることができます。
一時的なファイルを配置するための領域は/tmp領域の役割
スワップスペースへのデータの退避のことを「スワップアウト」、退避したデータをメモリに戻すことを「スワップイン」と呼びます。システムのメモリ不足が頻繁に発生すると、スワップアウト・インが短期間に繰り返されます。
この状況を「スラッシング」と呼び、メモリの出し入れにCPUの処理能力が奪われ、最悪の場合システムの停止が発生することもあります。
スワップスペースは、設定しておけば安心というものではなく、 あくまで一時的なメモリ不足を補うための領域、という認識を持ってチューニングすることが必要です。
参考：
ファイルシステムのマウントとアンマウントの制御
DVDのISOイメージファイルlinux.isoを/mntにマウントする場合: mount -o loop,ro -t iso9660 /var/lib/image/linux.iso /mnt
-o … マウントオプションを指定します。オプションには以下のような値を指定します。
ro … 読み取り専用モードでマウントする rw … 読み書き可能なモードでマウントする loop … ループバックデバイスとしてマウントする-t … ファイルシステムのタイプを指定する
mountコマンドで、ループバックマウントを行うためには、マウントオプションにloopを指定します。
ループバックシステム
一般的なファイルを，あたかもハード・ディスクなどのブロック型デバイスであるかのように扱うための機能です。
パソコン上でイメージ・ファイルを直接操作したい場合などに使います。「ループ・デバイス」とも呼ばれます。
参考：
[http://tech.nikkeibp.co.jp/it/article/Keyword/20081023/317625/:title]
[http://tech.nikkeibp.co.jp/it/article/Keyword/20080118/291396/:title]
[https://qiita.com/sion_cojp/items/c8e015db39ddbf43012e:title]
Debianパッケージ管理の使用
dpkg : dpkgを使用するとdebパッケージを操作できる
Advanced Packaging Tool : Ubuntuを含むDebianから派生したLinuxディストリビューションやいくつかの非派生系ディストリビューションで採用されているパッケージ管理システム
APTの大きな特徴は、上記のdpkgの不便な点を改善している点です。APTはシステムの一部として、ソースファイルと呼ばれるパッケージの一覧を使用します。
[ソースファイル例:/etc/apt/sources.list ]
deb http://http.us.debian.org/debian stable main contrib non-free
deb http://non-us.debian.org/debian-non-US stable/non-US main contrib non-free
deb http://security.debian.org stable/updates main contrib non-free
APTは、このソースファイルに含まれるURLなどの情報から、パッケージの参照やダウンロードなどの操作を行ないます。
apt-getは、APTに含まれるコマンドのひとつです。主にパッケージのインストールやアップデートなどの操作を行うためのコマンドです。apt-getの主な使い方は以下の通りです。
apt-get install [パッケージ名] … [パッケージ名]に指定したパッケージをインストールまたは更新する
apt-get remove [パッケージ名] … [パッケージ名]に指定したパッケージを削除する
apt-get purge [パッケージ名] … [パッケージ名]に指定したパッケージを、設定ファイルを含めて削除する
apt-get update … パッケージ一覧を更新する
apt-get upgrade … システムにインストールされているパッケージを全て更新する
apt-get dist-upgrade … ディストリビューションを更新する
参考：[http://www.lpi.or.jp/ex/101/ex_3195.shtml:title]
おまけ
$ apt moo
(__)
(oo)
/------\/
/ | ||
* /\---/\
~~ ~~
..."Have you mooed today?"...
参考：
フィルタを使ったテキストストリームの処理
「nl /etc/passwd」を実行すると、/etc/passwdの行頭に行番号が追加されて出力される
「head -n 10 /etc/passwd」を実行すると、/etc/passwdの先頭から10行が出力される
「tail -n 10 /etc/passwd」を実行すると、/etc/passwdの末尾から10行が出力される
参考：103.2 フィルタを使ったテキストストリームの処理｜サンプル問題／例題解説｜受験対策｜IT資格といえばLPI-Japan | LinuC/OSS-DB/HTML5/OPCEL/LPIC
wcコマンドは、ファイルの行数やバイト数、単語数を出力するコマンドです。 以下のように出力されます。左から行数・単語数・バイト数・ファイル名です。
$ wc /etc/passwd
69 104 3283 /etc/passwd
ただし、オプションを指定することで、出力する情報を限定することが可能です。
[wcコマンドの主なオプション]
-c … バイト数のみを出力する
-w … 単語数のみを出力する
-l … 行数のみを出力する
参考：
ストリーム、パイプ、リダイレクトの使用
リダイレクトは、入出力の切り替えを行う機能です。
「>」は標準出力の切り替えを意味し、「<」は標準入力の切り替えを意味します。
「コマンド > ファイル」を実行すると、コマンドが標準出力に出力したデータを、ディスプレイに出力するのではなく、ファイルに出力する動きになります。
この時、ファイルが存在しない場合はファイルを作成し、ファイルが存在する場合、データを上書きします。
一方で、「コマンド >> ファイル」を実行すると、データの追記が行われます。
また「コマンド < ファイル」を実行すると、入力をキーボードからファイルに切り替えます。つまりファイルを読み込んでコマンドに入力として渡す動きになります。
その他の使い方として、以下が挙げられます。
「コマンド 2> ファイル」を実行すると、標準エラー出力をファイルに出力します。
「コマンド > ファイル 2>&1」を実行すると、標準出力・標準エラー出力ともにファイルに出力します。
参考：
ファイルのパーミッションと所有者の管理
Linuxの権限の基本は、「読み込み」「書き込み」「実行」の3つです。 この3つの権限を、ファイルやディレクトリのオーナーやグループ、その他のユーザにどこまで許可をするかを決めることができます。
文字の意味は以下です。
r … 読み込み
w … 書き込み
x … 実行
この表記は、ビット(2進数)で表すことができます。 「rwx」の並び順で、許可されていなければ0、許可されていれば1となります。
例えばオーナーの権限「rwx」はすべて許可されているので、「111」(２進数)です。「111」を8進数に変換すると「7」になります。
またグループとその他の権限「r--」は「100」(２進数)ですので、8進数に変換すると「4」になります。つまり、「rwxr--r--」は8進数表記で「744」となります。
chmodコマンドは、権限を文字で設定することも、数値で設定することもできます。
文字で表現する場合、所有者の情報は以下のように表現します。
u … 所有者
g … グループ
o … その他のユーザ
a … すべて
この所有者情報に対して「chmod g+w ファイル名」などのように、「+」や「-」の記号で、権限を付与したり解除することができます。また「chmod 644 ファイル名」などのように数値で、権限を指定することもできます。
参考：104.5 ファイルのパーミッションと所有者の管理｜サンプル問題／例題解説｜受験対策｜IT資格といえばLPI-Japan | LinuC/OSS-DB/HTML5/OPCEL/LPIC
フィルタを使ったテキストストリームの処理
expandコマンドは、引数で指定されたファイルや、標準入力から受け取ったデータに含まれるタブ文字を半角スペースに変換するコマンドです。タブ文字は字下げなどをする場合に便利ですが、環境依存で見え方が変わってしまうというデメリットもあります。
そういう時にexpandコマンドでタブを半角スペースに変換しておくことで、見た目を統一できるというメリットがあります。
関係するコマンドリスト
cut
expand
fmt
join
od
paste
pr
sort
split
tr
unexpand
uniq
参考：
RPMおよびYUMパッケージ管理の使用
rpmコマンドは、Redhat系OSなどで採用されているRPMパッケージーマネージャを管理するためのコマンドです。 このコマンドを利用して、ソフトウェアのインストールやアンインストール、アップデートなどの操作を行うことができます。
rpmコマンドの主なオプションは以下の通りです。
-i パッケージ … 指定したパッケージをインストールします
-F パッケージ … 指定したパッケージがインストールされている場合、アップデートします
-U パッケージ … 指定したパッケージがインストールされていない場合は、インストール インストールされている場合は、アップデートを行います
-qa … インストールされているパッケージの一覧を表示します
-ql パッケージ … 指定したパッケージのファイル一覧を表示します
-qi パッケージ … 指定したパッケージの情報を表示します
参考： 102.5 RPMおよびYUMパッケージ管理の使用｜サンプル問題／例題解説｜受験対策｜IT資格といえばLPI-Japan | LinuC/OSS-DB/HTML5/OPCEL/LPIC
所感
ん〜コマンド、オプションたくさん。。。
画素ごとの濃淡変換のお勉強（３）
やりたいこと
画素ごとの変換について学ぶ
教科書
階調変換関数・トーンカーブ
参考；
折れ線型トーンカーブ
参考：
累積型トーンカーブ
ガンマ変換
参考：
S字トーンカーブ
参考：
ヒストグラム平坦化
参考：
濃淡の反転
参考：
ポスタリゼーションと二値化
ポスタリゼーション： 階段状のトーンカーブによる変換
参考：
ソラリゼーション
参考：
擬似カラー
これによって赤外線カメラ等ではより直感的に画像の意味が理解できる
参考：
画像間演算
ディゾルブ
エンボス: 輪郭を浮き彫りにする効果がある（ネガポジ変換⇒移動⇒画像間演算）
参考：
マスク画像
クロマキー処理
参考：
所感
画像のフィルターはスマホとかで触れる機会が多いし、身近に感じれて学んでて楽しいな(๑´ڡ`๑)
画像の性質と色空間のお勉強（２）
やりたいこと
画像の性質と色空間について学ぶ
教科書
ヒストグラム
参考：
カラー画像のヒストグラム
＃＃＃ 統計量
最大値・最小値
平均値： 全ピクセルの画素値の平均
中央値： 画素値の小さい方から "画像サイズ(heght x width)/2"番目の画素値
最頻値： もっとも頻度が高い画素値
ラスタスキャン
画像のノイズ
参考；
コントラストとシャープネス
参考：
参考：
人間の視覚
参考：
参考：
プルキニエ現象： プルキンエ現象(プルキンエゲンショウ)とは - コトバンク
表色系と色空間
顕色系： マンセル表色系
混色系： CIE-RGB表色系、CIE-XYZ表色系
参考：
マンセル表色系
CIE-RGB表色系
等色実験
参考：
等式関数
参考：
CIE-XYZ表色系
参考：
CIE-Lab* 色空間
参考：
sRGB色空間
参考：
輝度信号と色差信号
チャンネル間相関： チャンネル間の類似性（無彩色に近い地面などRGBそれぞれのチャンネルに同じよう配色された画像になる）
YUVはRGBに比べチャンネル相関が低くなる。
静止画の圧縮フォーマットのJPEGはYCC変換を採用： 色空間の変換 (4)
参考：
HSI変換と逆変換
六角錐モデルHSV
参考：
双六角錐モデルHSL
参考：
所感
ん〜色んな変換があるなぁ
