画像の性質と色空間のお勉強（２）
やりたいこと
画像の性質と色空間について学ぶ
教科書
ヒストグラム
参考：
カラー画像のヒストグラム
＃＃＃ 統計量
最大値・最小値
平均値： 全ピクセルの画素値の平均
中央値： 画素値の小さい方から "画像サイズ(heght x width)/2"番目の画素値
最頻値： もっとも頻度が高い画素値
ラスタスキャン
画像のノイズ
参考；
コントラストとシャープネス
参考：
参考：
人間の視覚
参考：
参考：
プルキニエ現象： プルキンエ現象(プルキンエゲンショウ)とは - コトバンク
表色系と色空間
顕色系： マンセル表色系
混色系： CIE-RGB表色系、CIE-XYZ表色系
参考：
マンセル表色系
CIE-RGB表色系
等色実験
参考：
等式関数
参考：
CIE-XYZ表色系
参考：
CIE-Lab* 色空間
参考：
sRGB色空間
参考：
輝度信号と色差信号
チャンネル間相関： チャンネル間の類似性（無彩色に近い地面などRGBそれぞれのチャンネルに同じよう配色された画像になる）
YUVはRGBに比べチャンネル相関が低くなる。
静止画の圧縮フォーマットのJPEGはYCC変換を採用： 色空間の変換 (4)
参考：
HSI変換と逆変換
六角錐モデルHSV
参考：
双六角錐モデルHSL
参考：
所感
ん〜色んな変換があるなぁ
デジタル画像撮影のお勉強（１）
やりたいこと
デジタル画像撮影について学ぶ
教科書
カメラの構成要素
画像生成の幾何学モデル
ピンホールカメラモデル
レンズを使うと明るくなるがピント合わせが必要
ピンホールカメラはピント合わせが不要
参考：
透視投影モデル
参考：
レンズモデル
薄肉レンズ
参考：
厚肉レンズ
参考：
歪曲収差
参考：
周辺光量の低下
参考：
撮影パラメータ
撮影画角
参考：
撮像素子サイズ
CMOSとCCD
参考：
レンズ焦点距離
35mm換算焦点距離
標準・広角・望遠レンズ
メカニカルシャッター
ミラー機構
参考：
【APS-C編】レンズ焦点距離別の、被写界深度とオススメの使い方を考えてみたよ！ - chotto_bit, good life
DSC-HX1 特長 : CMOSセンサー「Exmor」 | デジタルスチルカメラ Cyber-shot サイバーショット | ソニー
画像の明るさ
T・B・D
カラー画像
加法混色と減法混色
可視光
人間の視覚
加法混色
減法混色
参考：
カラー画像の撮影
3板式
3板式
単板式
バイリニア補間
エッジセンシング補間 ： T・B・D
参考：
主成分分析のお勉強
やりたいこと
三次元点群に最もフィットする主軸を導出したい!
教科書
http://www.sist.ac.jp/~kanakubo/research/statistic/shuseibun_bunseki.html
主成分分析を使ってバウンティボックスを作る - Pashango’s Blog <- わかりやすい
実装コード
#coding:utf-8 import numpy from sklearn.decomposition import PCA N = 20 t = numpy.random.rand(N) x = t+numpy.random.rand(N)*0.3 y = t+numpy.random.rand(N)*0.3 z = t+numpy.random.rand(N)*0.3 pca_o = PCA(n_components=3) pca_o.fit(zip(x,y,z)) pca = pca_o.components_ v = [] mx = numpy.mean(x) my = numpy.mean(y) mz = numpy.mean(z) for tx,ty,tz in zip(x,y,z): ax,ay,az = numpy.dot(pca,[(tx-mx),(ty-my),(tz-mz)]) v.append( dict(ax=ax,ay=ay,az=az,x=tx,y=ty,z=tz) ) maxx = max(v,key=lambda x:x['ax']) minx = min(v,key=lambda x:x['ax']) maxy = max(v,key=lambda x:x['ay']) miny = min(v,key=lambda x:x['ay']) maxz = max(v,key=lambda x:x['az']) minz = min(v,key=lambda x:x['az']) #グラフ描画 from matplotlib.pyplot import * from mpl_toolkits.mplot3d import Axes3D fig = figure() ax = Axes3D(fig) ax.scatter3D(x,y,z) # 表示範囲の設定 ax.set_xlim(0, 1.5) ax.set_ylim(0, 1.5) ax.set_zlim(0, 1.5) #基底ベクトルの描画 v1x,v1y,v1z = pca[0] ax.plot([mx+v1x,mx-v1x],[my+v1y,my-v1y],[mz+v1z,mz-v1z]) v2x,v2y,v2z = pca[1] ax.plot([mx+v2x,mx-v2x],[my+v2y,my-v2y],[mz+v2z,mz-v2z]) v3x,v3y,v3z = pca[2] ax.plot([mx+v3x,mx-v3x],[my+v3y,my-v3y],[mz+v3z,mz-v3z]) ax.plot([maxx['x']], [maxx['y']], [maxx['z']], "*", color="b", ms=10, mew=0.5) ax.plot([minx['x']], [minx['y']], [minx['z']], "*", color="b", ms=10, mew=0.5) ax.plot([maxy['x']], [maxy['y']], [maxy['z']], "*", color="r", ms=10, mew=0.5) ax.plot([miny['x']], [miny['y']], [miny['z']], "*", color="r", ms=10, mew=0.5) ax.plot([maxz['x']], [maxz['y']], [maxz['z']], "*", color="g", ms=10, mew=0.5) ax.plot([minz['x']], [minz['y']], [minz['z']], "*", color="g", ms=10, mew=0.5) show()
ブルーの線が主軸です！
☆がそれぞれの軸での最大・最小の点!!
これを使って何をするかはお楽しみ♪
NeoPixel Ringで遊んでみる
やりたいこと
Neo Pixcel の LEDをいい感じに光らせたい💡
購入したNeo Pixcel LED
780円〜♪
教科書
https://learn.adafruit.com/florabrella/test-the-neopixel-strip
ハンダ付け
👇こんな感じ
配線
VCC -> 5V
GND -> GND
IN -> 6番pin
下記写真参考
Arduinoの設定
NeoPixelのライブラリ設定
スケッチ
#include <Adafruit_NeoPixel.h> #define PIN 6 // Parameter 1 = number of pixels in strip // Parameter 2 = pin number (most are valid) // Parameter 3 = pixel type flags, add together as needed: // NEO_KHZ800 800 KHz bitstream (most NeoPixel products w/WS2812 LEDs) // NEO_KHZ400 400 KHz (classic 'v1' (not v2) FLORA pixels, WS2811 drivers) // NEO_GRB Pixels are wired for GRB bitstream (most NeoPixel products) // NEO_RGB Pixels are wired for RGB bitstream (v1 FLORA pixels, not v2) Adafruit_NeoPixel strip = Adafruit_NeoPixel(160, PIN, NEO_GRB + NEO_KHZ800); void setup() { strip.begin(); strip.setBrightness(30); //adjust brightness here strip.show(); // Initialize all pixels to 'off' } void loop() { // Some example procedures showing how to display to the pixels: colorWipe(strip.Color(255, 0, 0), 50); // Red colorWipe(strip.Color(0, 255, 0), 50); // Green colorWipe(strip.Color(0, 0, 255), 50); // Blue rainbow(20); rainbowCycle(20); } // Fill the dots one after the other with a color void colorWipe(uint32_t c, uint8_t wait) { for(uint16_t i=0; i<strip.numPixels(); i++) { strip.setPixelColor(i, c); strip.show(); delay(wait); } } void rainbow(uint8_t wait) { uint16_t i, j; for(j=0; j<256; j++) { for(i=0; i<strip.numPixels(); i++) { strip.setPixelColor(i, Wheel((i+j) & 255)); } strip.show(); delay(wait); } } // Slightly different, this makes the rainbow equally distributed throughout void rainbowCycle(uint8_t wait) { uint16_t i, j; for(j=0; j<256*5; j++) { // 5 cycles of all colors on wheel for(i=0; i< strip.numPixels(); i++) { strip.setPixelColor(i, Wheel(((i * 256 / strip.numPixels()) + j) & 255)); } strip.show(); delay(wait); } } // Input a value 0 to 255 to get a color value. // The colours are a transition r - g - b - back to r. uint32_t Wheel(byte WheelPos) { if(WheelPos < 85) { return strip.Color(WheelPos * 3, 255 - WheelPos * 3, 0); } else if(WheelPos < 170) { WheelPos -= 85; return strip.Color(255 - WheelPos * 3, 0, WheelPos * 3); } else { WheelPos -= 170; return strip.Color(0, WheelPos * 3, 255 - WheelPos * 3); } }
これを書き込めばOK💡
RasPiでトライ
参考：
所感
とても綺麗✨
色んな光らせ方を考えていきたいな〜
参考
Visual Studio CodeでROSプログラミング
やりたいこと
統合開発環境でROSプログラミング
Visual Studio Code
参考：
ROS開発におけるエディタ選択 ( Visual Studio Code編 ) (2) | Tokyo Opensource Robotics Kyokai Association
ROS開発におけるエディタ選択 ( Visual Studio Code + ROS 編 )（1） | Tokyo Opensource Robotics Kyokai Association
C++
拡張機能の追加
C++で検索し、一番上をインストール後、再読み込み
Hello World
#include <iostream> int main() { std::cout << "Hello, World" << std::endl; }
taskの作成
Ctrl + Shift + p
Configure Task
tasks.json
{
// See https://go.microsoft.com/fwlink/?LinkId=733558
// for the documentation about the tasks.json format
"version": "2.0.0",
"tasks": [
{
"label": "build",
"type": "shell",
"command": "g++",
"args": ["-O2", "-g", "test.cpp"],
}
]
}
build
Ctrl + Shift + b
build
これでa.outができているはず
ROS
拡張機能の追加
ROSで検索し、一番上をインストール後、再読み込み
Create Package
Ctrl + Shift + p
ROS
Create Catkin Package
roscpp std_msgs
Emacs 設定
Raspberry Pi Zero W で遊んでみる(1)~IP CAMERA~
やりたいこと
raspberry pi zero w でIPカメラを作る
IPカメラを作ってみる
Bluetoothで接続
Raspberry Pi Zero WでBluetooth経由でシリアル通信（ペアリングまで） - 極力ローコスト ロボット製作 ブログ
カメラの接続
データの送受信
いろんな方法がある
picameraのチュートリアルに"Capturing to a network stream"という項があり、socket通信で画像をストリーミングしている
opencvでも可能
mjpg-streamerでstreaming
参考
raspiから映像をストリーミング
raspi側: mjpg-streamerでstreaming
参考: 5GHz WiFi対応させたPi Zero rev1.3とPi Cameraでミニマムなネットワークカメラを作ってみた（mjpg-streamer版） | きっと何かに役立つでしょ！？
上記通りにして、webブラウザに http://192.168.xx.xx:9000を打ち込むと以下のように表示される
おまけ:OpenCVのインストール
$ sudo apt-get install python-opencv
PC側
参考： PythonとOpenCV3でストリーミング映像をキャプチャする方法 - Live the Life you Love
#!/usr/bin/env python # -*- coding: utf-8 -*- import cv2 URL = "http://raspberry.local:8081/?action=stream" s_video = cv2.VideoCapture(URL) while True: ret, img = s_video.read() cv2.imshow("Stream Video",img) key = cv2.waitKey(1) & 0xff if key == ord('q'): break
所感
めっちゃコンパクト！ 遅延もそこまでない、いい感じ♪
ってかraspi zeroにros入るのかな...調べてみよう
参考HP
raspi関連商品
PCLを使って遊んでみる
やりたいこと
点群情報の処理をうまく扱えるようになりたい
教科書
Point Cloud Dataの作成
Documentation - Point Cloud Library (PCL)
実行手順（以下のスクリプトを同じ階層に準備した前提）
mkdir build
cd build
cmake ..
make
./pcd_write_test
pcdの型
width, height, points.sizeの要素が必要で、あとはこのpointsにxyzのデータをつめる
pcl::PointCloud<pcl::PointXYZ> cloud; // Fill in the cloud data cloud.width = 5; cloud.height = 1; cloud.is_dense = false; cloud.points.resize (cloud.width * cloud.height);
実装
#include <iostream> #include <pcl/io/pcd_io.h> #include <pcl/point_types.h> int main (int argc, char** argv) { pcl::PointCloud<pcl::PointXYZ> cloud; // Fill in the cloud data cloud.width = 5; cloud.height = 1; cloud.is_dense = false; cloud.points.resize (cloud.width * cloud.height); for (size_t i = 0; i < cloud.points.size (); ++i) { cloud.points[i].x = 1024 * rand () / (RAND_MAX + 1.0f); cloud.points[i].y = 1024 * rand () / (RAND_MAX + 1.0f); cloud.points[i].z = 1024 * rand () / (RAND_MAX + 1.0f); } pcl::io::savePCDFileASCII ("test_pcd.pcd", cloud); std::cerr << "Saved " << cloud.points.size () << " data points to test_pcd.pcd." << std::endl; for (size_t i = 0; i < cloud.points.size (); ++i) std::cerr << " " << cloud.points[i].x << " " << cloud.points[i].y << " " << cloud.points[i].z << std::endl; return (0); }
結果
Saved 5 data points to test_pcd.pcd.
0.352222 -0.151883 -0.106395
-0.397406 -0.473106 0.292602
-0.731898 0.667105 0.441304
-0.734766 0.854581 -0.0361733
-0.4607 -0.277468 -0.916762
CMakeLists.txt
cmake_minimum_required(VERSION 2.6 FATAL_ERROR)
project(MY_GRAND_PROJECT)
find_package(PCL 1.3 REQUIRED COMPONENTS common io)
include_directories(${PCL_INCLUDE_DIRS})
link_directories(${PCL_LIBRARY_DIRS})
add_definitions(${PCL_DEFINITIONS})
add_executable(pcd_write_test pcd_write.cpp)
target_link_libraries(pcd_write_test ${PCL_COMMON_LIBRARIES} ${PCL_IO_LIBRARIES})
平面検出
Documentation - Point Cloud Library (PCL)
重要な部分
seg.setDistanceThreshold (0.01);
このパラメータどれくらい分厚いものを平面と分類するかが変わる。
softkineticでは平面の点群が分厚くなる傾向にあるため0.03~0.04に設定すると良い
pcl::ModelCoefficients::Ptr coefficients (new pcl::ModelCoefficients); pcl::PointIndices::Ptr inliers (new pcl::PointIndices); // Create the segmentation object pcl::SACSegmentation<pcl::PointXYZ> seg; // Optional seg.setOptimizeCoefficients (true); // Mandatory seg.setModelType (pcl::SACMODEL_PLANE); seg.setMethodType (pcl::SAC_RANSAC); seg.setDistanceThreshold (0.01); seg.setInputCloud (cloud); seg.segment (*inliers, *coefficients);
実装
#include <iostream> #include <pcl/ModelCoefficients.h> #include <pcl/io/pcd_io.h> #include <pcl/point_types.h> #include <pcl/sample_consensus/method_types.h> #include <pcl/sample_consensus/model_types.h> #include <pcl/segmentation/sac_segmentation.h> int main (int argc, char** argv) { pcl::PointCloud<pcl::PointXYZ>::Ptr cloud(new pcl::PointCloud<pcl::PointXYZ>); // Fill in the cloud data cloud->width = 15; cloud->height = 1; cloud->points.resize (cloud->width * cloud->height); // Generate the data for (size_t i = 0; i < cloud->points.size (); ++i) { cloud->points[i].x = 1024 * rand () / (RAND_MAX + 1.0f); cloud->points[i].y = 1024 * rand () / (RAND_MAX + 1.0f); cloud->points[i].z = 1.0; } // Set a few outliers cloud->points[0].z = 2.0; cloud->points[3].z = -2.0; cloud->points[6].z = 4.0; std::cerr << "Point cloud data: " << cloud->points.size () << " points" << std::endl; for (size_t i = 0; i < cloud->points.size (); ++i) std::cerr << " " << cloud->points[i].x << " " << cloud->points[i].y << " " << cloud->points[i].z << std::endl; pcl::ModelCoefficients::Ptr coefficients (new pcl::ModelCoefficients); pcl::PointIndices::Ptr inliers (new pcl::PointIndices); // Create the segmentation object pcl::SACSegmentation<pcl::PointXYZ> seg; // Optional seg.setOptimizeCoefficients (true); // Mandatory seg.setModelType (pcl::SACMODEL_PLANE); seg.setMethodType (pcl::SAC_RANSAC); seg.setDistanceThreshold (0.01); seg.setInputCloud (cloud); seg.segment (*inliers, *coefficients); if (inliers->indices.size () == 0) { PCL_ERROR ("Could not estimate a planar model for the given dataset."); return (-1); } std::cerr << "Model coefficients: " << coefficients->values[0] << " " << coefficients->values[1] << " " << coefficients->values[2] << " " << coefficients->values[3] << std::endl; std::cerr << "Model inliers: " << inliers->indices.size () << std::endl; for (size_t i = 0; i < inliers->indices.size (); ++i) std::cerr << inliers->indices[i] << " " << cloud->points[inliers->indices[i]].x << " " << cloud->points[inliers->indices[i]].y << " " << cloud->points[inliers->indices[i]].z << std::endl; return (0); }
CMakeLists.txt
cmake_minimum_required(VERSION 2.8 FATAL_ERROR)
project(planar_segmentation)
find_package(PCL 1.2 REQUIRED)
include_directories(${PCL_INCLUDE_DIRS})
link_directories(${PCL_LIBRARY_DIRS})
add_definitions(${PCL_DEFINITIONS})
add_executable (planar_segmentation planar_segmentation.cpp)
target_link_libraries (planar_segmentation ${PCL_LIBRARIES})
ROS x PCLで平面検出
softkineticの点群データを受け取って平面検出を行う
├── CMakeLists.txt
├── package.xml
└── src
└── planar_segmentation.cpp
実装
- seg.setDistanceThreshold (0.01) -> (0.04);に修正
#include <string> #include <pcl/point_cloud.h> #include <pcl/point_types.h> #include <pcl/sample_consensus/method_types.h> #include <pcl/sample_consensus/model_types.h> #include <pcl/segmentation/sac_segmentation.h> #include <pcl/visualization/cloud_viewer.h> #include <pcl_conversions/pcl_conversions.h> #include <pcl_msgs/ModelCoefficients.h> #include <ros/ros.h> #include <sensor_msgs/PointCloud2.h> class PlaneSegmentation { public: PlaneSegmentation() : segmentation_cloud_(new pcl::PointCloud<pcl::PointXYZRGB>) { std::string topic_name = "/softkinetic_camera/depth/points"; cloud_sub_ = nh_.subscribe(topic_name, 1, &PlaneSegmentation::SegmentationCb, this); if (!ros::topic::waitForMessage<sensor_msgs::PointCloud2>(topic_name, ros::Duration(10.0))) { ROS_ERROR("timeout"); exit(EXIT_FAILURE); } plane_pub_ = nh_.advertise<sensor_msgs::PointCloud2>("/plane_segmentation", 1); } pcl::PointCloud<pcl::PointXYZRGB>::ConstPtr GetSegmentationCloud() const { return PlaneSegmentation::segmentation_cloud_; } private: ros::NodeHandle nh_; ros::Subscriber cloud_sub_; ros::Publisher plane_pub_; pcl::PointCloud<pcl::PointXYZRGB>::Ptr segmentation_cloud_; void SegmentationCb(const sensor_msgs::PointCloud2ConstPtr& msg) { pcl::PointCloud<pcl::PointXYZRGB> cloud; pcl::fromROSMsg(*msg, cloud); pcl::SACSegmentation<pcl::PointXYZRGB> seg; seg.setOptimizeCoefficients(true); seg.setModelType(pcl::SACMODEL_PLANE); seg.setMethodType(pcl::SAC_RANSAC); seg.setDistanceThreshold(0.04); seg.setInputCloud(cloud.makeShared()); pcl::PointIndices inliers; pcl::ModelCoefficients coefficients; seg.segment(inliers, coefficients); pcl::copyPointCloud(cloud, *segmentation_cloud_); for (size_t i = 0; i < inliers.indices.size(); i++) { segmentation_cloud_->points[inliers.indices[i]].r = 255; segmentation_cloud_->points[inliers.indices[i]].g = 0; segmentation_cloud_->points[inliers.indices[i]].b = 0; } sensor_msgs::PointCloud2 pub_cloud; pcl::toROSMsg(*segmentation_cloud_, pub_cloud); plane_pub_.publish(pub_cloud); } }; int main(int argc, char** argv) { ros::init(argc, argv, "plane_segmentation"); PlaneSegmentation plane_segmentation; ros::Rate spin_rate(10); pcl::visualization::CloudViewer viewer("Viewer"); while (ros::ok()) { ros::spinOnce(); if (!viewer.wasStopped()) { viewer.showCloud(plane_segmentation.GetSegmentationCloud()); } spin_rate.sleep(); } return 0; }
CMakeLists.txt
find_package(catkin REQUIRED COMPONENTS
pcl_conversions
pcl_ros
roscpp
sensor_msgs
)
catkin_package(
CATKIN_DEPENDS
roscpp
sensor_msgs
)
include_directories(
${catkin_INCLUDE_DIRS}
)
add_executable(planar_segmentation src/planar_segmentation.cpp)
target_link_libraries(plane_detection
${catkin_LIBRARIES}
pacage.xml
<buildtool_depend>catkin</buildtool_depend> <build_depend>pcl_conversions</build_depend> <build_depend>pcl_ros</build_depend> <build_depend>roscpp</build_depend> <build_depend>sensor_msgs</build_depend> <run_depend>pcl_conversions</run_depend> <run_depend>pcl_ros</run_depend> <run_depend>roscpp</run_depend> <run_depend>sensor_msgs</run_depend>
結果
Tutorialと同様の結果がでていない気がする。何かおかしいかも。
帯みたいになってる。なんでだろう。。。
