空飛ぶロボットのつくりかた

ロボットをつくるために必要な技術をまとめます。ロボットの未来についても考えたりします。

ロボットの目をつくろう(ステレオカメラをつかう)

ステレオカメラを用いて、距離が正しくとれるかの実験を行います。

rosを使って行います。使うカメラはweb cameraを2つ。

TBD

動作はしているものの キャリブレーションがうまくいっていないのか、正しく距離はかれず


参考


ROS勉強記#9 ステレオカメラとキャリブレーション — youtalk.jp

ROS勉強記#10 ステレオ画像処理によるポイントクラウド生成 — youtalk.jp

ROSで始めるロボティクス(9) ー ROSを使ったステレオカメラキャリブレーション ~ BRILLIANTSERVICE TECHNICAL BLOG

ロボットの目をつくろう(ip cameraをつかう)

aiballとopencvで動画ストリーミング

小型のwifiカメラであるaiballを使ってみる

# -*- coding: utf-8 -*-
import cv2
cap = cv2.VideoCapture("http://192.168.2.1/?action=stream.mjpeg") #ここが大事

while True:
    ret, frame = cap.read()
    cv2.imshow('camera capture', frame)
    k = cv2.waitKey(1) 
    if k == 27: #27=escキー
        break

cap.release()
cv2.destroyAllWindows()

VisualStudioCodeの使い方


pythonプログラムの実行の仕方


  • コマンドパレットで以下をタイプ

    Tasks: Configure Task Runner

  • task.jsonを以下に変更

{
    // See https://go.microsoft.com/fwlink/?LinkId=733558
    // for the documentation about the tasks.json format
    "version": "0.1.0",
    //"command": "tsc", //変更
    "command": "python",
    "isShellCommand": true,
    //"showOutput": "silent", //変更
    "showOutput": "always",
    //"args": ["-p", "."], //変更
    "args": ["${file}"],
    "problemMatcher": "$tsc"
}
  • Ctrl+Shift+Bで実行

lint

{
    "python.linting.flake8Enabled": true
}

参考: python lint

http://dev.classmethod.jp/tool/python-pyenv-vscode/

ロボットとお話をしよう(音声認識にJuliusをつかう)

オープンソース音声認識システムJulius

相棒を作るにあたり、音声認識にはJuliusをつかってみる

julius.osdn.jp

こちらの [Raspberry Pi]USBマイクと音声認識ソフトJuliusを使って音声認識を試す(1) : 工作と競馬 を参考にさせて頂いた。感謝。

  • Juliusのメリット
    • スタンドアローンで動く
    • 登録した単語、文法の認識が強い
    • 日本語がある
    • 機能が豊富で拡張しやすい
    • フリー

とにかく動かしてみる


  1. インストール

     $ sudo wget -O julius-4.3.1.tar.gz ‘http://sourceforge.jp/frs/redir.php?m=osdn&f=%2Fjulius%2F60273%2Fjulius-4.3.1.tar.gz’
     $ sudo wget -O dictation-kit-v4.3.1-linux.tgz ‘http://sourceforge.jp/frs/redir.php?m=jaist&f=%2Fjulius%2F60416%2Fdictation-kit-v4.3.1-linux.tgz’
     $ sudo wget -O grammar-kit-v4.1.tar.gz ‘http://sourceforge.jp/frs/redir.php?m=osdn&f=%2Fjulius%2F51159%2Fgrammar-kit-v4.1.tar.gz’
     

  2. 使える状態にする

     $ tar zxvf julius-4.3.1.tar.gz
     $ cd julius-4.3.1/
     $ ./configure
     $ make
     $ sudo make install
     
     $ cd ../
     $ tar zxvf dictation-kit-v4.3.1-linux.tgz
     $ tar zxvf grammar-kit-v4.1.tar.gz
     

  3. dictation-kitのrun.shの実行

  4. マイクに向かって話すと認識した単語が表示される


使い方


  • 上記Gitのreadme、troubleshootやjulius bookに丁寧に書かれている git clone https://github.com/julius-speech/julius.git
  • 単語と文法の作成が必要

相棒作成に使う機能


  • -moduleモードでport(10500)に吐き出した情報を利用
    • 吐き出された情報はxml形式になっているため、必要な情報を取り出す必要がある

参考


[Raspberry Pi]USBマイクと音声認識ソフトJuliusを使って音声認識を試す(1) : 工作と競馬

Devel/電子工作/RaspberryPi/日本語音声認識 - cubic9.com


今後の課題


  • -moduleモードで吐き出されたxml形式の取り扱い