Raspberry Pi 3とカメラモジュールで顔追跡カメラを作る

Contents

1 はじめに
2 参考サイト
3 回路図、構成図
4 準備
5 pythonコード
6 Xlib: extension "RANDR" missing on display ":1.0".について
7 動作について
8 最後に

はじめに

以前まで組み立てていたSG90サーボカメラマウントとラズパイカメラモジュールを使って
顔追跡＝オートトラッキングが出来るカメラを作ります。

参考サイト

今回参考にしたサイトは数知れません。。たくさんのサイトを参考にさせていただきました。

そもそもopencvの知識0から開始してるので当たり前ですね。

特に参考にさせていただいたのはこちらのサイト様です。

OpenCVのチュートリアルです。驚くほどわかりやすいです。先にこちらを見ておくと理解が早まると思います。

labs.eecs.tottori-u.ac.jp

OpenCV-Pythonチュートリアル — OpenCV-Python Tutorials 1 documentation

http://labs.eecs.tottori-u.ac.jp/sd/Member/oyamada/OpenCV/html/py_tutorials/py_tutorials.html

そもそものコードなどはPonDad様のこちらのサイトのものを使わせていただきました。

Qiita

Raspberry Pi サーボモーターとOpen CVで物体追跡カメラ（Meanshift） - Qiita

https://qiita.com/PonDad/items/4d50ea908a0fc75f4cea

物体追跡カメラをRaspberryPiで作ってみました。Python3系で動きます。指定した枠内に最初に映ったものを追尾します。「青りんご」で試してみます。!(https://qi...

さらに9680lhqv様の詳しい解説のおかげで理解が深まりました。

Qiita

Raspberry Pi とPython3とOpen CVで顔追跡カメラ - Qiita

https://qiita.com/9680lhqv/items/9f8cff5c5894520638c3

`RaspberryPi`初心者です。`RaspberryPi`、カメラ、サーボモーターを用いて、顔追跡を行います。@PonDadさんの記事を参考にさせていただきました。@PonDadさんありがとうございます。[Raspber...

回路図、構成図

前回のサーボと同じです。前回の投稿を参照してください。

派遣エンジニアに幸あれ！

SG90サーボ用2軸カメラマウントをpigpioで動かす

https://hakengineer.xyz/2018/02/25/post-1049/

はじめに前回カメラマウントにカメラも無事？乗せることが出来ましたので、カメラマウントを動かそうと思います。以前pigpioでSG90を1台動かすところまでやりましたが、購入したカメラマウントはSG90を2つ使います。２つのSG90を制御するのによくPCA9685という16個の...

準備

この後に出てくるコードですが、ラズパイのカメラモジュールの場合はbcm2835-v4l2というモジュールを呼び出す必要があるようです。

こちらのサイト様を参考にさせていただきました。

Qiita

Raspberry Pi のカメラモジュールで撮影 - Qiita

https://qiita.com/soramimi_jp/items/0127855cfa27a26b4c80#_reference-5adee9195a01e94f9fe9

Raspberry Pi Advent Calendar に書こうと思ったら、枠が埋まってしまったので、こちらに書くことにしました。この記事は、Raspberry Pi Advent Calendar 2017 11日目の記事、@...

このモジュールなしで実行させると以下のようなエラーが出ました。
モジュールを入れたあとは出てきません。

(cv-python3) one3@raspberrypi:~/testsg90 $ python3 70test.py
W,H,fps:  0.0 0.0 0.0
OpenCV Error: Assertion failed (size.width>0 && size.height>0) in imshow, file /home/one3/opencv-3.1.0/modules/highgui/src/window.cpp, line 281
Traceback (most recent call last):
  File "70test.py", line 85, in <module>
    cv2.imshow("Show FLAME Image", frame)
cv2.error: /home/one3/opencv-3.1.0/modules/highgui/src/window.cpp:281: error: (-215) size.width>0 && size.height>0 in function imshow

(cv-python3) one3@raspberrypi:~/testsg90 $ python3 70test.py

W,H,fps: 0.0 0.0 0.0

OpenCV Error: Assertion failed (size.width>0 && size.height>0) in imshow, file /home/one3/opencv-3.1.0/modules/highgui/src/window.cpp, line 281

Traceback (most recent call last):

File "70test.py", line 85, in <module>

cv2.imshow("Show FLAME Image", frame)

cv2.error: /home/one3/opencv-3.1.0/modules/highgui/src/window.cpp:281: error: (-215) size.width>0 && size.height>0 in function imshow

流れとしては
・lsmod | grep bcm2835_v4l2

bcm2835_v4l2がないことを確認。ハイフンではなくアンダーバーでした。

・sudo apt-get update

・sudo apt-get upgrade

・sudo apt-get install libv4l-dev

私の環境では既にlibv4l-devがありました。

・sudo modprobe bcm2835-v4l2

読み込むのはハイフンのほう。

・lsmod | grep bcm2835_v4l2

bcm2835_v4l2があることを確認。

以上でカメラモジュールでも動作できます。永続的に読み込むならsudo vim /etc/modulesで

bcm2835-v4l2

と書き足せばOKです。こっちはハイフンです。

書いた後に再起動すればlsmodでbcm2835_v4l2が表示されるはずです。

pythonコード

OpenCVはこちらでインストールしたものを使ってます。

派遣エンジニアに幸あれ！

Raspberry Pi 3にOpenCVをインストールする

https://hakengineer.xyz/2018/01/24/post-950/

初めにラズパイ３でカメラを使って顔認証するためにpythonのOpenCVをインストールします。苦戦したためラズビアンを再インストールしました。。正確に言うと過去のバックアップを引っ張りだしてきてからOpenCVをインストールしてます。 python3.5.3にOpenCV3.1....

pythonのバージョンは3.5.3、OpenCVのバージョンは3.1.0で動作させました。

コード内のコメントは自分の確認用に書いてます。間違ってたらすいません。。

# -*- coding: UTF-8 -*-
import cv2
import os
import time
import pigpio

pi = pigpio.pi()

#x_move:range720-2370
#y_move:range1000-2315

def move(x_move, y_move):
    #print('x_move: ', x_move)
    #print('y_move: ', y_move)
    pi.set_servo_pulsewidth(4, x_move)
    pi.set_servo_pulsewidth(17, y_move)


#X,Yのサーボで稼働させる範囲。適当によさげな範囲を選んだ
X_MAX = 2370
X_MIN = 720
X_HOME = 1545

Y_MAX = 2300
Y_MIN = 1000
Y_HOME = 1650


#カメラの位置初期化
#pi.set_servo_pulsewidth(4, 1545)
#pi.set_servo_pulsewidth(17, 1650)
move(X_HOME, Y_HOME)

#パス注意
cascade_path = "/home/one3/opencv-3.1.0/data/haarcascades/haarcascade_frontalface_alt.xml"

cascade = cv2.CascadeClassifier(cascade_path)

cap = cv2.VideoCapture(0)

# FRAME_WIDTH
W = cap.get(cv2.CAP_PROP_FRAME_WIDTH)
# FRAME_HEIGHT
H = cap.get(cv2.CAP_PROP_FRAME_HEIGHT)
# fps
fps = cap.get(cv2.CAP_PROP_FPS)
#デフォルトの画面サイズとfpsを確認
print('W,H,fps: ', W , H , fps)
#W,H,fps:  640.0 480.0 30.0
cap.set(3, 320) #横サイズ320
cap.set(4, 320) #縦サイズ320
cap.set(5, 15)  #fps
color = (255, 255, 255) #白色


#初期位置
now_degree_x, now_degree_y, move_degree_x, move_degree_y = X_HOME, Y_HOME, 0, 0

while(True):
    ret, frame = cap.read()
    facerect = cascade.detectMultiScale(frame, scaleFactor=1.2, minNeighbors=2, minSize=(10, 10))

    for rect in facerect:
        img_x = rect[0]+rect[2]/2
        img_y = rect[1]+rect[3]/2
        #print(img_x, img_y)
        #カメラをどれだけ動かすか。320/2で160。0.1箇所を大きくするとカメラが大 きく動く
        move_degree_x = now_degree_x - (img_x-160)*0.1
        move_degree_y = now_degree_y + (img_y-160)*0.1
        #print('deg: ', move_degree_x , move_degree_y)
        #実際にカメラを動かすところ
        move(move_degree_x, move_degree_y)
        now_degree_x = move_degree_x
        now_degree_y = move_degree_y
        #顔認証した中心点を円で描写
        cv2.circle(frame, (int(img_x), int(img_y)), 10, color, -1)
        #顔認証した部分を長方形で囲む
        cv2.rectangle(frame, tuple(rect[0:2]),tuple(rect[0:2] + rect[2:4]), color, thickness=3)

    cv2.imshow("Show FLAME Image", frame)

    k = cv2.waitKey(1)
    if k == ord('q'):
        break

cap.release()
cv2.destroyAllWindows()

# -*- coding: UTF-8 -*-

import cv2

import os

import time

import pigpio

pi = pigpio.pi()

#x_move:range720-2370

#y_move:range1000-2315

def move(x_move, y_move):

#print('x_move: ', x_move)

#print('y_move: ', y_move)

pi.set_servo_pulsewidth(4, x_move)

pi.set_servo_pulsewidth(17, y_move)

#X,Yのサーボで稼働させる範囲。適当によさげな範囲を選んだ

X_MAX = 2370

X_MIN = 720

X_HOME = 1545

Y_MAX = 2300

Y_MIN = 1000

Y_HOME = 1650

#カメラの位置初期化

#pi.set_servo_pulsewidth(4, 1545)

#pi.set_servo_pulsewidth(17, 1650)

move(X_HOME, Y_HOME)

#パス注意

cascade_path = "/home/one3/opencv-3.1.0/data/haarcascades/haarcascade_frontalface_alt.xml"

cascade = cv2.CascadeClassifier(cascade_path)

cap = cv2.VideoCapture(0)

# FRAME_WIDTH

W = cap.get(cv2.CAP_PROP_FRAME_WIDTH)

# FRAME_HEIGHT

H = cap.get(cv2.CAP_PROP_FRAME_HEIGHT)

# fps

fps = cap.get(cv2.CAP_PROP_FPS)

#デフォルトの画面サイズとfpsを確認

print('W,H,fps: ', W , H , fps)

#W,H,fps: 640.0 480.0 30.0

cap.set(3, 320) #横サイズ320

cap.set(4, 320) #縦サイズ320

cap.set(5, 15) #fps

color = (255, 255, 255) #白色

#初期位置

now_degree_x, now_degree_y, move_degree_x, move_degree_y = X_HOME, Y_HOME, 0, 0

while(True):

ret, frame = cap.read()

facerect = cascade.detectMultiScale(frame, scaleFactor=1.2, minNeighbors=2, minSize=(10, 10))

for rect in facerect:

img_x = rect[0]+rect[2]/2

img_y = rect[1]+rect[3]/2

#print(img_x, img_y)

#カメラをどれだけ動かすか。320/2で160。0.1箇所を大きくするとカメラが大きく動く

move_degree_x = now_degree_x - (img_x-160)*0.1

move_degree_y = now_degree_y + (img_y-160)*0.1

#print('deg: ', move_degree_x , move_degree_y)

#実際にカメラを動かすところ

move(move_degree_x, move_degree_y)

now_degree_x = move_degree_x

now_degree_y = move_degree_y

#顔認証した中心点を円で描写

cv2.circle(frame, (int(img_x), int(img_y)), 10, color, -1)

#顔認証した部分を長方形で囲む

cv2.rectangle(frame, tuple(rect[0:2]),tuple(rect[0:2] + rect[2:4]), color, thickness=3)

cv2.imshow("Show FLAME Image", frame)

k = cv2.waitKey(1)

if k == ord('q'):

break

cap.release()

cv2.destroyAllWindows()

カメラの画面サイズとfpsがデフォルトだと640＊480の30fpsとなります。
私が動作させたときはこれだと「もっさり」というか重いので、
320＊320の15fpsにしています。

それでも参考サイト様と比べると重いような・・・
カメラモジュールのせいかしら？

Xlib: extension "RANDR" missing on display ":1.0".について

tightvncserverのVNC経由で起動させてます。

SSH経由だと画像が出力できずエラーとなります。

ただtightvncserverでも上記エラーメッセージが発生します。

調べてみるとtightvncserverではなくX11vncだと発生しないとのことで。。

こちらのサイト様に従ってX11vncを試してみました。

Qiita

RaspberryPiにx11vncを導入する手順 - Qiita

https://qiita.com/h-sakano/items/d7b25649525dc985e908

# 目的これまではTightVNC(tightvncserver)を使用していた。しかし、`opencv-python`を使用して、リアルタイムにカメラのプレビューを表示しようとしたら、下記のエラーが発生してしまった。...

またraspi-configで3 Boot Options⇒B1 Desktop / CLI→B4 Desktop Autologinを実行しGUIでログインするように変更しました。

その結果、エラーメッセージはでなくなりました。

が、エラーメッセージ出ても問題なく動いており、tightvncserverを愛用しているので、

今はエラーメッセージを無視してtightvncserverを使ってます。

動作について

動作について大雑把に説明すると

顔を検出する
↓
その方向に少しずつカメラを移動させる。

これだけです。

顔追跡ですが自分の顔を晒すのは恥ずかしいので、家にある試供用のパンパース使ってカメラに顔を追跡させます。ちなみにうちはパンパース派です。

パンパースオムツテープはじめての肌へのいちばん S(4~8kg) 120枚 (60枚×2パック)

実際に動作している映像がこちらです。

動作はゆっくりですが少しずつカメラがパンパースを追いかけているのがわかります。

最後に

とうとう顔追跡＝オートトラッキングまでこれました！

偉人の力を借りてるだけですが、すごいことが出来る世の中になりましたね。。

この投稿書いてるときに矩形（くけい）という言葉を生まれて初めて知ったわー。たんけいだと思ってたわー。

~~次回は少しおまけの内容です。~~

おまけではなくなりました。。