HOME

メンバー

研究室

研究内容

デモ動画

新聞・TV

卒論修論

OB就職先

リンク

アクセス

メール

研究内容

last up data 平成19年03月13日

身障者介助システムにおける非接触注視点検出・@の研究
 ・目的 ・ 特徴点検出方法
瞳孔検出を利用した装置の開発
 ・視線検出装置 ・瞳孔マウス   ・顔方向検出装置 ・居眠り検出装置
ヒトの眼球運動および視覚特性の研究

身障者介助システムにおける非接触注視点検出法の研究

目的

精神活動は正常でも,ALS(筋萎縮性側索硬化症)等のような,全身筋肉を自由に動かすことができない人にも,眼球運動は正常に行うことができる人が多い.
そのような人たちとのコミュニケーションを円滑に行うための身障者介助システムに利用するため,ビデオカメラで眼を捕らえ,視線を検出することにより注視しているところを検出する研究を行っている.
カメラ光軸上に設置したLED光源より眼を照射することにより瞳孔が明るくなり,また角膜上での反射が見られる. それらの相対関係から,視線方向を検出する.

eye0.jpg(4662 byte) eye1.jpg(4864 byte)
カメラ正面を見てるときカメラ右上を見ているとき

特徴点検出方法

赤外線に感度のあるNTSC方式のビデオカメラの光軸上と光源から離れたところに遠赤外線のLEDを取り付け,交互に点灯させる.
その時,それぞれ60分の1秒毎にカメラで交互に撮影する.(oddフィールド時に光軸上のLEDを点灯し,evenフィールド時に光軸より離れたところのLEDを点灯させ,それぞれを撮影する.)
これにより,光軸上のLEDから眼を照射した場合には,瞳孔が明るい画像が,光軸より離れたLEDから眼を照射した場合には,瞳孔が暗い画像が得られる.それぞれの画像の差分をとることにより,瞳孔部のみを抽出する.
また,瞳孔部の周りを検索して,角膜の反射像を抽出する.

brighteye0.jpg(2676 byte) darkeye0.jpg(3152 byte)
光軸上から照射光軸から離れたところから照射

瞳孔検出を利用した装置の開発

視線検出装置

広視野のステレオカメラのそれぞれの開口部まわりに近赤外線LEDをリング状に並べたリング状光源を取り付け、ビデオフィールドごとに同期させて交互に点灯させる。それぞれのカメラから得られる明瞳孔画像と暗瞳孔画像を差分し、2個の瞳孔座標を各カメラから検出する。各カメラはステレオ較正によって得られたカメラパラメータから、片方の右瞳孔の3次元座標を求め、3台目の狭視野カメラをパン・テルト台を使用して向け、狭視野により得られた瞳孔中心と角膜反射との相対位置を計算することによって、視線ベクトルを算出する。その視線ベクトルから被験者の注視点を求めることができる。

瞳孔マウス

被験者の顔全体が十分に映る1台の広視野カメラを被験者の眼から60cm〜80cm離れた位置に設置し、カメラには近赤外線LEDをリング状に並べたリング状光源を開口部周りとその下の開口部から離れた位置に設置し、ビデオフィールドごとに同期させて光源を上下に点灯させる。ビデオフィールドごとに得られる明瞳孔画像と暗瞳孔画像を差分することによって、差分画像から2個の瞳孔座標を検出し、頭部運動による画像中の瞳孔の移動をパソコン画面上のカーソルの動きに対応させ、瞳孔の有無から眼の開閉状態を検出し、マウスの左右ボタンの押下状態に対応させることによって、クリックやドラッグの動作に対応させることができる。
pupilmouse.jpg(18395 byte)

顔方向検出装置

被験者に約60cm離れた場所から顔・S体を撮影した広視野のステレオカメラの開口部周りに近赤外線LEDをリング状に並べたリング状光源を取り付け、フィールドごとに同期させて交互に点灯させる。それぞれのカメラから得られる明瞳孔画像と暗瞳孔画像を差分し、2個の瞳孔座標を各カメラから検出する。また、2個の瞳孔だけでなく、鼻孔も検出する。鼻孔は、瞳孔の下部に鼻が存在する可能性があるとして、明瞳孔画像と暗瞳孔画像からその領域にウインドウを与え、その中から暗い像を2つ検出する。それらの左右の瞳孔と鼻孔をカメラパラメータから3次元座標を求める。左右の瞳孔と各鼻孔の3次元座標を結ぶ三角形の平面の法線ベクトルを算出することによって、被験者の顔方向を求めることができる。
kaohoukou.jpg(18776 byte)

居眠り検出装置

人間が眠くなると、瞬きの時間が長くなることが知られており、瞳孔の有無から瞬きの時間が分かるため、ドライバの眠気検出に使用できると考えている。瞳孔の有無の検出は、顔から約70cm離れた位置に設置したCCDカメラで行う。
shasainemuke.jpg(17528 byte)

ヒトの眼球運動および視覚特性の研究

ヒトの眼球の運動特性を解析し、脳内での眼球運動システムに 対する考察とヒトの知覚、認知メカニズムの解析および考察を行う。
最近、瞳孔反射の研究を開始しました。
機械工学科工学部静岡大学
Ebisawa Laboratory. All rights reserved.