総合情報学科 メディア情報専攻

私たちは、家庭や屋外といった人が暮らす現実の環境で人と会話することができるシステムの構築を目指し、拡張現実（Augmented Reality: AR）技術を使用したARキャラクタによる対話システムを提案しています。提案システムでは、ユーザは頭部にヘッドマウントディスプレイ・カメラ・マイク・イヤフォンを装着します。まず、カメラから得られた映像をヘッドマウントディスプレイに表示し、AR技術を使用して人型のCGキャラクタをヘッドマウントディスプレイに表示されている映像中に合成表示します。また、マイクとイヤフォンによりユーザはARキャラクタと会話することができます。

実装したシステムでは、ヘッドマウントディスプレイに方向を推定できるセンサが搭載されていて、センサから得られるユーザの顔の向きに応じてARキャラクタを適切な位置に表示するようにしています。また、カメラには距離データを取得できるセンサが搭載されていて、現実世界のオブジェクトとARキャラクタの前後関係を判定し、オブジェクトの後ろにARキャラクタが隠れるように表示することも可能となっています。

ARキャラクタをどのように動作させればよいかは、システムの目的や状況に応じて異なります。Human Robot Interaction研究では、人間が被験者に隠れてロボットを操作するWizard of Oz（WoZ）法によりロボットと被験者のやり取りのデータを取得し、それらを分析することで状況やタスクに適したロボットの動作を明らかにし、それを元にロボットの動作を制御するという方法が用いられています。私たちも、人間が被験者に隠れてARキャラクタを操作できるAR WoZシステムを構築し、このシステムを用いて様々な状況で被験者実験を行い、ARキャラクタの動作制御部を構築しようとしています。

メディア情報研究室では、画像・音声・コンピュータグラフィックスといったコンピュータで扱うことのできる各種メディアを使用して、人にとって使いやすいシステムを構築しています。そのようなシステムを作るには、各種メディアを使用したシステムを構築する技術に加えて、あるシステムを使用したときに人はどのように感じるかといった視点が重要になります。東洋大学総合情報学部では様々なコースで様々な内容を学びますが、当研究室ではいろいろな視点・いろいろな特徴を持った学生を求めています。