バーチャルスタジオにおける再帰性反射材を用いた演技支援情報の指向性表示

Abstract

バーチャルスタジオを教育映像の撮影に利用すれば，CGによる特殊効果が加わった三次元の仮想物体を教材として利用できるため，視認性の高い教育映像を作成できる．このとき，教師である演者による説明に迫真性をもたせるためには，演者が仮想物体の説明箇所を直接見て判断し，その説明箇所を視聴者に見せるための並進・回転という直接操作を交えた主体的な説明が要求される．演者が三次元の仮想物体を直接操作できるようにするため，仮想物体と同形の現実物体を導入し，実写映像中の現実物体を仮想物体に置き換えるという手法がある．この手法では，演者が特定色の現実物体を直接操作する様子をカメラで撮影し，実写映像の特定色領域に仮想物体を重畳することで目的を達成している．しかし，現実物体は単色であることから，演者は仮想物体の説明箇所を直接見ることができないので，演者は主体的に説明することができない．本研究では，演者が仮想物体の説明箇所を直接見られるようにするため，現実物体に仮想物体のテクスチャ（演技支援情報）を投影する．但し，演技支援情報が実写映像に映り込むと現実物体領域が特定色ではなくなるため，過不足なく仮想物体を重畳できない．また，現実物体に対する演者の視線方向と投影方向が異なると，演者には演技支援情報が投影されない部分が見えてしまう．本研究では，演者が物体を説明対象として説明する場面において物体に対する演者とカメラの視線方向は異なるという一般的事実に基づき，再帰性反射材を貼付した現実物体に演者の側から演技支援情報を投影することで，演技支援情報の実写映像への映り込みを回避する．また，カメラ・演者・物体の位置関係，再帰性反射材の反射輝度分布，演者の手の動きを基に，演者の身体による遮蔽が発生しない演者後方の投影位置を特定することで，演者の視線方向と投影方向を一致させる．提案手法の有効性を検証するため，演者の視点位置の近傍に設置したカメラとスタジオカメラの2台のカメラで現実物体を観測し，それぞれのカメラから得られる映像を目視で定性的に評価した．その結果，演技支援情報が演者には視認可能でスタジオカメラには撮影不可能となっていることを確認した．