BioVL2データセット：生化学分野における一人称視点の実験映像への言語アノテーション

Abstract

本論文では，生化学分野における一人称の実験映像データセットであるBioVL2データセットを提案する．BioVL2データセットは生化学における4種類の基本的実験に対し，それぞれ8動画撮影した合計32，総時間2.5時間の映像からなるデータセットである．各映像はプロトコルと紐づいており，言語アノテーションとして(1)視覚と言語の対応関係のアノテーション，(2)プロトコル中に現れる物体の矩形アノテーションの2種類のアノテーションを付与している．構築したデータセットの応用例として，本研究では実験映像からプロトコルを自動生成する課題に取り組んだ．定量的，定性的な評価の結果，開発した手法はフレームに映っている物体名をそのままプロトコルとして出力する弱いベースラインと比較して，適切なプロトコルを生成できることを確認した．なお，BioVL2データセットは研究用途に限定してデータセットを公開する予定である．

In this study, we propose an egocentric biochemical video-and-language dataset called BioVL2 comprising eight videos for each of four experiments, with a total duration of 2.5 hours for all 32 samples. Each video corresponds to a protocol and two types of linguistic annotations are provided: (1) video-and-text alignment and (2) bounding boxes linked to objects in the protocol. As an application of the BioVL2 dataset, we consider the task of generating a protocol from an experimental video. Our experimental results show that the proposed system can generate better protocols than a weak baseline designed to output objects appearing in the video frames. The BioVL2 dataset will be released for research purposes only.