ダウンロード数: 31

このアイテムのファイル:
ファイル 記述 サイズフォーマット 
jnlp.29.1106.pdf9.16 MBAdobe PDF見る/開く
タイトル: BioVL2データセット:生化学分野における一人称視点の実験映像への言語アノテーション
その他のタイトル: BioVL2: An Egocentric Biochemical Video-and-Language Dataset
著者: 西村, 太一  KAKEN_name
迫田, 航次郎  KAKEN_name
牛久, 敦  KAKEN_name
橋本, 敦史  KAKEN_name
奥田, 奈津子  KAKEN_name
小野, 富三人  KAKEN_name
亀甲, 博貴  kyouindb  KAKEN_id  orcid https://orcid.org/0000-0001-9844-6198 (unconfirmed)
森, 信介  kyouindb  KAKEN_id
著者名の別形: Nishimura, Taichi
Sakoda, Kojiro
Ushiku, Atsushi
Hashimoto, Atsushi
Okuda, Natsuko
Ono, Fumihito
Kameko, Hirotaka
Mori, Shinsuke
キーワード: 生化学分野
プロトコル
視覚と言語の融合研究
Biochemical Domain
Protocols
Vision-and-Language
発行日: 2022
出版者: 言語処理学会
誌名: 自然言語処理
巻: 29
号: 4
開始ページ: 1106
終了ページ: 1137
抄録: 本論文では,生化学分野における一人称の実験映像データセットであるBioVL2データセットを提案する.BioVL2データセットは生化学における4種類の基本的実験に対し,それぞれ8動画撮影した合計32,総時間2.5時間の映像からなるデータセットである.各映像はプロトコルと紐づいており,言語アノテーションとして(1)視覚と言語の対応関係のアノテーション,(2)プロトコル中に現れる物体の矩形アノテーションの2種類のアノテーションを付与している.構築したデータセットの応用例として,本研究では実験映像からプロトコルを自動生成する課題に取り組んだ.定量的,定性的な評価の結果,開発した手法はフレームに映っている物体名をそのままプロトコルとして出力する弱いベースラインと比較して,適切なプロトコルを生成できることを確認した.なお,BioVL2データセットは研究用途に限定してデータセットを公開する予定である.
In this study, we propose an egocentric biochemical video-and-language dataset called BioVL2 comprising eight videos for each of four experiments, with a total duration of 2.5 hours for all 32 samples. Each video corresponds to a protocol and two types of linguistic annotations are provided: (1) video-and-text alignment and (2) bounding boxes linked to objects in the protocol. As an application of the BioVL2 dataset, we consider the task of generating a protocol from an experimental video. Our experimental results show that the proposed system can generate better protocols than a weak baseline designed to output objects appearing in the video frames. The BioVL2 dataset will be released for research purposes only.
著作権等: © 2022 一般社団法人 言語処理学会
Licensed under CC BY 4.0
URI: http://hdl.handle.net/2433/284969
DOI(出版社版): 10.5715/jnlp.29.1106
出現コレクション:学術雑誌掲載論文等

アイテムの詳細レコードを表示する

Export to RefWorks


出力フォーマット 


このアイテムは次のライセンスが設定されています: クリエイティブ・コモンズ・ライセンス Creative Commons