Downloads: 15

Files in This Item:
File Description SizeFormat 
jnlp.29.1106.pdf9.16 MBAdobe PDFView/Open
Title: BioVL2データセット:生化学分野における一人称視点の実験映像への言語アノテーション
Other Titles: BioVL2: An Egocentric Biochemical Video-and-Language Dataset
Authors: 西村, 太一  KAKEN_name
迫田, 航次郎  KAKEN_name
牛久, 敦  KAKEN_name
橋本, 敦史  KAKEN_name
奥田, 奈津子  KAKEN_name
小野, 富三人  KAKEN_name
亀甲, 博貴  kyouindb  KAKEN_id  orcid https://orcid.org/0000-0001-9844-6198 (unconfirmed)
森, 信介  kyouindb  KAKEN_id
Author's alias: Nishimura, Taichi
Sakoda, Kojiro
Ushiku, Atsushi
Hashimoto, Atsushi
Okuda, Natsuko
Ono, Fumihito
Kameko, Hirotaka
Mori, Shinsuke
Keywords: 生化学分野
プロトコル
視覚と言語の融合研究
Biochemical Domain
Protocols
Vision-and-Language
Issue Date: 2022
Publisher: 言語処理学会
Journal title: 自然言語処理
Volume: 29
Issue: 4
Start page: 1106
End page: 1137
Abstract: 本論文では,生化学分野における一人称の実験映像データセットであるBioVL2データセットを提案する.BioVL2データセットは生化学における4種類の基本的実験に対し,それぞれ8動画撮影した合計32,総時間2.5時間の映像からなるデータセットである.各映像はプロトコルと紐づいており,言語アノテーションとして(1)視覚と言語の対応関係のアノテーション,(2)プロトコル中に現れる物体の矩形アノテーションの2種類のアノテーションを付与している.構築したデータセットの応用例として,本研究では実験映像からプロトコルを自動生成する課題に取り組んだ.定量的,定性的な評価の結果,開発した手法はフレームに映っている物体名をそのままプロトコルとして出力する弱いベースラインと比較して,適切なプロトコルを生成できることを確認した.なお,BioVL2データセットは研究用途に限定してデータセットを公開する予定である.
In this study, we propose an egocentric biochemical video-and-language dataset called BioVL2 comprising eight videos for each of four experiments, with a total duration of 2.5 hours for all 32 samples. Each video corresponds to a protocol and two types of linguistic annotations are provided: (1) video-and-text alignment and (2) bounding boxes linked to objects in the protocol. As an application of the BioVL2 dataset, we consider the task of generating a protocol from an experimental video. Our experimental results show that the proposed system can generate better protocols than a weak baseline designed to output objects appearing in the video frames. The BioVL2 dataset will be released for research purposes only.
Rights: © 2022 一般社団法人 言語処理学会
Licensed under CC BY 4.0
URI: http://hdl.handle.net/2433/284969
DOI(Published Version): 10.5715/jnlp.29.1106
Appears in Collections:Journal Articles

Show full item record

Export to RefWorks


Export Format: 


This item is licensed under a Creative Commons License Creative Commons