一人称視点映像と手順書に基づく作業支援システムの構築
亀甲 博貴(京都大学 学術情報メディアセンター)

本研究は主として生化学実験を対象として，Vision & Language技術を用いた実験の再現性向上のためのフレームワークを提案する．作業手順書をもとに作業をする際に，その作業映像を収録し，またその映像と作業手順書を対応付ける．この対応付けをもとに別の作業者が作業手順書を理解するのを助けたり，手順書内の記述漏れを発見したりすることで作業の効率的な支援を目指す．

本研究はこのような作業支援フレームワークの構築を目指し，以下の課題に取り組む．

• 作業手順書に基づく作業映像を収録し，これにアノテーションをしてデータの整備を進める．
• 映像と手順書の対応関係の獲得や作業誤りを検出するモデルを構築・評価する．
• ARデバイスを用いた作業支援システムを構築する．

研究紹介ポスター／最終報告書

(1) 学術論文 （査読あり）
該当なし
(2) 国際会議プロシーディングス （査読あり）
該当なし
(3) 国際会議発表（査読なし）
該当なし
(4) 国内会議発表（査読なし）
該当なし
(5) 公開したライブラリなど
該当なし
(6) その他（特許，プレスリリース，著書等）
[]Yuto Haneji, Taichi Nishimura, Hirotaka Kameko, Keisuke Shirai, Tomoya Yoshida, Keiya Kajimura, Koki Yamamoto, Taiyu Cui, Tomohiro Nishimoto, Shinsuke Mori.
EgoOops: A Dataset for Mistake Action Detection from Egocentric Videos with Procedural Texts.
arXiv:2410.05343, 2024.