擬似カメラ画像の内部補完学習を用いた拡張内視鏡画像の生成

Abstract

内視鏡手術では視野の狭さから関心領域の三次元構造を捉えることは容易ではなく, 手術支援のための画像生成技術が広く研究されている. 本研究では胸腔鏡下肺がん切除術を対象に, 機械学習に基づく画像補完によって内視鏡カメラ画像と 3D-CT モデルの位置合わせを達成し, 臓器内部の腫瘍位置を可視化した拡張内視鏡画像を生成する手法を提案する. 学習データが少ない問題に対して, 臓器変形の統計的変位モデルから生成した擬似カメラ画像を用いて腫瘍位置の補完を学習した. さらに学習済みの画像補完モデルを内視鏡画像に適用する枠組みを提案し, 臓器の姿勢推定を行うことなく位置合わせが達成された拡張現実画像を生成したので, 結果を報告する.

In endoscopic surgery, it is not easy to capture the three-dimensional structure of the target region due to the narrow field of view, and image generation techniques for surgical guidance have been widely studied. In this study, we propose a method to generate an augmented endoscopic image which visualizes the tumor position inside the organ. We achieved 2D-3D registration between endoscopic images and 3D-CT models by machine learning-based image completion for thoracoscopic lung cancer resection. Since there was few training data, we trained image completion model using virtual images generated from a statistical model of organ deformation. In addition, we proposed a framework to apply the learned image completion model to endoscopic images and generated augmented reality images in which 2D-3D registration was achieved without organ pose estimation.