X-ray2Shape: グラフ畳み込みネットワークを用いた単一X-ray画像からの臓器形状再構成

Abstract

CT や MRI により生体の高分解能の 3 次元画像が計測可能となったが, 手術時や放射線治療中には内視鏡画像や X-ray 画像などの低次元かつ局所的な単視点画像しか得られないことが多い. また, 呼吸によって臓器は変形しつつ移動するため, 治療時における臓器形状の再構成は難しい課題である. 本研究では, グラフ畳み込みネットワーク (GCN) を用いて 単一X-ray 画像から臓器形状を再構成する X-ray2Shape の枠組みを提案する. 臓器形状メッシュの再構成に有効な損失関数を新たに導入し, 患者個人の 3D-CT データから生成可能な最大吸気時の臓器形状を初期テンプレートとして, 呼気時相の X-ray 画像特徴量と臓器形状間の関係を学習する. 35 症例 10 時相からなる 4D-CT データを用いて, 腹部領域の疑似 X 線画像から肝臓の 3 次元形状を再構成する実験を行い, 提案法の性能を確認したので報告する.

High resolution 3D images can be measured by computed tomography and magnetic resonance imaging. However, during surgery or radiotherapy, only low-dimensional and local single-viewpoint 2D images may be obtained, and organs move while deforming due to breathing. Therefore, shape reconstruction from a single-viewpoint 2D image such as an endoscopic image or an X-ray image remains a challenge. In this study, we proposed an X-ray2Shape framework which can reconstruct the 3D organ shape from a single-viewpoint X-ray image using a graph convolution network. The proposed method learns the mesh deformation from organ shape during inspiration and deep features computed from the individual X-ray images. Experiments with organ meshes and digitally reconstructed radiograph images of abdominal regions were performed to confirm the estimation performance of our proposed method.