グラフ畳み込みネットワークを用いた単一X-ray画像からの3次元臓器形状の再構成

Abstract

コンピュータ断層撮影や磁気共鳴画像により高分解能の 3 次元画像が計測可能となった．一方，手術中や放射線治療中には低次元かつ局所的な単視点画像しか得られないことが多く，治療時における臓器形状の再構成は難しい課題である．本研究では，グラフ畳み込みネットワークを用いて単一 X-ray 画像から臓器形状を再構成するX-ray2Shape の枠組みを提案する．提案法は，X-ray 画像内の特徴量に基づいて臓器平均形状からのメッシュ変形を学習する．腹部領域の Digitally Reconstructed Radiograph 画像を用いて，肝臓形状の再構成を行い，提案法の性能を確認した．High resolution 3D images can be measured by computed tomography and magnetic resonance imaging. However, during surgery or radiotherapy, only low-dimensional and local single-viewpoint 2D images may be obtained. Therefore, shape reconstruction from a single-viewpoint 2D image such as an endoscopic image or an X-ray image remains a challenge. In this study, we proposed an X-ray2Shape framework which can reconstruct the 3D organ shape from a single-viewpoint X-ray image using a graph convolution network. The proposed method learns the mesh deformation from a mean template and deep features computed from the individual X-ray images. Experiments with organ meshes and digitally reconstructed radiograph images of abdominal regions were performed to confirm the estimation performance of our proposed method.