変位場の学習による単一投影像に対する可変形モデル位置合わせ

Abstract

治療時に取得可能な単一投影像に基づく臓器形状の再構成は放射線治療や外科手術支援等, 臨床における応用範囲が広い研究課題である. 本研究では単一視点の2次元投影像に対して3次元臓器モデルの可変形位置合わせを達成するimage-to-graph convolutional neural networkの枠組みを構築した. 本枠組みでは, 2次元投影像が変位場へ変換され, グラフ畳み込みネットワークによって3次元メッシュの頂点変位と変位場の関係が学習される. 4D-CTから生成した疑似X線画像を学習済みのネットワークへ適用し, 画像上で輪郭の大部分が視認できない腹部臓器の3次元形状と位置を臨床において利用可能な精度で再構成可能であることを確認したので報告する.

Shape reconstruction of organs from a single-viewpoint projection image is a research target including broad clinical applications such as image-guided surgery and radiotherapy. In this study, we constructed an image– to-graph convolutional neural network that achieves deformable registration of 3D organ models to a single-viewpoint 2D projection image. In this framework, the 2D projection image is translated into a displacement field. The graph convolution network learns the relationship between the vertex displacement of the 3D mesh and the displacement field. We applied digitally reconstructed radiographs generated from 4D-CT data to the trained network and confirmed that the 3D shape and location of the abdominal organs, where most of the contours are invisible, can be reconstructed with clinically acceptable errors.