摘要：交互式医学图像序列分割数据是中山大学人机物智能融合实验室发布，提供了多种精准分割图像数据，欢迎访问帕伊提提下载使用（www.payititi.com）.

Introduction

01

从医学数据（如超声视频、CT或MRI等）中分割出生物体或肿瘤是医学信息学和诊断学的基本任务之一，因此受到了人们的长期关注。我们研究了一个通用的交互式图像序列分割框架，该框架能够自适应地应用于不同类型的医学数据。我们的系统能够根据很少的用户涂鸦（图2）精确地分割图像，并自动将分割结果传播到连续的图像序列中，从而实现肿瘤体积的时空提取。

Fig. 2. The general segmentation framework for a single image.

Methods

02

Fig. 3. The cooperative representation of a CT image with liver tumor.

我们提出了一个双重形式的合作模型，从区域划分和边界定位两个方面来描述肿瘤的分割。这两个术语是互补的，但同时竞争；前者根据周围背景的外观/纹理差异提取肿瘤，后者搜索可触及的肿瘤边界（图3）。此外，我们允许基于用户放置涂鸦的区分训练模型。

以适应医学数据的不同表现形式。图像序列分割的推理分两步迭代（图4）：

1、我们采用Bregman过程将合作模型应用于当前观测图像的分割。

2、我们在保持模型更新的同时，通过搜索图像之间的不同匹配，将分割传播到下面的图像。

Fig. 5. The process of segmenting a series of images

Experiments

GrabCut GAC STF DRLSE Ours(R) Ours(B) Ours(R+B) subCT precision 0.6322 0.4870 0.4910 0.6808 0.6837 0.0268 0.8469 subUS precision 0.6089 0.5680 0.5818 0.6995 0.7057 0.0378 0.7631 average precision 0.6194 0.5315 0.5546 0.6901 0.6910 0.0304 0.8008 average runtime (s) 2.494 6.635 19.716 65.700 0.565 0.334 0.684

Table 1. Comparison with the state-of-the-arts.

表一显示了单个图像分割（数据集：subCT和subUS）的平均精度（TP/（TP+FP+FN））。在用户交互相同的情况下，我们的方法优于交互式分割方法GrabCut[1]、GAC[2]和DRLSE[4]。我们的方法也产生了更好的STF分割[3]。然而，与完全监督的方法相比，我们的框架更高效，不需要太多繁琐的人工注释。此外，我们的方法是针对每幅图像的，因此可以适应各种成像条件，而完全监督的方法则停留在这种情况下。

图8。通过简单交互细化分割的示例。（a） 初始分割。（b） 添加背景涂鸦B1以排除不需要的区域。（c） 添加前景涂鸦F1以进一步包括被忽略的区域。

图9。图像序列中第k个切片的平均分割精度。左图显示在SYSU-CT上获得的结果，而右图显示的是SYSU-US上获得的结果。CT+和US+是整个系统获得的结果，CT-和US-是基线系统在没有模型更新的情况下获得的结果。我们的方法的性能以合理的速度下降。一般来说，如果用户每10个切片细化一次分割，就可以得到满意的结果。

Fig. 10. Examples of CT volumes segmentation.

Fig. 11. Examples of Ultrasound video segmentation.

References

1. Y.Y. Boykov and M.-P. Jolly. “Interactive graph cuts for optimal boundary & region segmentation of objects in n-d images”. In Proc. IEEE ICCV, 2001.
2. V. Caselles, R. Kimmel, and G. Sapiro. “Geodesic active contours,” IJCV, 22: 61–79, 1997.
3. J. Shotton, M. Johnson, R. Cipolla. “Semantic Texton Forests for Image Categorization and Segmentation”. In Proc. IEEE CVPR, 2008.
4. C. Li, C. Xu, C. Gui, and M. D. Fox. “Distance Regularized Level Set Evolution and Its Application to Image Segmentation”. IEEE Trans. on image process., 19(12): 3243-3254, 2010.

Paper

• Liang Lin, Wei Yang, Chenglong Li, Jin Tang, and Xiaochun Cao. Inference with Collaborative Model for Interactive Tumor Segmentation in Medical Image Sequences. IEEE Transactions on Cybernetics (T-Cybernetics), 2015.