一款基于深度学习的放疗轮廓勾画软件的研发

罗邦雨，伍亚军，周一兵，钱金栋，赵利荣，崔天祥，钟良志，李光辉，孙建国

1. 陆军军医大学第二附属医院 肿瘤科，重庆 400037；2. 深圳市旭东数字医学影像技术有限公司，广东 深圳 518048

引言

精确高效的放疗轮廓勾画是进行精准放疗的前提[1]，此过程需使用放疗计划系统（Treatment Plan System，TPS）或轮廓勾画软件来实现，就目前而言，轮廓勾画工作存在以下问题。

轮廓勾画费时费力[2]，医生负担重，患者等待时间长。危及器官勾画效率低是一个重要的原因。以鼻咽癌为例，需要勾画的危及器官包括双侧眼球、晶体、视神经、视交叉、腮腺、颞颌关节及脑干、脊髓、下颌骨、口腔等多达十几个器官，且头颈部解剖结构复杂[3]，在CT图像上难以快速区分，使得勾画过程耗费大量时间和精力。另外，在现有的勾画模式下，患有相同瘤种的不同患者，所需勾画的危及器官在种类、形态及位置分布上都大致相同或相近，但放疗医师却不得不逐一勾画每个患者的危及器官，从宏观上看，这是一种低效、烦琐的重复性工作，延缓了患者的治疗时间。

基层放疗中心勾画水平相对较弱。大多数基层放疗中心使用国产放疗软件，尚存在功能不够全面、操作不够方便，精度不够准确等不足[4]；另外，基层放疗中心主要以低年资放疗医师为主，难免对解剖结构区分不熟练，影像识别能力不高、对放射治疗学的认识能力有限[5]，并且，大部分基层中心缺乏规范化、同质化的诊疗方案培训[6]，在放疗实施流程、并发症护理、用药规范、登记随访等方面还存在薄弱环节。这些都导致了基层放疗中心轮廓勾画水平乃至整体放疗水平相对较弱，使得广大肿瘤患者不得不选择前往一线城市的大型三甲医院就医，他们不仅要承担高额放疗费用，还不能及时便捷就医。

近年来，科技的突飞猛进促进了高效、先进放疗设备的研发设计[7]，目前放疗轮廓勾画存在的问题得以改善，并最终使肿瘤患者受益。本研究介绍了一款自主研发的基于深度学习的放疗轮廓勾画软件，已获得深圳市医疗器械检测中心出具的检验报告，报告编号：ZQ20171246；获得中华人民共和国医疗器械注册证，注册证编号：国械注准20193210365。该软件具体研发设计与成果展示介绍如下。

1 软件研发方法

1.1 软件基本架构的研发

软件使用C++语言开发，开发工具为Visual Studio 2010，版本号为10.0.40219.1，开发人员数量：6人，测试人员：1人。

软件运行环境：Intel 酷睿I5 以上 4核64位CPU，8 G以上内存，20 G以上的可用硬盘空间，64位Windows 7及以上操作系统，nVidia（1 G以上显存）显卡，至少支持1280*1024以上分辨率显示器。

1.2 基于深度学习的轮廓自动勾画方法

1.2.1 资料

随机选取2012年1月至2017年12月期间在我院接受调 强 放 疗（Intensity Modulated Radiation Therapy，IMRT）的鼻咽癌患者共计1200例，所有患者在定位时均取仰卧位，双手靠体，用热塑膜进行头肩颈固定，行眶上缘到胸锁关节下缘3 mm层厚CT平扫与增强，收集整理放疗定位CT图像约14万张（均为标准Dicom格式）。

1.2.2 图像标注

所选取病例资料均为既往鼻咽癌放疗患者定位CT，由我院放疗中心资深放疗医师使用瓦里安TPS （Eclipse 8.6.23）勾画好放疗轮廓，再由两位放疗副主任以上医师审定，以保证深度学习的准确性。在本研究中，选取双侧眼球、双侧晶体、双侧视神经、双侧腮腺、双侧颞叶、双侧颞下颌关节、下颌骨、口腔、脊髓、脑干及大脑共11种17个危及器官作为自动勾画的研究对象。

1.2.3 图像预处理

首先以医学先验知识为基础，对上述11种17个危及器官进行全自动的感兴趣区域提取。随后对提取出的感兴趣区域进行图像增强，具体操作包括：① 灰度归一化，对分割目标器官的灰度值进行统计，并将图像灰度值归一化到合适的灰度值区间内，以消除不同来源的CT图像间的误差；② 去噪，针对边界清晰的目标器官及体积较大器官进行图像去噪，以避免CT图像中噪声带来的差异性。最后分别把每种器官的图像统一到合适的大小，以方便后续进行的训练。

1.2.4 建立和训练模型

训练模型基于开源平台NiftyNet搭建，采用ResNet网络模型以及Dice损失函数和Relu激活函数作为深度学习训练方式，并且针对部分复杂器官，使用了级联ResNet网络以提高分割的精度。

将全部鼻咽癌患者CT图像数据随机分成训练数据和测试数据，比例为9：1，其中训练数据又随机分为训练集数据与验证集数据，比例为4：1，用于模型的建立和训练；测试数据用于建模后的测试验证。为保证充足的数据量，训练集数据在输入网络前会做随机旋转、缩放、拉伸等数据扩充操作，同时这样也可以提高网络模型的鲁棒性。此外为防止参数初始化导致网络陷入局部最优解的情况发生，研发中多次重复训练过程，通过训练集与验证集不断优化调参更新模型，最终得到完成训练的危及器官自动勾画模型。

1.3 软件的验证与确认

为确保软件能正确实现特定功能及满足用户需求，及时找出并修正系统BUG，参照《系统与软件工程系统与软件质量要求和评价（SQuaRE）第51部分：就绪可用软件产品（RUSP）的质量要求和测试细则》[8]《医疗器械网络安全注册技术审查指导原则》及《医疗器械软件注册技术审查指导原则》等国家相关软件质控文件要求，对软件的验证与确认，主要包括系统测试、用户测试、可追溯性分析等步骤。

（1）系统测试：以黑盒测试、手工测试为主。针对发布的测试版本进行黑盒测试及手工随机性测试、回归测试。测试覆盖率首轮次测试为100%，后续版本根据各版本质量逐轮呈递减趋势进行测试执行。

（2）用户测试：抽取软件研发公司内除研发、测试和质检之外的其他人员共5人进行用户测试。测试按照产品说明书使用软件，对软件的使用情况进行测试。测试人员需要在Excel表格中记录测试错误和异常情况，并提供必要的截屏和信息。

（3）可追溯性分析。通过对该软件设计开发中产品需求说明、网络安全相关需求、设计规范、测试情况以及风险管理方面的正确性、一致性等方面进行可追溯性分析，包括：自动注销功能、授权、安全特性配置、网络安全产品升级、数据备份与灾难恢复、健康数据完整性与真实性及患者身份信息去除、恶意软件探测与防护、传输保密性、传输完整性等方面。

2 结果

2.1 软件实物一套

2.1.1 Yorktal-CS软件功能简介

Yorktal-CS是在医学影像技术基础上，基于危及器官自动分割技术以及器官和组织三维重建技术自主研发的放疗轮廓勾画软件（图1）。软件由数据管理模块、用户交互模块、视图管理模块、RTStruct模块、用户管理模块组成（图2）。

2.1.2 主要性能指标

（1）处理对象为需要制定放射治疗计划符合DICOM标准格式的CT或者核磁数据。

图1 Yorktal-CS软件展示图

图2 软件结构模块

（2）数据接口：① 数据接口：DICOM、stl、mha数据；② 产品接口：医学影像处理软件和放射治疗计划系统软件。

（3）可靠性：① 软件在产品说明书中陈述的限制范围内使用时，不会丢失数据；② 软件不对数据进行修改，软件将轮廓数据导入RTStruct后形成一个新的文件，不会对原工程数据文件数据和原RTStruct文件进行修改，因此软件异常关闭不会导致原始数据丢失。

（4）效率：① 打开单个dcm或stl时间少于4 s；② 打开数据工程文件，时间少于10 s，初次打开一套数据时间具体花费的时间与数据大小和电脑配置有关；③ 导入单个stl或mha文件到RTStruct文件中时间少于30 s。

2.2 缺陷修复

在版本V1.0下，已知缺陷总数：16个。其中崩溃级2个、严重级2个，一般性11个，轻微性1个。测试发现的bug主要集中在一般性和提示性缺陷中。一般性缺陷多出现在某个功能还不够完善上。测试发现的严重缺陷中，多是由于操作不当引起软件某个功能不能使用，后期经过修复，已全部解决，暂无发现已知剩余缺陷。

注：软件测试缺陷严重程度分类：① 崩溃级：导致操作系统崩溃、死机；② 严重级：导致重要功能不可用，并且重启系统也无法解决；③ 一般性：导致辅助功能出错或不可用，或导致重要功能不可用，但重启系统能解决；④ 轻微性：使操作者不方便或遇到麻烦，但它不影响执行工作功能或重要功能。

2.3 软件功能

2.3.1 实现危及器官自动勾画

基于深度学习技术，目前已针对鼻咽癌患者需勾画危及器官中的11种17个进行了自动勾画精确建模，实现了“一键式”勾画，即放疗医师导入患者CT图像后，只需点击一次勾画按键，即可进行17个危及器官的自动勾画，而放疗医师只需进行少量修改甚至某些器官不需要修改即可完成。经过前期大量测试，自动勾画加上人工修改的过程总共只需约6 min，相比较于目前市场上国内、国外的主流TPS勾画相同器官的速度，具有明显优势。在此需要明确的是，任何自动勾画以后必须要人工审核及修改，才能用于患者的治疗。自动勾画危及器官结果如下（图3）。

图3 自动勾画17个危及器官

2.3.2 提高共享数据兼容性

用U盘、光盘等存储媒介或科室内局域网传输方式，该软件可在多种TPS间导入、修改、传出包含轮廓勾画数据RTStruct文件的标准Dicom医学图像文件。测试时选择瓦里安、医科达与奇林TPS，该软件勾画好轮廓后，可导出含RTStruct数据的Dicom文件给上述各TPS进一步完成放疗计划制作；该软件也可导入识别已勾画好的放疗轮廓，进行修改、保存等操作，导出的文件在其他TPS亦可成功读取，并完成放疗计划的制作。在测试中发现，部分奇林TPS导出的数据在瓦里安、医科达两种进口TPS上无法读取，但经Yorktal-CS读取后另存为新的RTStruct数据文件，可顺利在进口TPS上读取，提高了数据兼容性（图4）。

图4 共享数据模式

2.3.3 完善轮廓勾画功能

该软件在研发过程中，以目前最先进的进口TPS为标准，争取在勾画功能上与之相近，完善各项功能。例如，勾画一些多层面的连续性器官如脊髓、脑干、腮腺等时，进口TPS勾画速度比国产TPS快1倍左右，很大原因是因为进口TPS可隔层勾画，即放疗医师可相隔1到2个层面勾画一次，而软件将自动连接补全所有层面图像，最终重建出完整器官，而目前大部分国产TPS只能逐层勾画，故消耗大量时间。针对此情况，研发人员加大研究力量，最终也实现了类似进口软件的勾画功能。

2.3.4 优化用户操作体验

在整个软件研发过程中，得到全国多位资深放疗医师的支持，通过不断使用软件，在操作体验上提出许多宝贵意见，使得软件有着良好的用户体验。该软件注重用户交互体验，即软件界面导航清晰、搜索精确、快捷键合理方便等，注重实用体验，即软件MRI融合功能、数字人融合功能精准、勾画工具丰富、外扩功能先进等，注重智能体验，即软件自动勾画危及器官数量多、勾画准确性高、速度快等。

3 讨论

3.1 建模时神经网络模型的选取

深度学习作为人工智能机器学习的一个重要分支，应用前景十分广阔，近年来基于深度学习的医学图像自动分割技术也得到了广泛关注和不断发展[9-10]。在以往的研究中，常常采用传统的卷积神经网络（Convolutional Neural Networks，CNN）作为深度学习的网络结构进行研究，它基于多层感知器的算法，主要采用局部感知、权值共享和空间下采样的结构性思想来学习输入和输出之间的高度非线性映射[11-12]。然而，这种网络结构随着网络深度的不断增加会出现一些问题，比如梯度消失和网络退化，即随着网络层数增加，在训练集上的准确率会发生饱和甚至下降。这从本质上限制了CNN的应用。

为避免上述问题的发生，在本研究中尝试了3D-UNet、3D-ResNet及3D-DenseUNet等多种在医学图像分割任务中表现良好的网络结构[13-14]，使用交叉验证的方式对每种网络模型进行了多次训练。在对比上述几种网络模型的交叉验证结果之后，最终选择结果最好的ResNet网络模型作为软件研发模型。残差网络（Deep Residual Learning for Image Recognition，ResNet） 是 由 来 自 Microsoft Research的4位学者提出的改进的卷积神经网络模型，此模型通过残差学习方式解决了传统CNN所带来的问题，这种残差学习结构可以通过前向神经网络+shortcut连接实现，其优势在于网络结构容易优化，并且能够通过增加相当的网络深度来提高准确率，在图像识别与图像分割领域有着优秀的表现。ResNet结构如下（图5）。

图5 ResNet结构

目前，对于危及器官自动勾画的研究已日趋成熟，但是对于靶区的自动勾画，由于尚缺乏公认的标准、成熟的技术和有效的靶区自动提取能力，所以还存在一定的困难。但是我们相信，随着人工智能技术的持续发展[15-16]，不久的未来一定能实现放疗靶区的自动勾画，使放疗轮廓勾画更加合理准确、快捷方便。

3.2 基层推广同质化放疗的趋势

据报道，约有70%的肿瘤患者在病程中需要进行放射治疗，然而在我国，能够接受放疗的患者只有约30%，其原因主要还是广大基层医院放疗技术与设备水平相对滞后，且放射肿瘤学科缺乏系统化、标准化和流程化的治疗方案。因此，提高各级医院的肿瘤放射治疗水平，实现放疗患者在不同的医院享有同样高水平的治疗将是未来发展的趋势[17]。目前已经出现了基于互联网的“云放疗”平台[18]、智能轮廓勾画软件以及放疗计划制作系统等[19-20]，这些技术通过提供远程技术共享、智能化自动化操作以及不断提升的国内国外不同设备的兼容性等，将打破传统放疗服务模式对于地域、机构、人员的限制，实现真正的开放、共享的同质化放疗[21]。

4 结论

使用基于深度学习的Yorktal-CS 1.0软件，可以自动勾画鼻咽癌患者大部分危及器官，在勾画效率上有着明显优势，通过提高放疗轮廓勾画效率，减轻放疗医师工作负担，加速放疗准备阶段，使患者能更快接受治疗；再加上其强大的数据共享兼容性，使得基层放疗中心拥有三甲医院放疗水平成为可能。我们未来的研究目标是进一步优化与增加危及器官的自动勾画，拓宽其在放射治疗中的应用。