发布日期:2022-10-09 浏览次数:次 科研问题问AI
构建人工智能(AI)深度学习模型用于辅助CT医生对甲状腺结节进行实时诊断。方法:选取数据库中5218张甲状腺CT图像,其中确诊多发结节图像1200张,单发结节图像1000张,均用于模型训练;其余3018张图像用于AI深度学习模型验证,同时提交给4名CT医师进行诊断、分析和统计。结果:AI深度学习模型对甲状腺图像的正确识别准确率为86.45%,每张图像的诊断时间为(0.12±0.02)s。而两名低年资医师和两名高年资医师的诊断准确率分别为71.4%和77.34%,AI深度学习模型诊断均优于4名医师。结论:构建的AI深度学习模型用于甲状腺结节的诊断具有较高的准确率、特异度和灵敏度,可在CT诊断甲状腺检查中辅助医师进行实时诊断。
[关键词]甲状腺结节;人工智能;深度学习;CT成像;边缘检测
甲状腺结节是人群中最常见的结节性病变之一,且发病率较高,虽然多数结节为良性,但也存在不少恶性[1]。甲状腺结节是一种可治愈的疾病,应早发现、早治疗。因此,临床上正确治疗恶性结节的必要条件是对甲状腺结节的良恶性进行准确的鉴别。X射线计算机断层成像(computedtomography,CT)技术作为一种提供特征图像的实时无创诊断,已成为广泛应用于甲状腺结节诊断和复诊的影像学方法。甲状腺结节的影像学诊断和评估依赖于结节定性特征,如结节密度、轮廓、数目、大小、钙化、气管和气管后间隙及有无颈部淋巴结转移[2]。流行病学研究以甲状腺CT为例,医生通过甲状腺CT图像,判断出结节的位置、大小和良恶性需要10min,采用人工智能(artificialintelligence,AI)深度学习技术则能够自动标注出结节的位置、大小及性质等信息,极大缩短诊疗时间,同时帮助年轻医生提高识别甲状腺结节的能力和诊断水平[3-4]。
1资料与方法
1.1模型训练资料
选取2017年1月至2019年1月威海市妇幼保健院5218张甲状腺CT图像,其中确诊多发结节图像1200张,单发结节图像1000张,均用于深度学习训练;其余3018张甲状腺图像用于AI深度学习模型验证,所有纳入研究的病变均经过活检或手术病理确诊,病灶范围明确,同时提交给4名CT医师进行诊断,统计相关结果。
1.2模型训练方法
模型采用深度卷积神经网络(convolutionalneuralnetwork,CNN)结构[5]。CNN是一种经典的深度学习模型,一般由数百万个节点和权重组成,而且通常数量越多,性能越好,这意味着只有大数据集才能支持其训练过程。由于难以获得大数据集,通常采用迁移学习的方法将训练有素的深层模型应用于其他图像数据集进行特征提取。CNN由卷积单元组成,每个卷积单元的参数通过反向传播算法进行迭代训练得到。共享卷积层的目的是提取输入CT图像的不同特征,底层提取边缘、线条和角等低级特征,更高层从低级特征中逐层提取更复杂的特征,得到特征图。区域生成网络(regionproposalnetwork,RPN)一方面确定结节的位置,另一方面进行结节性质的判定,其输出特征并入共享卷积层输出的特征图。特征图通过池化操作后进行降维减小计算量并提取出和位置无关的特征,最后通过全连接层得到结节的位置和分类结果[6-8]。CNN通过对底层特征到高层特征的建立,自动学习甲状腺结节的层次结构特征,利用这些特征训练分类器识别甲状腺结节。采用深度卷积网络应用于甲状腺CT图像,将两个结构不同的CNN融合一个网络,不同的CNN架构可以学习不同的特性,浅层网络适合学习低级特征,深层网络经训练后可以学习高级特征,随着网络层数的增加,CNN可以学习更复杂的功能,利用CNN1捕获细微的低级特征,以及CNN2捕获甲状腺结节的复杂高级特征,兼顾二者的特点并提高其性能。融合的卷积神经网络结构见图1。
1.3模型构建和验证
(1)模型构建:甲状腺诊断训练数据集的构建方法为:①甲状腺结节图像中的感兴趣区域(regionofinterest,ROI),即甲状腺结节区域,由专家医师粗略勾画出来;②两个具有不同卷积层和全连接层的CNN分别单独预训练;③基于甲状腺结节的图像块重新训练两个网络,并融合由这两个CNN学习的特征,结节图像和无结节图像,然后针对两类图像分别采用旋转和Mixup方法,得到响应的含结节图像和无结节图像,训练分类器以识别甲状腺结节。构成甲状腺诊断训练数据集,经过预训练和参数调整训练后,得到完成训练的甲状腺诊断CNN模型[9]。(2)检测方案:输入一张完整的甲状腺结节CT图像时,利用AI深度学习提取特征,然后将特征图送入RPN以生成候选框,生成候选框的同时,RPN也会对候选框进行前景、背景二分类以及对候选框进行粗调;将候选框映射到共享卷积特征图上,输入ROI层进行归一化处理,由全连接层进行分类和再次边框回归。检测方案见图2。(3)检测流程:系统采用Linux操作系统,软件的版本为Ubuntu16.04LTS,环境编程使用简单高效的Python语言,深度学习框架选用PyTorch。输入一张CT图像,就得到是否有结节的诊断结果。检测方案见图3。(4)验证模型:用训练组的数据集输入到完成训练的甲状腺诊断CNN模型中,可以得到对应每张图像是否为结节的诊断结果。
1.4图像预处理与去噪
影像诊疗智能化应用于感知环节来获取患者重要生理病理特征精准信息,完成组织器官的定位、分类以及分割工作并将可疑位置进行标注,相当于为医生去除了干扰项,辅助医生提高其判读医学影像的效率。本研究采用双边滤波的方法保留边缘信息,相对于其他非线性滤波器,既充分结合了图像的空间邻近信息及像素值的相似度信息,又考虑了灰度相似性和空域信息之间的关系。除此之外,加权中值滤波还可以通过选择适当的权值来改善图像的滤除效果,应用前景较广。极值中值滤波器擅长于处理被幅度比较大的脉冲噪声污染的图像。自适应非线性滤波器不需要预先了解待处理图像信息及噪声的统计特性,而是在处理过程中估计得到需要的统计特性然后进行多次参数调整,直至达到最理想的效果。频域去噪算法是将图像变换到频域上再进行处理,其基础是卷积理论,即g(x,y)=h(x,y)·f(x,y),其中f(x,y)为待处理函数,h(x,y)为线性位不变算子,g(x,y)为f(x,y)与h(x,y)的卷积结果,转换到频域上,其计算为公式1:G(u,v)=H(u,v)F(u,v)(1)式中G(u,v),H(u,v),F(u,v)分别对应g(x,y),f(x,y),h(x,y)的X变换(Fourier变换等)。通常情况下,只要求知道H(u,v),就可以利用已知函数f(x,y)求得G(u,v),并通过x反变换求得g(x,y),其计算为公式2:g(x,y)=X-1[H(u,v)F(u,v)](2)由傅里叶变换理论可知,傅里叶变换在频域内处理图像能够得到很好的去噪效果,而无法在时域内去噪,而小波变换是在傅里叶变换的基础上发展起来,其在时域和频域同时具有良好的局部化性质,可以将图像的结构和纹理映射在多个分辨率层次上。此外,还能发现某个局域空间内像素值发生突变,去除含有高斯噪声的图像效果显著,所以越来越多的人开始利用小波变换来进行去噪,目前小波去噪算法已成为图像去噪的主要研究方向[10]。
1.5模型和CT医师诊断比较
选择4名CT医师,高年资医生2名,低年资医生2名。其中高年资CT医师的选择标准为取得中级以上资格证,CT诊断病例>10000例,低年资CT医师标准为从事工作不满3年,CT诊断病例<3000例。4名医师分别独立对电脑屏幕所展示的测试集图像进行识别和判断,同时记录其诊断每张图像所需的时间。模型对相同的测试集进行识别,记录结果。检测图像效果见图4。1.6统计学方法应用SPSS21.0统计学软件分析处理数据,计量资料正态分布以(x-±s)表示,以病理结果为金标准,对阳性预测率、阴性预测率、灵敏度、准确率以及特异性分别与4名CT医师诊断结果进行比对。计数资料采用x2检验,以P<0.05为差异有统计学意义。
2结果
2.1三种诊断准确性对比
深度学习模型测试集共有3018张甲状腺图像,其中甲状腺结节2100张,其他良性病变及正常图像918张。2100张甲状腺结节图像中,深度学习模型正确识别1760张,高年资CT医师平均正确识别1520张,低年资CT医师平均正确识别1389张。918张正常图像中,深度学习、高年资和低年资CT医师分别正确识别了849张、814张和768张。
2.2三种诊断时间对比
深度学习模型每张图像的诊断时间为(0.12±0.02)s,而低年资CT医师和高年资CT医师的诊断时间分别为(10±2)min和(6±2)min,深度学习模型与低年资CT医师和高年资CT医师诊断时间比较,差异有统计学意义(t=274.627,t=164.754;P<0.05)。
2.3三种诊断结果对比
三种诊断根据测试对比结果,分别计算阳性预测率、阴性预测率、诊断灵敏度、诊断准确率和诊断特异度指标,其差异有统计学意义(x2=49.305,x2=105.926,x2=175.720,x2=203.132,x2=34.730;P<0.05),见表1。采用ROC曲线分析三种诊断形式的诊断效能,计算ROC曲线下面面积(areundercurve,AUC)、截点值、灵敏度及特异度,采用ROC分析评价模型的预测效能。结果显示,深度学习的诊断效能显著高于CT医师,高年资CT医师的诊断效能也显著高于低年资CT医师,见表2和图5。
3讨论
本研究结果显示,深度学习方法在所有指标比较中都超过了CT医师,其中阳性预测率比高年资CT医师高出2.63个百分点,阴性预测率高出13.01个百分点,诊断准确率高出9.11个百分点。构建的深度学习模型用于甲状腺结节的诊断全面超过CT医师,可在CT诊断甲状腺检查中辅助医师进行实时诊断。其结果表明,AI深度学习方法应用于CT影像的甲状腺结节的临床辅助诊断可行。本研究同样存在一些不足:①本研究使用的数据集可能不能充分覆盖或代表临床实践中的实际情况,存在标本量过少的风险,影响其准确度;②CNN对图像的标注依赖性较高,不同的医师对图像认识不同,造成标记图像不统一,影响训练模型的性能;③CNN算法在甲状腺结节检出中存在过拟和收敛问题;③CNN的算法像黑匣子,其对甲状腺结节的检出原理无法解释,再加上AI辅助诊断缺乏行业标准,应用后法律责任划分难以确定。基于AI的CT甲状腺结节辅助诊断,对于减轻影像科医师的工作强度,减少甲状腺结节漏诊等方面有着明显的临床意义[11-12]。构建更深的CNN可获得更好的性能,充分利用AI辅助诊断技术,快速、有效地提高甲状腺结节诊断能力可以有效缓解当下医疗资源不均衡、诊断不规范、诊断水平参差不齐等问题,避免甲状腺结节,尤其是小的恶性结节被漏诊和误诊[13-14]。
4结论
本研究对AI的CNN图像识别技术在CT甲状腺结节领域内的应用进行了初步探索。通过回顾性收集的5218张CT图像,进行深度学习模型训练和验证,测试结果显示,深度学习模型的诊断准确率均高于CT医师,总体表现效果满意。AI技术在医疗卫生领域的发展有着重要的现实意义,基于CNN的AI医学影像研究顺应了智能医学的发展方向,尽管在临床大规模应用CNN的AI影像技术还面临各种困难,可以预见的是在CT甲状腺卷积神经网络AI影像分析的辅助诊断下可以减轻医师负担、缓解医疗资源紧张,临床医师可以做出更好的决策,最终使患者受益[5]。
作者:王洪杰 田进军 吴建华 张鸣 王振宇 于霞 张恩东