基于双视角和多分类器信息融合的乳腺钼靶图像肿块分类研究

摘要根据Global Caner发布的最新数据：乳腺癌是全球女性中最常见的恶性肿瘤之一，2012年，全世界女性新发乳腺癌病例约为167.1万，在女性恶性肿瘤发病率中排名第一。

据估计，截止到2021年，中国乳腺癌患者人数将高达250万，且呈上升趋势。

早期筛查，准确诊断以及积极精准的治疗可以显著降低乳腺癌死亡率。

因此，早期筛查乳腺癌的研究具有非常重要的现实意义。

乳腺癌的早期X线征象主要包括肿块和钙化，通常肿块边缘是模糊的，形状和大小是不同的，特征是多样的。

此外，乳腺中存在大量致密组织，这使得乳房肿块的检测更加困难，目前的检测普遍存在假阳性率高的问题。

此外，在乳腺肿块的良恶性分类方面，目前的大量的文献的主要的研究仍是简单的良恶性二分类，这在实际临床中存在很大的弊端，并不能满足医生的实际需求。

近些年来随着以深度学习为基础的人工智能技术的日趋成熟完善，如何利用深度学习技术结合医学成像辅助阅读医生已成为医学图像处理领域的热点问题。

因此，本文将重点研究利用区域卷积神经网络技术来实现放射科阅片医生的肿块检测以及基于BI-RADS金标准对乳腺肿块性分期评估分类。

这样就可以大大减轻阅读医生的工作量，帮助临床医生可靠，稳定，准确地进行乳腺癌早期筛查。

本文的主要的研究内容是基于区域卷积神经网络的乳腺肿块的检测以及分期评估分类。

本文首先回顾了深度学习在图像目标检测领域的现状以及发展方向，然后通过对经典目标检测网络Faster R-CNN网络的改进，实现了乳腺肿块的检测，最后基于BI-RADS标准初步实现了乳腺肿块恶性度的评估分类。

本文的主要工作如下：1.基于Faster R-CNN的改进网络模型实现乳腺肿块的检测为了实现快速准确地将乳腺肿块从钼靶图像中检测出来，我们提出了一种基于改进Faster R-CNN网络的乳腺肿块检测方法。

首先，利用数据增强技术对实验训练的数据进行扩充，然后按照数据库提供的专家标注的信息进行图像数据标注，即将乳腺的位置信息在图像上进行标记。

利用深度学习进行乳腺钼靶图像识别研究近年来，乳腺癌的发病率逐年增加，成为威胁女性健康的重要疾病之一。

乳腺钼靶图像是一种常见的乳腺癌筛查手段，通过对图像进行识别和分析，可以帮助医生及早发现和诊断乳腺癌。

而深度学习作为一种新兴的人工智能技术，具有强大的图像识别能力，被广泛应用于医学图像处理领域。

本文将探讨利用深度学习进行乳腺钼靶图像识别的研究进展。

深度学习是一种基于神经网络的机器学习方法，通过模拟人脑的神经元网络结构，实现对大规模数据的学习和处理。

在乳腺钼靶图像识别中，深度学习可以通过训练大量的乳腺钼靶图像样本，自动学习和提取图像中的特征，从而实现对乳腺癌的准确识别。

首先，深度学习可以应用于乳腺钼靶图像的预处理。

乳腺钼靶图像通常包含大量的噪声和干扰，而深度学习可以通过卷积神经网络（CNN）等方法，对图像进行降噪和增强处理。

通过训练网络模型，可以提高图像的清晰度和对比度，减少误诊率。

其次，深度学习可以用于乳腺钼靶图像的特征提取。

乳腺癌在钼靶图像中表现为不规则的肿块或钙化灶，而深度学习可以通过卷积层和池化层等结构，自动学习和提取图像中的特征。

通过训练大量的图像样本，深度学习可以学习到乳腺癌的形态、纹理和边缘等特征，从而实现对乳腺癌的准确识别。

此外，深度学习还可以应用于乳腺钼靶图像的分类和分割。

通过训练分类器，可以将乳腺钼靶图像分为正常和异常两类，帮助医生判断是否存在乳腺癌。

同时，深度学习还可以对乳腺钼靶图像进行分割，将乳腺组织和肿瘤区域进行区分，从而辅助医生进行病灶的定位和测量。

然而，利用深度学习进行乳腺钼靶图像识别仍面临一些挑战。

首先，深度学习需要大量的标注图像样本进行训练，但是乳腺钼靶图像的标注过程相对复杂和耗时。

其次，深度学习模型的训练和调优需要大量的计算资源和时间，对计算能力和算法优化提出了要求。

此外，深度学习模型的可解释性较差，难以解释其对乳腺钼靶图像的识别结果。

为了解决上述问题，研究人员正在探索新的方法和技术。

㊀第52卷第4期郑州大学学报(理学版)Vol.52No.4㊀2020年12月J.Zhengzhou Univ.(Nat.Sci.Ed.)Dec.2020收稿日期:2020-07-23基金项目:河南省联合基金重点项目(U1604262)㊂作者简介:蒋慧琴(1964 ),女,河南郑州人,教授,主要从事深度学习与医疗人工智能研究,E-mail:iehqjiang@;通信作者:王博霖(1995 ),男,河南周口人,硕士研究生,主要从事深度学习与医疗人工智能研究,E-mail:244713668@㊂一种双视图信息融合的乳腺肿块自动检测算法蒋慧琴1,2,㊀王博霖1,2,㊀马㊀岭1,2,㊀于㊀湛3,㊀徐红卫4(1.郑州大学信息工程学院㊀河南郑州450001;2.郑州大学数字化影像技术研究中心河南郑州450001;3.郑州大学第一附属医院放射科㊀河南郑州450052;4.郑州大学第五附属医院影像科㊀河南郑州450052)摘要:针对基于单视图的深度学习乳腺肿块检测算法假阳性率较高问题,提出一种双视图信息融合的乳腺肿块自动检测算法㊂首先建立双曲正割模型,利用互相关法自动搜索乳腺X 线摄影图像中的肿块感兴趣区域,并根据胸壁线㊁乳头位置在双侧头尾位和内外侧斜位图像上建立物理坐标系,筛选标注假阳性区域以在数据层扩充监督学习信息;其次,设计空间金字塔池化模块有效融合基于YOLOv3主干网络提取的多尺度局部特征以提高检测敏感性;最后,在类别损失函数中增加聚焦参数,通过调节算法学习过程以提高检测特异性㊂充分利用双视图数据提供的先验信息提高检测正确率,实验结果表明检测敏感性达到92.0%,特异性达到87.7%,平均每幅图像假阳性0.041个,其检测性能较原模型大幅提升,且具有较好的鲁棒性㊂关键词:乳腺癌;乳腺X 线摄影;计算机辅助诊断;双视图;YOLOv3;faster-RCNN;空间金字塔池化;聚焦损失函数中图分类号:TP391.4㊀㊀㊀㊀㊀文献标志码:A㊀㊀㊀㊀㊀文章编号:1671-6841(2020)04-0028-09DOI :10.13705/j.issn.1671-6841.20202340㊀引言乳腺癌是女性发病率最高的肿瘤,早期精确诊断可使乳腺癌患者五年生存率从25%提高到99%[1]㊂基于乳腺X 线摄影的乳腺定期筛查是发现乳腺肿瘤的重要手段[2]㊂放射科医生通常利用双侧头尾位和内外侧斜位四幅钼靶图像进行比较阅片[3]以提高诊断准确性㊂然而,由于放射科医生工作负担繁重和主观因素等影响,仍存在一定的漏诊和误诊现象㊂因此,研究计算机辅助检测(computer-aided detection,CAD)方法提高医生诊断准确性,具有重要意义[4]㊂近年来,基于深度学习的乳腺CAD 研究有了较大进展[5-6]㊂文献[7]提出一种R-CNN 乳腺肿块自动检测算法㊂通过多尺度深度置信网络和高斯混合模型筛选肿块感兴趣区域,并使用级联R-CNN 网络提取图像特征,最后利用随机森林检测乳腺肿块,敏感性达到75%,平均每幅图像检测出4.8个假阳性区域㊂文献[8]在faster-RCNN 基础上提出一种乳腺肿块检测算法,通过图像增强和分块预处理可使检测敏感性达到93%,但平均每幅图像检测出0.56个假阳性区域㊂文献[9]提出一种基于YOLO(you only look once)的乳腺肿块检测算法㊂通过调整角度扩充数据集,利用YOLO 网络生成特征图,将特征图回归到原图像,预测肿块的位置和类别概率,敏感性可以达到93.2%,但特异性仅有78%㊂综上所述,深度学习在乳腺肿块检测中起着重要作用㊂但由于肿块与正常组织区分度低,成像时腺体重叠,当前基于单视图的深度学习乳腺肿块检测算法存在假阳性率较高的共性问题㊂为了减少假阳性率,本文模拟医生在双视图上观察乳腺肿块诊断特征的方法,筛选并标注与肿块相似度较高的假阳性区域,在数据层扩充监督学习信息㊂然后基于YOLOv3框架设计适合双视图数据集的CNN 网络:包括设计空间金字塔池化模块融合多尺度局部特征,增强微小肿块的特征表达能力;通过增加平衡参数和聚焦参数改进分类损失函数,提升算法对肿块与假阳性的辨别能力㊂最后用大量的仿真实验验证了本文㊀第4期蒋慧琴,等:一种双视图信息融合的乳腺肿块自动检测算法算法的有效性㊂1㊀基于深度学习的乳腺肿块分析深度学习因具有特征自学习能力在目标检测领域呈现出突出潜力[10],代表算法包括faster-RCNN 和YOLOv3目标检测方法㊂本节对比分析这两类算法对乳腺肿块检测的适用性㊂Faster-RCNN 是一种基于候选框的目标检测算法,其算法结构如图1所示,包括特征提取网络㊁候选框生成网络(region proposal network,RPN)㊁感兴趣区域(region of interest,ROI)生成㊁ROI 池化层㊁Softmax 分类器和边框回归几个主要步骤[11]㊂其特点是检测准确性较高,但计算复杂度较大㊂YOLOv3是一种基于回归的目标检测算法,其算法结构如图2所示,包括特征提取网络㊁多尺度融合网络㊁Logistic 分类和边框回归几个步骤[12]㊂其特点是将目标预测和边缘框回归整合到一个卷积神经网络,可以大幅降低检测时间㊂图1㊀Faster-RCNN 算法结构Figure 1㊀The structure offaster-RCNN 图2㊀YOLOv3算法结构Figure 2㊀The structure of YOLOv3㊀㊀本文利用两种方法进行基于乳腺X 线摄影图像的乳腺肿块检测对比实验㊂实验结果表明,faster-RCNN 和YOLOv3算法都呈现出较高的乳腺肿块检测敏感性,但具有特异性偏低,检测假阳性率偏高的共性问题㊂因此,本文开展双视图信息融合的乳腺肿块检测算法,以期设计高正确率的深度学习乳腺肿块算法㊂2㊀本文方法为了提高乳腺肿块检测敏感性并降低假阳性率,本文在YOLOv3算法框架基础上提出一种双视图信息融合的乳腺肿块自动检测方法㊂其算法结构如图3所示,主要思路是分别在数据层和特征层进行双视图信息融合,并利用空间金字塔池化模块融合局部区域特征提升检测敏感性,设计类别损失函数,调节算法学习过程以提高检测特异性㊂2.1㊀双视图信息融合放射科医生通过在双视图上寻找对比白色高灰度值的感兴趣区域,以便精确定位肿块位置[3]㊂本节模拟医生的双视图阅片方法,利用双视图信息融合提高标注数据质量,包括建模搜索疑似肿块感兴趣区域和筛选并标注假阳性区域两个步骤㊂2.1.1㊀搜索感兴趣区域㊀模板匹配作为一种基于区域分析的目标检测技术被广泛用于乳腺肿块检测[13]㊂由于多数乳腺肿块形状呈现出圆形或类圆形,且图像灰度值在感兴趣区域中心点较高㊁随着离中心点的距离增大而降低[3]㊂因此,本文建立如图4(a)所示的双曲正割模板(Sech),计算公式为Sech (x ,y )=(2α)/(e -β(x 2+y 2)+e β(x 2+y 2)),式中:α=1㊁β=0.8为预设经验值;(x ,y )表示模板上的像素点;Sech (x ,y )表示该像素点灰度值㊂Sech 模板上的灰度值随像素点(x ,y )的变化趋势如图4(b)表示,可以较好地模拟乳腺X 线摄影图像中乳腺类圆形肿块的灰度变化特征㊂利用归一化互相关函数逐像素计算模板图像与目标图像的相似度㊂图5(a)㊁5(b)分别表示目标图像和生成的相似度图像㊂在图5(b)上利用全局阈值取相似度系数较高的目标,获得如图5(c)所示的疑似肿块感兴趣区域,图5(d)展示疑似肿块感兴趣区域在原图上的位置㊂92郑州大学学报(理学版)第52卷图3㊀设计的网络结构Figure 3㊀Designed networkarchitecture 图4㊀双曲正割模板Figure 4㊀Sechtemplate 图5㊀模板匹配Figure 5㊀Template matching基于双曲正割模拟匹配法可以获得大量疑似肿块感兴趣区域,由于医生通常先在单视图上寻找确定如图5(d)所示的疑似肿块感兴趣区域,然后再对比观察双视图信息及边缘信息,判断是否是真正的肿块病变㊂因此,本文通过在双视图上建立匹配模型,模拟医生去除假阳性区域的过程,在疑似肿块感兴趣区域中挑选出假阳性区域㊂2.1.2㊀筛选假阳性区域㊀匹配模型的建立过程如图6(a)㊁6(b)所示:根据最小二乘直线拟合的方法拟合胸壁线,确定乳头位置B ;过B 作胸壁线的垂线交于点C ,过ROI 中心点A 作BC 的垂线交于点O ,根据BO 距离d 1㊁d 2确定ROI 在双视图上的相对位置㊂考虑到成像时乳腺组织挤压产生的误差,设立一个以A 为中心,宽度为W 的条形匹配带,这里在DDSM 数据库随机挑选300对头尾位㊁内外侧斜位视图乳腺图像,统计计算得到条形匹配带宽为83个像素,计算公式为w =2ˑ[avg (d 1-d 2)+3ˑstd (d 1-d 2)]㊂然后,根据放射科医生阅片标准标注假阳性:方法之一是将同侧不同视图对应条形匹配带内单独存在的类圆形区域标注为假阳性;方法之二是将异侧相同视图对应匹配带内同时存在的类圆形区域标注为假阳03㊀第4期蒋慧琴,等:一种双视图信息融合的乳腺肿块自动检测算法性[3]㊂根据DDSM 公开数据库[14]提供的BI-RADS(breast image reporting and data system)标准标注肿块㊂标注结果如图6(c)~6(f)所示,图中红色标记为肿块,蓝色标记为假阳性区域㊂图6㊀筛选假阳性Figure 6㊀Selecting for false positives本节利用双曲正割模板和双视图匹配模型定位与肿块特征高度相似的假阳性区域,并通过增加标注先验信息,提高标注数据质量,为深度学习算法提供更多可辨识信息,以提升算法对肿块及假阳性的分辨能力㊂2.2㊀多尺度局部特征融合YOLOv3算法框架的特征提取网络由5个残差模块组成,可以获得检测目标的多尺度全局特征㊂图7展示了一个特征图可视化结果㊂观察图7可以发现,图7(a)所示浅层特征对乳腺组织几何细节信息表达能力强,适合检测微小肿块,图7(b)所示深层特征语义信息表达能力强,适合区分肿块和假阳性区域㊂YOLOv3算法可以较好地融合多尺度全局特征,但其同一卷积层不同卷积核的特征输出之间缺乏关联㊂图7(c)及图7(d)分别表示同一卷积层多个卷积核特征输出,不同卷积核计算得到的特征图可以揭示图像不同视角的局部区域特征,对这些特征进行有效融合有助于提升模型细节特征表达能力㊂为此,本文提出分别在3个预测分支之前添加空间金字塔池化模块(spatial pyramid pooling,SPP)进行特征层的局部特征融合㊂图7㊀特征图可视化Figure 7㊀Feature map visualization如图8所示,SPP 模块由3个并行最大值池化分支构成,图8(a)表示256ˑ256ˑ64维的输入特征图,图8(b)~8(d)分别表示使用尺寸为5ˑ5㊁9ˑ9㊁13ˑ13,步长为1的卷积核进行最大值池化得到的输出特征图,最后通过拼接操作得到如图8(e)所示的256ˑ256ˑ256维特征图㊂对比图8可以发现,尺寸不同的池化关注图像不同区域的特征,输出特征图经过多尺度和多维度的特征融合,能够为下一步的目标预测提供更丰富的局部特征信息,从而可以提高算法对肿块检测的敏感性㊂2.3㊀聚焦损失函数双视图数据集以肿块和假阳性为先验类别信息,有针对地设计类别损失函数以提升算法分类准确性㊂13郑州大学学报(理学版)第52卷图8㊀SPP 模块Figure 8㊀SPP blockYOLOv3在预测阶段生成大量预测框,利用交叉熵损失函数衡量预测框中样本与真实样本之间的差异,通过最小化差异值来完成对模型的训练,交叉熵损失函数为:CE (P t )=-log(P t );P t =P i ,if y i =1,1-P i ,otherwise,{式中:P i ɪ[0,1]表示样本预测的类别概率;y i ={+1,-1}表示肿块㊁正常区域类别信息㊂对图9(a)所示的乳腺图像分区域分析发现,肿块和假阳性占比小,预测阶段肿块和假阳性所提供的有效梯度被大量负样本淹没,降低分类精度㊂进一步对各个子区域计算信息熵,图9(b)中肿块和假阳性所在的红色㊁黄色区域信息熵较大,分类难度大,交叉熵损失函数难以捕获肿块与假阳性间的微小差异㊂图9㊀区域信息熵Figure 9㊀Regional information entropy针对上述问题,本文利用聚焦函数作为算法的分类损失函数,表达式为FL =α(1-P t )γˑCE (P t )㊂㊀㊀当训练正常区域样本数量较多时,通过设置平衡权重α=0.5,降低正常区域样本所占权重,改善类别不均衡问题[15]㊂聚焦权重γ=2,当一个样本易分类时,P t ң1,调制系数(1-P t )γ接近0,降低易分类样本损失值在总损失值中所占比例;当一个样本不易分类时,调制系数(1-P t )γ接近1,增加难分类样本在总损失值所占比例,加强分类器对肿块和假阳性类别信息的学习,提高模型对肿块和假阳性的分辨能力㊂23㊀第4期蒋慧琴,等:一种双视图信息融合的乳腺肿块自动检测算法3㊀实验与分析实验条件为:操作系统为Ubuntu16.04,深度学习框架为Darknet,CPU为Inter Xeon,GPU为NVIDIA Tesla K80㊂本文采用DDSM和MIAS公开数据集㊂从DDSM数据集中随机挑选2276张乳腺X线摄影图像进行实验,训练集共有2048张含有肿块的图像,测试集共有218张图像,其中含肿块图像151幅,正常图像67幅㊂为测试本文方法鲁棒性,使用MISA数据集测试训练好的模型㊂MIAS测试集包含85幅乳腺X线摄影图像,其中含肿块图像50幅,正常图像35幅㊂3.1㊀预设学习参数在模型训练过程中,通过学习真实框与先验框之间的尺寸偏移量,不断调整预测框的尺寸及位置,可以加速模型收敛并提高目标位置检测精度[16]㊂YOLOv3算法以COCO数据集为检测对象的9组预设先验框,其尺寸难以适应乳腺数据集的特点,为获得更准确的预设先验框,本文利用K-means算法在乳腺肿块数据集上聚类产生9种尺寸的先验框㊂如图10所示,黑色点表示真实框的尺寸,红色点表示聚类产生的9种先验框,横㊁纵坐标分别表示真实框的长㊁宽㊂输入图像尺寸设置为512ˑ512pixel,迭代次数设置为40000次,其中冲量系数与衰减系数分别配置为0.9与0.0005,批次设置为4,初始学习率为0.001,学习率分别在迭代次数为20000和25000减小到之前的0.1倍㊂3.2㊀评价指标本文实验使用敏感性和特异性分别评价漏诊率和误诊率,使用平均每幅图像假阳性个数(FP/I)表示平均每幅图像过检肿块个数,使用P-R(precision recall)曲线综合评价模型性能㊂计算方法如表1所示,其中: TP表示模型检测结果正确的肿块数量;FP表示模型误将正常区域检测为肿块数量;TN表示模型检测为正常区域的数量;FN表示模型检测正常区域,实际为肿块的数量㊂图10㊀先验框聚类Figure10㊀Priors anchor clustering表1㊀评价方法Table1㊀Evaluation method评价指标计算方法敏感性TP/(TP+FN)特异性TN/(TN+FP)正确率TP/(TP+FP)单张假阳性FP/(I)3.3㊀结果分析本文分别在DDSM数据集上验证方法的有效性,在MISA数据集上验证鲁棒性,并与当前相关工作的文献方法进行对比㊂不同方法在DDSM数据集上的测试结果如表2所示㊂faster-RCNN模型敏感性达到91.4%,特异性达到55.2%,平均每幅图像假阳性0.15个㊂YOLOv3模型敏感性达到87.1%,特异性达到63.8%,平均每幅图像假阳性0.133个㊂两种模型具有相同特点:敏感性高,特异性低,假阳性率偏高㊂为验证双视图信息融合的有效性,本文以双视图标注数据作为YOLOv3模型训练集㊂实验结果表明,与原YOLOv3模型相比敏感性提升3.7%,特异性提升10.9%,平均每幅图像假阳性减少0.037个㊂本文方法在双视图的基础上利用空间金字塔池化模块和聚焦损失函数进一步提高模型性能,最终敏感性达到92.0%,特异性达到87.7%,平均每幅图像假阳性0.041个㊂与原YOLOv3模型相比敏感性提高4.9%,特异性提高23.9%,平均每幅图像假阳性降低0.092个㊂本文利用图11所示的P-R曲线综合评价检测模型㊂图11的横坐标和纵坐标分别表示检测敏感性和精33郑州大学学报(理学版)第52卷确率,P-R 曲线与坐标轴所围面积,表示乳腺肿块检测的平均精度㊂基于双视图信息融合的YOLOv3模型平均精度值达到80.58%,比原YOLOv3模型平均精度值提高0.89%㊂本文方法平均精度值达到89.31%,比YOLOv3模型平均精度值提高9.62%,模型检测性能显著提升㊂表2㊀不同算法在DDSM 数据集上对比Table 2㊀Comparison of different algorithms in DDSM方法敏感性/%特异性/%单张假阳性/个faster-RCNN 91.455.20.150YOLOv387.163.80.133YOLOv3+双视图90.874.70.096本文方法92.087.70.041图11㊀P-R 曲线Figure 11㊀Precision-recall curve㊀㊀检测结果如图12所示,图12(a)表示原始图像,图12(b)㊁12(c)分别表示faster-RCNN㊁YOLOv3算法检测结果,观察发现二者易将与肿块特征相似的正常组织误判为肿块㊂本文方法能更准确识别如图12(d)所示的假阳性区域,降低了假阳性率㊂图12㊀结果可视化对比Figure 12㊀Visual comparision of results使用MISA 数据集测试训练模型,验证其鲁棒性结果如表3所示㊂本文提出的方法比YOLOv3敏感性提高10.5%,特异性提高16.4%,FP /I 下降0.094㊂与在DDSM 数据集上的验证结果具有一致的趋势,本文算法的各项性能指标均有明显提升,具有较好的鲁棒性㊂将本文方法与当前主流的基于深度学习的乳腺肿块检测算法进行对比,结果如表4所示㊂本文方法保证最高敏感性的同时,平均每幅图像假阳性个数最少㊂43㊀第4期蒋慧琴,等:一种双视图信息融合的乳腺肿块自动检测算法表3㊀不同算法在MISA数据集上对比Table3㊀Comparison of different algorithms in MISA方法敏感性/%特异性/%单张假阳性/个YOLOv370.267.40.165 YOLOv3+双视图70.174.30.118本文方法80.783.80.071表4㊀基于深度学习的不同乳腺肿块检测方法对比Table4㊀Comparison with different methods of breast massdetection based on deep learning方法敏感性/%特异性/%单张假阳性/个文献[17]88.0 0.120文献[8]93.0 0.560文献[18]91.590.70.060本文方法92.087.70.0414㊀结论本文针对基于单视图的深度学习乳腺肿块检测算法假阳性率较高问题,提出了一种双视图信息融合的乳腺肿块检测方法㊂主要工作包括:1)提出双视图信息融合的方法,解决单视图肿块信息不完备的问题;2)设计金字塔池化模块,提取更丰富的乳腺图像局部特征;3)根据双视图数据集特点,设计聚焦损失函数,增强算法对肿块的分类能力㊂实验结果表明,本文算法与原始YOLOv3算法相比敏感性提高4.9%,特异性提高23.9%,平均每幅图像假阳性个数下降69.2%,各项性能指标均优于文献法,并在不同数据集上表现出良好的鲁棒性㊂下一步研究中,将利用医院采集的实际乳腺X线摄影图像,探索更适合临床应用的乳腺肿块自动检测方法㊂参考文献:[1]㊀HILLMAN B J,GOLDSMITH J C.The uncritical use of high-tech medical imaging[J].New England journal of medicine,2010,363(1):4-6.[2]㊀LI Y F,CHEN H J,YANG Y Y,et al.Pectoral muscle segmentation in mammograms based on homogenous texture and inten-sity deviation[J].Pattern recognition,2013,46(3):681-691.[3]㊀中国抗癌协会乳腺癌专业委员会.中国抗癌协会乳腺癌诊治指南与规范(2019年版)[J].中国癌症杂志,2019,29(8):609-679.CACA-CBCS.Chinese anti-cancer association:breast cancer diagnosis and treatment guidelines and norms[J].China oncology 2019,29(8):609-679.[4]㊀CHU J H,MIN H,LIU L,et al.A novel computer aided breast mass detection scheme based on morphological enhancementand SLIC superpixel segmentation[J].Medical physics,2015,42(7):3859-3869.[5]㊀SPANHOL F A,OLIVEIRA L S,CAVALIN P R,et al.Deep features for breast cancer histopathological image classification[C]ʊIEEE International Conference on Systems,Man,and Cybernetics.Banff,2017:1868-1873.[6]㊀DHUNGEL N,CARNEIRO G,BRADLEY A P.The automated learning of deep features for breast mass classification frommammograms[M].Cham:Springer International Publishing,2016:106-114.[7]㊀DHUNGEL N,CARNEIRO G,BRADLEY A P.Automated mass detection in mammograms using cascaded deep learning andrandom forests[C]ʊInternational Conference on Digital Image Computing:Techniques and Applications.Adelaide,2015:1-8.[8]㊀AKSELROD-BALLIN A,KARLINSKY L,HAZAN A,et al.Deep learning for automatic detection of abnormal findings inbreast mammography[M].Cham:Springer International Publishing,2017:321-329.[9]㊀AL-MASNI M A,AL-ANTARI M A,PARK J M,et al.Simultaneous detection and classification of breast masses in digital mammo-grams via a deep learning YOLO-based CAD system[J].Computer methods and programs in biomedicine,2018,157:85-94. [10]于进勇,丁鹏程,王超.卷积神经网络在目标检测中的应用综述[J].计算机科学,2018,45(A2):17-26.YU J Y,DING P C,WANG C.Overview:application of convolution neural network in object detection[J].Computer science, 2018,45(A2):17-26.[11]REN S Q,HE K M,GIRSHICK R,et al.Faster R-CNN:towards real-time object detection with region proposal networks[J].IEEE transactions on pattern analysis and machine intelligence,2017,39(6):1137-1149.[12]REDMON J,FARHADI A.YOLOv3:an incremental improvement[C]ʊProceedings of IEEE Conference on Computer Vision5363郑州大学学报(理学版)第52卷and Pattern Recognition.Washington,2018:1-6.[13]王俊茜,徐勇,孙利雷,等.基于乳腺X线摄影的肿块检测综述[J/OL].自动化学报(2019-05-22)[2020-06-17].https:ʊ/10.16383/j.aas.c180662.WANG J Q,XU Y,SUN L L,et al.Survey of mass detection based on mammography[J/OL].Acta automatica sinica(2019-05-22)[2020-06-17].https:ʊ/10.16383/j.aas.c180662.[14]HEATH M,BOWYER K,KOPANS D,et al.Current status of the digital database for screening mammography[J].Digitalmammography,1998:457-460.[15]LIN T Y,GOYAL P,GIRSHICK R,et al.Focal loss for dense object detection[J].IEEE transactions on pattern analysis andmachine intelligence,2020,42(2):318-327.[16]REDMON J,FARHADI A.YOLO9000:better,faster,stronger[C]ʊ2017IEEE Conference on Computer Vision and PatternRecognition.Honolulu,2017:6517-6525.[17]LI Y F,ZHANG L L,CHEN H J,et al.Mass detection in mammograms by bilateral analysis using convolution neural network[J].Computer methods and programs in biomedicine,2020,195:105518.[18]BANDEIRA DINIZ J O,BANDEIRA DINIZ P H,AZEVEDO VALENTE T L,et al.Detection of mass regions in mammogramsby bilateral analysis adapted to breast density using similarity indexes and convolutional neural networks[J].Computer methods and programs in biomedicine,2018,156:191-207.An Automatic Breast Mass Detection Algorithm with Dual-viewInformation FusionJIANG Huiqin1,2,WANG Bolin1,2,MA Ling1,2,YU Zhan3,XU Hongwei4(1.School of Information Engineering,Zhengzhou University,Zhengzhou450001,China;2.Digital Medical Image Research Center,Zhengzhou Universiyt,Zhengzhou450001,China;3.Department of Radiology,the First Affiliated Hospital of Zhengzhou University,Zhengzhou450052,China;4.Department of Radiology,the Fifth Affiliated Hospital of Zhengzhou University,Zhengzhou450052,China) Abstract:Aiming to reduce the high false positive rate of breast mass detection algorithm based on single view deep learning,an automatic breast mass detection algorithm with dual-view information fusion was proposed.Firstly,Sech model was established and the cross-correlation method was used to automatically search the region of interest in breast X-ray images.According to the chest wall line and nipple position, a physical coordinate system was established on bilateral craniocaudal and mediolateral oblique images to screen and label the false positive areas to expand the supervised learning information in the data layer. Furthermore,the spatial pyramid pooling(SPP)was designed to effectively fuse the multi-scale local features extracted from the you only look once V3(YOLOV3)backbone network to improve the detection sensitivity.Finally,focusing parameters were added to the category loss function to improve the specifici-ty of detection by adjusting the algorithm learning process.The proposed method made full use of the pri-or information provided by the dual-view data to improve the detection accuracy,the method achieved a sensitivity value of92.0%,and specificity value of87.7%,with0.041FP/pared with the origi-nal model,the detection performance of the proposed model was greatly improved and has good robust-ness.Key words:breast cancer;mammography;computer-aided detection;dual-view;YOLOv3;faster-RCNN;spatial pyramid pooling;focal loss function(责任编辑:方惠敏)。

生物医学工程研究ＪｏｕｒｎａｌｏｆＢｉｏｍｅｄｉｃａｌＥｎｇｉｎｅｅｒｉｎｇＲｅｓｅａｒｃｈ２０２０，３９（２）：２０８～２１３ＤＯＩ　１０．１９５２９／ｊ．ｃｎｋｉ．１６７２－６２７８．２０２０．０２．１９深圳市科技应用示范项目（ＫＪＹＹ２０１７０７２４１００４４０５５６）。

△通信作者　Ｅｍａｉｌ：ｗｘｌｉｕ＠ｓｚｕ．ｅｄｕ．ｃｎ；ｊｒｗｋ０１＠１６３．ｃｏｍ基于深度学习的乳腺钼靶图像分类方法研究进展包昌宇１，２，３，彭俊川１，２，３，胡楚婷４，简文静４，王先明４△，刘维湘１，２，３△（１．深圳大学医学部生物医学工程学院，深圳５１８０５５；２．广东省医学信息检测与超声成像重点实验室，深圳５１８０６０；３．医学超声关键技术国家地方联合工程实验室，深圳５１８０６０；４．深圳市第二人民医院，深圳大学医学部第一附属医院甲乳外科，深圳５１８０３５）摘要：钼靶检查是当前临床诊断乳腺肿瘤的常规手段，患者痛苦相对较小、简便易行、分辨率高、可重复性好。

为了提高诊断效率，减小误诊风险，针对乳腺钼靶图像开发基于人工智能的计算机辅助诊断系统（ｃｏｍｐｕｔｅｒ－ａｉｄｅｄｄｉａｇｎｏｓｉｓ，ＣＡＤ）显得尤为重要。

传统的分类方法需要使用大量的手工特征，而深度学习能够自动从数据中学习特征，避免了传统算法中人工设计、提取特征的复杂性和局限性。

我们从感兴趣区域和全图两个方面对近年来基于深度学习的乳腺钼靶图像分类方法研究进展予以综述和展望。

调研发现深度学习在乳腺钼靶图像分类方面展示了不错的效果，其中基于深度卷积神经网络的分类方法已经成为当下的热门技术。

关键词：乳腺肿瘤；钼靶；计算机辅助诊断系统；图像分类；深度学习；卷积神经网络中图分类号：Ｒ３１８ 文献标识码：Ａ 文章编号：１６７２ ６２７８（２０２０）０２ ０２０８ ０６ＲｅｓｅａｒｃｈｐｒｏｇｒｅｓｓｏｎｃｌａｓｓｉｆｉｃａｔｉｏｎｍｅｔｈｏｄｓｆｏｒｍａｍｍｏｇｒａｍｂａｓｅｄｏｎｄｅｅｐｌｅａｒｎｉｎｇＢＡＯＣｈａｎｇｙｕ１，２，３，ＰＥＮＧＪｕｎｃｈｕａｎ１，２，３，ＨＵＣｈｕｔｉｎｇ４，ＪＩＡＮＷｅｎｊｉｎｇ４，ＷＡＮＧＸｉａｎｍｉｎｇ４，ＬＩＵＷｅｉｘｉａｎｇ１，２，３（１．ＳｃｈｏｏｌｏｆＢｉｏｍｅｄｉｃａｌＥｎｇｉｎｅｅｒｉｎｇ，ＳｈｅｎｚｈｅｎＵｎｉｖｅｒｓｉｔｙＨｅａｌｔｈＳｃｉｅｎｃｅＣｅｎｔｅｒ，Ｓｈｅｎｚｈｅｎ５１８０５５，Ｃｈｉｎａ；２．ＧｕａｎｇｄｏｎｇＫｅｙＬａｂｏｒａｔｏｒｙｆｏｒＢｉｏｍｅｄｉｃａｌＭｅａｓｕｒｅｍｅｎｔｓａｎｄＵｌｔｒａｓｏｕｎｄＩｍａｇｉｎｇ，Ｓｈｅｎｚｈｅｎ５１８０６０；３．Ｎａｔｉｏｎａｌ－ＲｅｇｉｏｎａｌＫｅｙＴｅｃｈｎｏｌｏｇｙＥｎｇｉｎｅｅｒｉｎｇＬａｂｏｒａｔｏｒｙｆｏｒＭｅｄｉｃａｌＵｌｔｒａｓｏｕｎｄ，Ｓｈｅｎｚｈｅｎ５１８０６０；４．ＤｅｐａｒｔｍｅｎｔｏｆＢｒｅａｓｔａｎｄＴｈｙｒｏｉｄ，ＳｈｅｎｚｈｅｎＳｅｃｏｎｄＰｅｏｐｌｅ＇ｓＨｏｓｐｉｔａｌｏｆ，ＴｈｅＦｉｒｓｔＡｆｆｉｌｉａｔｅｄＨｏｓｐｉｔａｌｏｆＳｈｅｎｚｈｅｎＵｎｉｖｅｒｓｉｔｙＨｅａｌｔｈＳｃｉｅｎｃｅＣｅｎｔｅｒ，Ｓｈｅｎｚｈｅｎ５１８０３５）Ａｂｓｔｒａｃｔ：Ｉｎｔｈｅｃｌｉｎｉｃａｌｄｉａｇｎｏｓｉｓｏｆｂｒｅａｓｔｃａｎｃｅｒ，ｍａｍｍｏｇｒａｐｈｙｈａｓｂｅｃｏｍｅｏｎｅｏｆｔｈｅｒｏｕｔｉｎｅｅｘａｍｉｎａｔｉｏｎｍｅｔｈｏｄｓｂｅｃａｕｓｅｏｆｉｔｓａｄｖａｎｔａｇｅｓｏｆｒｅｌａｔｉｖｅｌｙｓｍａｌｌｐａｉｎ，ｅａｓｙｏｐｅｒａｔｉｏｎ，ｈｉｇｈｒｅｓｏｌｕｔｉｏｎａｎｄｇｏｏｄｒｅｐｅａｔａｂｉｌｉｔｙ．Ｉｎｏｒｄｅｒｔｏｉｍｐｒｏｖｅｔｈｅｄｉａｇｎｏｓｔｉｃｅｆｆｉ ｃｉｅｎｃｙａｎｄｒｅｄｕｃｅｔｈｅｒｉｓｋｏｆｍｉｓｄｉａｇｎｏｓｉｓ，ｉｔｉｓｐａｒｔｉｃｕｌａｒｌｙｉｍｐｏｒｔａｎｔｔｏｄｅｖｅｌｏｐａｃｏｍｐｕｔｅｒ－ａｉｄｅｄｄｉａｇｎｏｓｉｓ（ＣＡＤ）ｓｙｓｔｅｍｆｏｒｍａｍ ｍｏｇｒａｍ．Ｔｒａｄｉｔｉｏｎａｌｃｌａｓｓｉｆｉｃａｔｉｏｎｍｅｔｈｏｄｓｒｅｑｕｉｒｅａｌａｒｇｅｎｕｍｂｅｒｏｆｍａｎｕａｌｆｅａｔｕｒｅｓ，ｗｈｉｌｅｄｅｅｐｌｅａｒｎｉｎｇｃａｎａｕｔｏｍａｔｉｃａｌｌｙｌｅａｒｎｆｅａ ｔｕｒｅｓｆｒｏｍｄａｔａ，ａｖｏｉｄｉｎｇｔｈｅｃｏｍｐｌｅｘｉｔｙａｎｄｌｉｍｉｔａｔｉｏｎｓｏｆｍａｎｕａｌｄｅｓｉｇｎａｎｄｅｘｔｒａｃｔｉｏｎｏｆｆｅａｔｕｒｅｓｉｎｔｒａｄｉｔｉｏｎａｌａｌｇｏｒｉｔｈｍｓ．Ｗｅｒｅｖｉｅｗｔｈｅｒｅｓｅａｒｃｈｐｒｏｇｒｅｓｓｏｎｃｌａｓｓｉｆｉｃａｔｉｏｎｍｅｔｈｏｄｓｆｏｒｍａｍｍｏｇｒａｍｂａｓｅｄｏｎｄｅｅｐｌｅａｒｎｉｎｇｉｎｒｅｃｅｎｔｙｅａｒｓｆｒｏｍｔｈｅｒｅｇｉｏｎｏｆｉｎｔｅｒｅｓｔａｎｄｔｈｅｗｈｏｌｅｉｍａｇｅｔｗｏａｓｐｅｃｔｓ．Ａｃｃｏｒｄｉｎｇｔｏｔｈｅｓｕｒｖｅｙ，ｗｅｆｉｎｄｔｈａｔｄｅｅｐｌｅａｒｎｉｎｇｈａｓｓｈｏｗｎｇｏｏｄｒｅｓｕｌｔｓｉｎｔｈｅｃｌａｓｓｉｆｉｃａｔｉｏｎｏｆｍａｍ ｍｏｇｒａｍ，ａｎｄｔｈｅｃｌａｓｓｉｆｉｃａｔｉｏｎｍｅｔｈｏｄｂａｓｅｄｏｎｄｅｅｐｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋｈａｓｂｅｃｏｍｅａｐｏｐｕｌａｒｔｅｃｈｎｏｌｏｇｙａｔｐｒｅｓｅｎｔ．Ｋｅｙｗｏｒｄｓ：Ｂｒｅａｓｔｃａｎｃｅｒ；Ｍａｍｍｏｇｒａｍ；Ｃｏｍｐｕｔｅｒ－ａｉｄｅｄｄｉａｇｎｏｓｉｓｓｙｓｔｅｍ；Ｉｍａｇｅｃｌａｓｓｉｆｉｃａｔｉｏｎ；Ｄｅｅｐｌｅａｒｎｉｎｇ；Ｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋ　第２期包昌宇，等：基于深度学习的乳腺钼靶图像分类方法研究进展１　引　言近年，乳腺肿瘤已成为第二常见的癌症类型，同时也是女性的第一杀手。