基于最大熵阈值算法的织物疵点检测与疵点织物应用

基于改进类激活映射的织物疵点检测
李飞龙;李敏;何儒汉;崔树芹
【期刊名称】《计算机应用与软件》
【年(卷),期】2024(41)1
【摘要】为实现弱监督条件下的织物疵点检测,提出一种基于改进类激活映射(Class activation mapping,CAM)的疵点检测方法。

在卷积神经网络中加入SE模块,并将深层和浅层卷积层进行结合,以此提高网络的分类性能;为了提高疵点定位的准确性,将两种分辨率的类激活图进行融合来生成改进的类激活图。

实验结果表明,该算法对无疵点、孔、污渍和纱疵四个类别织物图像的识别准确率达到了96.88%,并且在数据集只有图像级标注的情况下,实现了织物疵点的定位。

【总页数】7页(P246-252)
【作者】李飞龙;李敏;何儒汉;崔树芹
【作者单位】武汉纺织大学数学与计算机学院
【正文语种】中文
【中图分类】TP391.41
【相关文献】
1.采用Gabor滤波簇和等距映射算法的织物疵点检测方法
2.基于灰度共生矩阵和稳健马氏距离的织物横档类疵点检测
3.基于最大熵阈值算法的织物疵点检测与疵点织物应用
4.基于改进YOLOv5模型的织物疵点检测
5.基于改进YOLOv7的织物疵点检测算法
因版权原因，仅展示原文概要，查看原文内容请购买。

应用视觉显著性的小提花织物疵点检测李敏;崔树芹;陈佳【摘要】为实现小提花织物的疵点检测，提出了一种基于视觉显著性的疵点定位与分割方法。

针对小提花织物的花型具有周期性的特点，通过对织物图像进行快速傅里叶变换和形态滤波来抑制正常花纹的显著性，突出疵点区域的显著性，以获取图像的全局显著图；然后使用基于图论的视觉显著模型来计算图像的局部显著图，并对全局和局部显著图进行合并生成综合显著图；最后使用最大熵法对综合显著图进行分割，以得到疵点目标。

实验结果表明，在对横裆、破洞、断头、打结和跳花等5种瑕疵进行测试时，该方法的正确率高达93．5％，非常适合于对小提花织物进行疵点检测。

%This paper proposed a new defect detection method for mini⁃jacquard fabric based on visual saliency. This method firstly analyzed the characteristic of the mini⁃jacquard and proposed to apply fast Fourier transform and mathematical morphological filter on the original image to keep down the saliency of the normal area, pop out the saliency of the defect area and obtain the global saliency map; and then, the local saliency map was obtained by using the graph⁃based visual saliency model; after that, the saliency map could be generated by combining the global and local saliency map; and finally, a maximum entropy method was implemented on the saliency map to separate the defected area. Experimental results show that the proposed method can effectively detect multiple kinds of defects of barre, hole, broken end, knots and netting, and the average success rate is 93�5%. It is an effective defect detection method.【期刊名称】《纺织学报》【年(卷),期】2016(037)012【总页数】6页(P38-42,48)【关键词】小提花织物;疵点检测;视觉显著性;最大熵法【作者】李敏;崔树芹;陈佳【作者单位】武汉纺织大学数学与计算机学院，湖北武汉 430072;武汉纺织大学数学与计算机学院，湖北武汉 430072;武汉纺织大学数学与计算机学院，湖北武汉 430072【正文语种】中文【中图分类】TS101.9提花织物疵点检测是织物疵点自动检测的难点[1-2]。

基于小波熵的织物疵点检测方法
刘素一;刘晶璟;邹崇涛
【期刊名称】《棉纺织技术》
【年(卷),期】2008(036)010
【摘要】探讨利用小波熵检测织物疵点的新方法.在采用二维离散小波变换对织物图像进行分解的基础上,引入了熵的概念.将小波熵作为织物图像的特征值,把熵值看作系统紊乱程度的度量,由此得到织物图像的小波熵特征值,通过与正常织物经过二维小波变换后提取的小波熵值相比较,熵值大者即认为有疵点存在.通过对不同组织织物和几种典型的织物疵点进行检测,试验结果表明该方法有效可行.
【总页数】3页(P24-26)
【作者】刘素一;刘晶璟;邹崇涛
【作者单位】武汉科技学院;武汉科技学院;武汉科技学院
【正文语种】中文
【中图分类】TS101.8
【相关文献】
1.基于显著纹理特征的织物疵点检测方法 [J], 石美红;张正;郭仙草;陈永当
2.基于对偶范数低秩分解的织物疵点检测方法 [J], 李春雷;王珺璞;刘洲峰;杨艳;杨瑞敏
3.基于可控高斯核的色织物疵点检测方法 [J], 闫亚娣; 张凯兵; 李鹏飞; 王珍; 朱丹妮
4.基于目标特征的织物疵点检测方法 [J], 孟志杰;郭阳宽;张晓青
5.基于小波熵的微弱信号检测方法研究 [J], 张荣标;胡海燕;冯友兵
因版权原因，仅展示原文概要，查看原文内容请购买。

改进的基于最大熵和Gabor滤波器的织物疵点检测赵波;郑力新【摘要】提出了一种改进的基于最大熵原理和Gabor滤波技术的织物疵点检测方法.采用多通道Gabor滤波算法,取模值特征为输出,利用最大熵分割模值图像,再进行图像融合,最后计算轮廓的周长和面积去除孤立点得到最终检测结果.利用OpenCV算法库,选取了四种具有代表的织物疵点图片进行验证,实验结果表明,该方法降低了计算复杂度、检测速度快、检测效果好、无须事先学习,适用于不同疵点类型的各种检测.【期刊名称】《微型机与应用》【年(卷),期】2011(030)013【总页数】4页(P29-31,35)【关键词】疵点检测;Gabor滤波器;最大熵;OpenCV【作者】赵波;郑力新【作者单位】华侨大学计算机科学与技术学院，福建厦门,362021;华侨大学信息科学与工程学院，福建厦门,362021【正文语种】中文【中图分类】TP391.4织物疵点检测是近年来国内外学者在图像领域的热门研究课题之一。

本文在结合国内外相关参考文献[1-10]的基础上，针对从企业获取的疵点图像，利用最大熵原理和Gabor滤波器技术，提出了一种新的基于最大熵和Gabor滤波器的织物疵点检测方法。

该方法首先对预处理后的图像采用两个Gabor滤波器分别进行水平和垂直方向滤波的模值图像，然后对模值图像分别利用最大熵阈值分割，再融合分割后的二值图像并进行形态学处理，最后通过计算轮廓面积和周长的方法去掉小的孤立点和描绘出最终疵点图像，从而获得疵点检测结果。

实验表明，该方法能够很好地检测和分割出绝大多数疵点，而且速度快、效果好。

1熵和Gabor滤波器原理1.1熵数学理论熵是源于物理学的基本概念，由Shannon引入到信息论中。

信息论中，熵是作为事件出现概率不确定性的量度，能有效地反映事件包含的信息。

图像中，熵代表图像中信息量的大小，可以通过定义图像各个像素点分布情况定义图像的局部熵。

一幅M×N大小的图像，熵的定义为[11]：式中，Hf是M×N大小的局部窗口的熵，即局部熵；Pij是点(i，j)处灰度分布概率，Pij＜1；f(i，j)是点(i，j)处灰度值；M、N为图像的长和宽。

基于窗阈值局部二值模式的织物疵点检测算法
付蓉;石美红;徐步高
【期刊名称】《计算机集成制造系统》
【年(卷),期】2010(16)9
【摘要】为准确描述不同织物的纹理结构,提出一种改进的局部二值模式,为不同纹理特征创建了相应的主要概率模式子集.在该特征提取算法的基础上设计了一种基于窗阈值的织物疵点检测算法,并对无图案和有图案织物分别设置了参数.该算法首先使用自适应局部二值模式获取无疵点织物图像特征并确定疵点判断阈值,然后将待检测织物图像分割为大小相同的检测窗,并提取同样特征与阈值进行比较,以判断该窗是否为疵点窗.对无图案和有图案织物的参数分别进行了讨论分析,以获得精确的分割结果.实验证明,所提出算法的疵点检测结果在视觉上更加细腻、误检率更低.【总页数】7页(P2009-2015)
【作者】付蓉;石美红;徐步高
【作者单位】西安工程大学,计算机科学学院,陕西,西安,710048;西安电子科技大学,电子工程学院,陕西,西安,710075;西安工程大学,计算机科学学院,陕西,西安,710048;德克萨斯大学奥斯汀分校,人类生态系,美国,德克萨斯州,78712
【正文语种】中文
【中图分类】TP391
【相关文献】
1.一种基于动态阈值局部二值模式的人脸识别算法 [J], 高丽;吴明;;
2.一种基于动态阈值局部二值模式的人脸识别算法 [J], 高丽;吴明
3.基于改进自适应阈值的织物疵点检测算法研究 [J], 刘洲峰;王九各;赵全军;李春雷
4.基于自适应阈值的均匀局部二值模式 [J], 兰蓉;马威;程阳子
5.基于自适应阈值的均匀局部二值模式 [J], 兰蓉;马威;程阳子
因版权原因，仅展示原文概要，查看原文内容请购买。

基于图像最大熵的织物疵点检测方法
赵静;于凤芹
【期刊名称】《纺织科技进展》
【年(卷),期】2010(000)002
【摘要】对织物表面疵点自动识别方法进行了探讨.将信息熵引入图像处理中,先通过最大熵快速迭代算法对织物疵点区域进行分割,把疵点图像分为背景和目标两部分;然后找出疵点区域的中心并求出疵点区域在纬向和经向上的方差;最后通过两者的比值与设定常数的比较,判断出疵点类型.仿真实验表明该方法对常见织物疵点的检测是有效的.
【总页数】3页(P64-65,69)
【作者】赵静;于凤芹
【作者单位】江南大学通信与控制工程学院,江苏,无锡,214122;江南大学通信与控制工程学院,江苏,无锡,214122
【正文语种】中文
【中图分类】TP391
【相关文献】
1.几种基于图像自适应阈值分割的织物疵点检测方法比较 [J], 杜磊;李立轻;汪军;万贤福;陈霞;李冠志
2.基于最大熵快速迭代算法和边缘算子的织物疵点分割 [J], 赵静;赵东晓;高伟;吴付英
3.基于小波自适应去噪和最大熵的织物疵点检测 [J], 卢亮;赵静
4.改进的基于最大熵和Gabor滤波器的织物疵点检测 [J], 赵波;郑力新
5.基于最大熵阈值算法的织物疵点检测与疵点织物应用 [J], 袁小军;陈晓东;邱莉;熊艳平
因版权原因，仅展示原文概要，查看原文内容请购买。

DOI :10.19333/j.mfkj.20200501408基于迁移学习和改进ResNet50网络的织物疵点检测算法罗维平1,2,徐㊀洋1,陈永恒1,周㊀博1,马双宝1,2,吴雨川1,2(1.武汉纺织大学机械工程与自动化学院,湖北武汉㊀430200;2.湖北省数字化纺织装备重点实验室湖北武汉㊀430200)㊀㊀摘㊀要:针对目前工业现场织物疵点检测准确率低㊁速度慢和疵点识别种类少的问题,提出一种改进ResNet50网络的织物疵点检测算法㊂首先对数据集进行预处理,对数据样本切割增强生成模型训练集,包括无疵点和8类常见疵点类别;然后改进ResNet50网络结构,提取在大型数据集ImageNet 上预训练好的权重参数迁移学习;最后反复调整超参数训练得到的疵点检测识别模型㊂通过多组对比实验结果表明,改进模型对正常织物和8类常见疵点识别准确率达到96.32%,比标准模型精度提升4.2%,速度提升1倍㊂在不同织物疵点数据集中测试,综合性能最好,泛化能力强,鲁棒性好,可以满足工业生产现场织物疵点检测需求㊂关键词:疵点检测;迁移学习;特征提取;ResNet50;预训练模型中图分类号:TP 18;TS 106㊀㊀㊀㊀文献标志码:AFabric defect detection algorithm based on migrationlearning and improved ResNet50networkLUO Weiping 1,2,XU Yang 1,CHEN Yongheng 1,ZHOU Bo 1,MA Shuangbao 1,2,WU Yuchuan 1,2(1.School of Mechanical Engineering and Automation,Wuhan Textile University,Wuhan,Hubei 430200,China;2.Hubei Provincial Key Laboratory of DigitalTextile Equipment,Wuhan,Hubei 430200,China)Abstract :Aiming at the problems of low accuracy,slow speed and low defect identification ofindustrial site fabric defect detection,a improved fabric defect detection algorithm based on ResNet50network is proposed.Firstly,the data set was preprocessed,and the model training set was enhanced bycutting the data samples,including the fault-free and 8common defect categories.Then,the structure ofResnet50network was improved to extract the weight parameters pre-trained on the large data setImageNet for transfer learning.Finally,the defect detection and recognition model obtained by hyper parameter training was adjusted repeatedly.The results of several groups of comparative experiments show that the recognition accuracy of the improved model for normal fabric and 8common defects reaches 96.32%,which is 4.2%higher than that of the standard model,and the speed is doubled.The test in different fabric defect data sets has the best comprehensive performance,strong generalization ability andgood robustness,which can meet the requirements of fabric defect detection in industrial production sites.Keywords :defect detection;migration learning;feature extraction;ResNet50;pretraining model收稿日期:2020-05-09基金项目:国家自然科学基金项目(61271008);湖北省数字化纺织装备重点实验室公开项目(DTL2019020)第一作者:罗维平,教授,硕士,主要研究方向为数字化纺织装备,E-mail:l_wp1@㊂㊀㊀织物疵点检测在纺织行业的生产中占据着非常重要的地位,有疵点的织物价格会降低45%~65%,因此疵点检测是成布出厂的最后一关,是纺织品生产中品质控制的一道重要的工序[1-3]㊂目前业界对织物疵点检测依然以人工检测为主,检测速度只有5~20m /min [4-5],而且人工作业容易受到外界因素的影响,且人工成本较高,同时存在效率低,误检㊁漏检率高等缺点,这使得人工检测难以适应现代工业生产需求,因此在纺织品疵点检测领域迫切需要快速㊁精准的疵点检测方法㊂近年来,大量学者提出各种疵点检测算法,但这些传统疵点检测算法存在图像采集要求高㊁图像处理速度慢㊁鲁棒性差等问题[6-8],一直难以应用于工业生产现场㊂随着深度卷积神经网络的出现,织物疵点检测研究出现新的方向㊂稀疏连接结构分类模型(GoogLeNet)㊁大规模图像识别深度卷积网络(VGG)㊁深度残差网络(ResNet)等深度学习经典图像检测模型的出现[9-12],织物疵点检测研究也取得新的突破㊂文献[13]应用ResNet 模型中的101网络提取织物疵点特征,再利用基于区域的快速卷积神经网络(Faster RCNN)[14]检测网络对疵点目标进行识别,取得了较高的检测准确率,但在识别速度方面实时性效果不理想;文献[15]应用支持向量机分类算法完成了织物疵点检测模型训练,解决对小样本㊁高纬度数据的分类问题,但需要利用GPU 计算灰度共生矩阵(GLCM)特征值,计算量大成本高,在提高计算速度的同时需要降低输入图像像素大小,一定程度上减弱了的原始图像特征信息;文献[16]提出基于费舍尔(Fisher)准则的深层卷积神经网络织物疵点检测方法,在标准织物瑕疵图像数据库(TILDA)[17]织物和自建的彩色格子织物数据集上取得较好成绩,但局限于特定织物疵点检测,对纹理更为复杂和多种类疵点检测上泛化能力较差㊂针对上述问题,本文提出一种基于迁移学习和改进的ResNet50网络织物疵点检测算法,通过改进ResNet50网络的残差模块,利用在大规模分层图像数据库(ImageNet)[18]上预训练的权重参数进行迁移学习,训练得到一个疵点识别模型,通过实验表明该模型具有良好的泛化能力,能够精准快速识别正常织物和7类疵点织物㊂1㊀研究方法1.1㊀研究思路本文提出的织物疵点检测算法主要工作流程为:首先对织物疵点数据集中的图像进行预处理,筛选和提取出有效的数据样本;然后对疵点样本不平衡问题通过数据增强进行弥补;再对ResNet50网络进行调整改进,提取预训练ResNet50模型的权重参数作为初始值进行迁移学习;最后为了验证模型性能,利用本文方法和VGG16㊁VGG19㊁标准ResNet50㊁ResNet152等主流模型在测试集上进行实验对比测试㊂1.2㊀ResNet 模型架构随着卷积神经网络的发展,发现卷积层越深模型效果越好,所以在VGG 模型取得成功后,学者们开始尝试更深的卷积网络,但实验证明网络深度增加会造成梯度爆炸㊁消失,导致系统不能收敛[19-21]㊂在VGG 模型中通过对输入数据和中间层的数据归一化操作,保证网络在反向传播中采用随机梯度下降法(Stochastic gradient descent,SGD),从而让网络达到收敛,但当模型网络深度超过十几层后,SGD 已经失去作用,所以在出现ResNet 模型出现之前,训练非常深的神经网络是非常困难的㊂针对这个问题,一种深度残差网络ResNet 被提出,其允许网络可以尽可能的加深,但其将输入中的一部分数据不经过卷积网络,直接送入到输出,保留一部分原始信息,这种结构有效防止了反向传播时的梯度弥散问题,从而使得网络深度可以达到上百层甚至更深㊂ResNet 网络能添加更深卷积层提升效果,其中的残差块结构起关键作用,其结构如图1所示[12]㊂图1㊀ResNet 残差块结构ResNet 网络原理是假设一个比较浅的网络已达到饱和的准确率,这时在它后面再加上几个恒等映射层(Identity mapping,即y =x ,输出等于输入),这样增加了网络的深度,但误差不会增加,即更深的网络不会带来训练集误差的上升,残差结构计算公式如式(1)(2)所示:y 1=h x l ()+F x l ,W l ()(1)x l +1=f y l ()(2)式中:x l 和x l +1分别表示第l 个残差单元的输入和输出,其中每个残差单元包含多层结构,F 是残差函数,表示学习到的残差,而H x ()=X l 表示恒等映射,f 是Relu 激活函数,由式(1)(2)可以求得从浅层l 到深层L 的学习特征,计算公式如式(3)所示:x L =x l +ðL -1i =l F x i ,W i ()(3)利用链式规则,可以求得反向过程的梯度,计算公式如式(4)所示:∂loss ∂x l =∂loss ∂x L ㊃∂x L ∂x l =∂loss∂x L㊃1+∂loss ∂x L ðL -1i =l F x i ,W i ()()(4)式(4)中第1个因子∂loss∂x L表示损失函数到达的梯度,括号中的 1 表明短路机制可以无损地传播梯度,而另外一项残差梯度则需要经过带有权重的层,梯度不是直接传递过来的㊂残差梯度不会全为-1,即使值比较小,有1的存在也不会导致梯度消失,所以残差学习会更容易㊂1.3㊀改进ResNet50网络实验中发现如果残差映射F (x )结果的维度与跳跃连接X 的维度不同,就无法对其进行相加操作,所以必须对X 进行升维操作,使维度相同后才能相加计算,所以通常在跳跃连接X 中加入stride =2的1ˑ1特定卷积核,使X 通过升维,让其的输出与卷积块的输出相同㊂实际中常用的残差块结构如图2所示㊂图2㊀常用的残差块结构㊀㊀当反复堆叠残差模块时,可以构成不同深度的网络结构[22],本文尝试了ResNet18㊁ResNet34㊁ResNet50㊁ResNet101㊁ResNet152等多种深度的网络后,根据实验效果和计算量综合考虑,选用了50层的ResNet50网络,标准的不同层数的ResNet 网络结构如表1所示[12]㊂表1㊀标准的不同层数ResNet 网络结构卷积层名称输出层大小18层网络34层网络50层网络101层网络152层网络卷积层1112ˑ1127ˑ7,64,滑动步长2,3ˑ3最大池化层,滑动步长2卷积层256ˑ563ˑ3,643ˑ3,64[]ˑ23ˑ3,643ˑ3,64[]ˑ31ˑ1,643ˑ3,641ˑ1,256éëêêùûúúˑ31ˑ1,643ˑ3,641ˑ1,256éëêêùûúúˑ31ˑ1,643ˑ3,641ˑ1,256éëêêùûúúˑ3卷积层3_x 28ˑ283ˑ3,1283ˑ3,128[]ˑ23ˑ3,1283ˑ3,128[]ˑ41ˑ1,1283ˑ3,1281ˑ1,512éëêêùûúúˑ41ˑ1,1283ˑ3,1281ˑ1,512éëêêùûúúˑ41ˑ1,1283ˑ3,1281ˑ1,512éëêêùûúúˑ8卷积层4_x 14ˑ143ˑ3,2563ˑ3,256[]ˑ23ˑ3,2563ˑ3,256[]ˑ61ˑ1,2563ˑ3,2561ˑ1,1024éëêêùûúúˑ61ˑ1,2563ˑ3,2561ˑ1,1024éëêêùûúúˑ231ˑ1,2563ˑ3,2561ˑ1,1024éëêêùûúúˑ36卷积层5_x 7ˑ73ˑ3,5123ˑ3,512[]ˑ23ˑ3,5123ˑ3,512[]ˑ31ˑ1,5123ˑ3,5121ˑ1,2048éëêêùûúúˑ31ˑ1,5123ˑ3,5121ˑ1,2048éëêêùûúúˑ31ˑ1,5123ˑ3,5121ˑ1,2048éëêêùûúúˑ3浮点运算1ˑ11.8ˑ109平均池化层,1000分类全连接层 3.6ˑ109平均池化层,1000分类全连接层 3.8ˑ109平均池化层,1000分类全连接层7.6ˑ109平均池化层,1000分类全连接层11.3ˑ109平均池化层,1000分类全连接层㊀㊀由表1可以看出,所有的ResNet 网络第1层都是经过7ˑ7卷积层,感受野较大,对于ImageNet 数据库中的图像提取特征足够,但在本文研究中,织物疵点种类多且大多数疵点非常小,为了更加精确的对疵点进行分类这就需要提取更多有效细微特征,所以本文在设计网络时对第1层7ˑ7卷积层进行了改进,使之更加适应疵点检测特征提取任务㊂本文设计中用3个3ˑ3的堆叠卷积层替换7ˑ7卷积层,一方面3个卷积层使用了更多的非线性激活函数,使得判决函数更具有判决性;另一方面,还有效降低了计算参数量,假设卷积层的输入和输出的特征图大小相同为Z ,3个3ˑ3的卷积层参数个数3ˑ(3ˑ3ˑZ )ˑZ )=27ˑZ 2;一个7ˑ7卷积层的参数个数为(7ˑ7ˑZ )ˑZ =49ˑZ 2,所以在不改变初始感受野的情况改进网络第1层,能为疵点检测模型带来更好的性能㊂除此之外,在疵点检测问题中,疵点占整幅图像面积较小,获取的信息占比小,为了避免无用信息冗余,本文在残差模块stride =2的1ˑ1的卷积核做下采样前又加入一层2ˑ2的平均池化层(avg-pool)整合空间信息,平均池化层没有参数,不改变全局参数量,同时可防止在该层出现过拟合,减少计算量的同时,提高检测速度㊂经过改进的ResNet50网络结构如图3所示㊂图3㊀改进后的ResNet50网络结构1.4㊀迁移学习在机器学习中,要训练出一个鲁棒性很好的模型,需要有足够多的已标注样本和大量的具有相同分布又相互独立的训练集和测试集,这在实际训练过程中很难满足[23]㊂在本文研究中,织物疵点种类虽多,但很多疵点并不常见,所以疵点图像样本及其缺乏,针对此问题本文采用迁移学习来弥补㊂迁移学习是通过从已学习的相关任务中迁移其知识来对需要学习的新任务进行提高,而不需要从零开始学习㊂在深度学习领域,如果有一个原始图像数据集足够大,那么预训练网络模型学到的特征的空间层次结构可以有效的作为视觉世界的通用模型,因此这些特征可用于各种不同的计算机视觉问题,即使这些新的分类问题设计的类别和原始任务完全不同[24]㊂在卷积神经网络模型中,某个卷积层提取的特征的通用性取决于该层在模型中的深度,更靠近模型底部的层提取的信息是局部的㊁高度通用的特征图,如视觉边缘㊁颜色㊁纹理等,更靠近顶部的层提取的是更加抽象的概念,如具体的类别轮廓㊁形状[25]㊂基于上述理论,本文中选择在大型图像数据集ImageNet 上训练好的ResNet50模型参数,作为本文修改后的ResNet50网络初始参数,再在本文织物数据集中继续重新训练顶层卷积网络,使其更加适应疵点检测问题㊂2㊀数据预处理2.1㊀数据集由于现有公开的织物疵点数据库有限,研究者多选择采用自建数据库,但种类齐全的高清织物疵点采集难度高,有效数据有限,只能针对部分特定的疵点类型和布匹材料自建小型数据集;除此之外,如现有的TILDA 织物数据库织物疵点集数据数量少,种类少,总体数据不到千张图像,像素低,疵点特征信息受限,即使使用数据增强可以一定程度降低模型过拟合,但原始图像数量少始终限制模型训练精度㊂基于此,江苏阳光集团开源了真实的企业生产现场采集的织物图像数据集[26],每张图像分辨率为2560像素ˑ1920像素,图像特征细节清晰,并全部经过经验丰富的验布工人确认,然后对每张图像使用标注工具LabelImg 人工标注,生成对应的xml 格式信息文件,包含瑕疵种类㊁位置等信息,数据集共有4036张超清织物数据图像,其中包含1360张无疵点图像,2676张有瑕疵图像,瑕疵种类包含常见的吊边疵㊁擦洞㊁跳花㊁双纬纱㊁打结㊁漏纱㊁破洞㊁多斑㊁缺经㊁缺纬等42种,此数据集是目前公布的种类最为齐全㊁数量最多㊁图像分辨率最高的织物疵点数据集㊂本文选用此数据集中样本较多的几种疵点样本,包括正常织物和擦洞㊁破洞㊁漏纱㊁缺纬㊁缺经㊁跳花㊁多斑等7类疵点织物,由于其他疵点类型样本较少,用于样本训练会影响模型精度,所以将其余疵点样本归为一类,总体作为模型训练的样本共有9类,选用的疵点类型数据集中的部分图像如图4所示㊂2.2㊀数据预处理数据集中无疵点图像与各类疵点图像数量相差较多存在数据不平衡问题,直接训练会导致模型过图4㊀本文训练集中部分图像拟合;除此之外,由于训练硬件限制(2块RTX1080Ti 11G GPU),原始图像分辨率较大,训练时计算量大,所以必须对训练数据进行预处理㊂疵点识别判断需要获得疵点特征细节,如果直接缩减会牺牲图像细节特征,降低图像所带的信息量,所以本文采取以滑动窗口为320像素ˑ320像素大小,滑动步长为160大小裁剪,将2560像素ˑ1920像素的原始图像切割成8ˑ6份,这样每张原始图像分割成了48张图像细节不变的小尺寸图像㊂但是这样处理后瑕疵图像会出现正好切在瑕疵边缘或瑕疵面积占比较小的问题,因此,本文进一步对切割后的瑕疵图像根据标注的瑕疵位置信息计算瑕疵面积占比,筛选出切割后瑕疵面积占原始瑕疵面积一定阈值以上的图像作为有效数据,选择占比超过10%的㊀㊀㊀疵点作为有效疵点图像㊂最终,模型训练样本集按照2ʒ1选择无瑕疵图像10034张㊁有瑕疵图像5017张作为样本集㊂为了测试模型训练精度,从训练样本集中各选择80%作为训练集,10%作为验证集,10%作为测试集㊂在训练中为了防止过拟合,本文还采用了Dropout 和数据增强技术以提升模型的泛化能力㊂数据增强是从现有的训练样本中利用多种能够生成可信图像的随机变换来增加样本以提升模型泛化能力,文中所有数据增强使用的变化参数为90ʎ图像随机旋转范围,水平㊁垂直方向上平移比例为30%,随机错切角度为90ʎ㊁透视变换比例为20%,缩放变化范围比例为10%,水平㊁垂直随机翻转,对常见疵点擦洞进行数据增强后的部分图像如图5所示㊂图5㊀擦洞图像应用数据增强后的部分扩增图像3㊀实验设计及分析3.1㊀评估指标实验中使用准确率(Accuracy,Acc)作为模型的评价指标,准确率是评价模型对全部样本的判定能力㊂在分类问题中要将实例分为正类(Positive)和负类(Negative),分类模型在实际的分类结果中可能会出现下面4中情况:若一个实例是正类,分类器将其判定为正类,称为真正类(True Positive,TP);反之,如果分类器将其判定为负类,称为假负类(False Negative,FN);若一个实例是负类,分类器将其判定为正类,称为假正类(False Positive,FP);反之,若分类器将其判定为负类,称为真负类(True Negative,TN)[27-28]㊂这样可以推导出准确率Acc 的计算式如式(5)所示:Acc =TP +TNTP +FP +TN +FN(5)除此之外,训练过程中的损失值也是重要指标之一,其是用于评价学习权重张量的反馈信号,能够衡量当前任务是否解决,训练中需要最小化,是用来估量模型的预测值f (x )与真实值Y 的不一致程度,其是一个非负实值函数,通常使用L (Y ,f (x ))来表示,损失函数越小,模型的鲁棒性越好㊂3.2㊀实验设计为了验证本文提出的疵点检测模型性能,本文设计多个实验㊂第1部分使用本文数据集分别训练当前主流的VGG16模型㊁VGG19模型㊁标准ResNet50模型㊁ResNet152模型和本文方法改进的ResNet50模型,然后在本文测试集上分别测试对比;第2部分参考文献[15-16]中的方法,使用传统的特征提取方法,复现了文献[15]中提出的选取方向梯度直方图(HOG)特征和文献[16]中提出的选取局部二值模式(LBP )特征方法,利用本文测试集进行测试对比本文方法;第3部分使用在实验室环境下采集的纯色背景泳装布料自建数据集作对比实现数据集,分别验证上述方法及模型的泛化性和准确性,自建泳装布料数据集部分图像如图6所示㊂图6㊀部分自建泳装布料数据集3.3㊀模型训练为了得到足够准确和泛化能力更好的模型,需要在训练模型的过程中监控训练损失和验证损失,以及最重要的训练准确率和验证准确率,如果发现模型的验证数据的性能开始连续下降,则可以判断为过拟合,本文在程序中实现过程为当验证准确率连续10轮训练都不再优化时则提前终止训练㊂通过验证过程的反馈反复调节超参数㊁尝试不同的Dropout 比例等[27],直到模型达到最佳验证性能㊂本文训练了实验设计中的所有模型,其中标准ResNet50网络模型训练过程的损失曲线和准确率曲线如图7所示;改进的ResNet50网络训练过程损失曲线和准确率曲线如图8所示㊂图7㊀标准ResNet50网络模型训练过程的损失曲线和准确率曲线图8㊀改进的ResNet50网络训练过程损失曲线和准确率曲线3.4㊀实验分析根据训练好的模型,使用训练样本中的测试集,对各模型和复现的传统检测算法分别进行实验验证,实验结果如表2所示㊂由表2可知,改进ResNet50网络的权重参数是实验模型中最少的,测试速度最快,改进的ResNet50网比标准ResNet50网络的准确率提升了4.2%,速度提升1倍,虽然相较于ResNet152网络准确率低了0.13%,但网络权重减少50%,检测速度提升约3.3倍,对比下本文改进模型综合性能最㊀㊀㊀表2㊀主流算法模型与本文改进模型在训练数据集上的测试结果对比模㊀型权重参数(106)训练精度/%验证精度/%测试精度/%测试速度/(s㊃张-1)VGG16138.097.1597.2687.32 1.1 VGG19143.097.9897.5888.12 1.6 ResNet5025.599.3298.1792.170.6 ResNet15248.799.4299.2496.45 1.3改进ResNet5023.099.1398.8896.320.3 HOG+Softmax---70.51-LBP+Softmax---69.65-好㊂文献[15]中基于HOG特征的疵点检测方法在本文数据集上的测试准确率只有70.51%,分析主要原因在于此算法会对原始图像进行切割分别提取图像块做检测处理,但没有对全局进行检测,导致检测时部分切割边缘被检测为疵点;文献[16]中从整体织物图像中获取代表织物局部纹理的LBP特征,进而实现瑕疵的无监督检测的检测方法在本文测试集中检测准确率只有69.95%,分析其主要原因在于此算法受限于提取LBP特征的子窗口大小,原文实验选取子窗口大小为织物纹理最小周期的2倍左右,而其测试织物疵点周期大小都在6~11个像素之间,实验样本不具有实际生产现场疵点大小代表性,本文测试集样本疵点大小不一,没有任何人工大小筛选,具有工业现场数据代表性㊂2种传统疵点检测算法的检测时间受限于检测样本疵点多少和疵点像素大小,无法进行有效统计,而本文算法相比较2种传统检测算法准确率分别提高25.81%和26.87%,同时检测速度不受疵点大小影响,速度恒定且快速㊂本文疵点错误率主要来源于2种情况,一是同一张图中出现2种疵点及以上类型,在分类算法中无法有效解决多目标同时存在问题;二是疵点类型相似的图例识别错误率较高,如小擦洞和小破洞这2种类型,自身区别极其微小,模型识别准确率也较低㊂㊀㊀为了验证各模型和传统检测算法的泛化性能,在实验室环境下采集自建的纯色背景泳装布料数据集上进行实验验证,此数据集未参与模型训练,可有效对比各模型泛化能力,实验结果如表3所示㊂表3㊀主流算法模型与本文改进模型在自建数据集上的测试结果对比㊀㊀模㊀型测试精度/% VGG1682.76 VGG1983.98 ResNet5086.03 ResNet15289.32改进ResNet5088.69 HOG+Softmax65.48 LBP+Softmax63.89㊀㊀由表3可知,在不同的织物疵点检测数据集上,模型泛化能力最好的是网络最深的ResNet152模型,其次是改进的ResNet50模型,只相差0.63%,但比标准ResNet50模型提升2.66%,综合考虑模型计算量㊁测试精度㊁测试速度,改进的ResNet50模型是性能是最好的㊂4㊀结㊀论本文提出一种基于迁移学习和改进ResNet50网络的织物疵点检测算法,通过改进ResNet50网络第1层和残差模块结构,提升了疵点检测精度和检测速度,可以有效识别正常织物和8种类型织物疵点㊂通过实验结果表明:①在疵点识别精度上,改进ResNet50模型对正常织物和擦洞㊁破洞㊁漏纱㊁缺纬㊁缺经㊁跳花㊁多斑及其余疵点等8类常见疵点识别准确率达到96.32%,识别精度对比未改进的标准模型提升了4.2%,对比其他主流单模型识别精度可以提升7~9个百分点㊂②在疵点识别速度上,改进ResNet50模型对比未改进的标准模型速度提升了1倍,计算量减少10%,对比其他主流单模型速度可以提升53%左右㊂③在模型泛化能力上,在同一测试集中,改进ResNet50模型对比未改进的标准模型识别精度提升2.66%,对比传统检测模型可以提升23%左右,泛化性能力强,鲁棒性好㊂改进ResNet50网络的织物疵点检测算法精度高㊁速度快㊁鲁棒性好,泛化能力强,可以满足工业生产现场对织物疵点检测的各项指标要求,较之人工检出更好地满足工业企业对织物疵点识别的需求,节省了疵点检测人力消耗㊂参考文献:[1]㊀景军锋,范晓婷,李鹏飞,等.应用深度卷积神经网络的色织物缺陷检测[J].纺织学报,2017,38(2):68-74. [2]㊀XIA D,JIANG G,LI Y,et al.Warp-knitted fabricdefect segmentation based on non-subsampled Contourlettransform[J].Journal of The Textile Institute,2017,108(2):239-245.[3]㊀袁小军,陈晓东,邱莉,等.基于最大熵阈值算法的织物疵点检测与疵点织物应用[J].毛纺科技,2019,47(3):66-70.[4]㊀尉苗苗,李岳阳,蒋高明,等.应用最优Gabor滤波器的经编织物疵点检测[J].纺织学报,2016,37(11):48-54.[5]㊀李永亭,齐咏生,刘利强,等.织物疵点图像目标定位自动优化检测仿真[J].计算机仿真,2017,34(12):340-344.[6]㊀LI Yundong,ZHAO Weigang,PAN Jiahao.Deformablepatterned fabric defect detection with fisher criterion-based deep learning[J].IEEE transactions onautomation science and engineering:a publication of theIEEE Robotics and Automation Society,2017,14(2):1256-1264.[7]㊀TONG L,WONG W K,KWONG C K.Fabric defectdetection for apparel industry:a nonlocal sparserepresentation approach[J].IEEE Access,2017,(99):1-1.[8]㊀丁燕,闫治宇.基于裂变粒子滤波算法的织物图像疵点检测研究[J].印染助剂,2019,36(4):60-64. [9]㊀KRIZHEVSKY Alex,SUTSKEVER Ilya,HINTOnGeoffrey E.ImageNet classification with deepconvolutional neural networks[J].Communications of theACM,2017,60(6):84-90.[10]㊀SZEGEDY C,LIU W,JIA Y,et al.Going deeper withconvolutions[C]//2015IEEE Conference on ComputerVision and Pattern Recognition(CVPR),Boston:IEEEComputer Socierty,2015.[11]㊀SIMONYAN K,ZISSERMAN A.Very deepconvolutional networks for large-scale imagerecognition[J].Computer Ence,2014,67:1-14. [12]㊀HE K,ZHANG X,REN S,et al.Deep residuallearning for image recognition[C]//IEEE Conferenceon Computer Vision&Pattern s Vegas:IEEE Computer Society,2016.[13]㊀晏琳,景军锋,李鹏飞.Faster RCNN模型在坯布疵点检测中的应用[J].棉纺织技术,2019,47(2):24-27.[14]㊀REN Shaoqing,HE Kaiming,GIRSHICK Ross.FasterR-CNN:towards real-time object detection with regionproposal networks[J].IEEE Transactions on PatternAnalysis&Machine Intelligence,2015,39(6):1137-1149.[15]㊀万东,孙志刚,肖力.基于CUDA计算GLCM特征值和SVM的织布疵点检测[J].计算机与数字工程,2018,46(4):828-832.[16]㊀史甜甜.基于Fisher准则的深层卷积神经网络织物疵点检测[J].计算机系统应用,2019,28(3):140-145.[17]㊀DENG J,DONG W,SOCHER R,et al.ImageNet:alarge-scale hierarchical image database[C]//2009IEEE Computer Society Conference on Computer Visionand Pattern Recognition(CVPR2009),Miami:IEEEComputer Society,2009.[18]㊀标准织物瑕疵图像库[DB/OL].(1996-06-13)[2019-12-11].https://rmatik.uni-freiburg.de/resources/datasets/tilda.en.html.[19]㊀曹振军,景军锋,苏泽斌,等.基于树莓派的深度学习色织物疵点检测研究[J].棉纺织技术,2019,47(1):11-15.[20]㊀LEE J H,KIM Y J,KIM Y W,et al.Spottingmalignancies from gastric endoscopic images using deeplearning[J].Surgical Endoscopy,2019,89(4):806-815.[21]㊀ANABEL Gómez-Ríos,SIHAM Tabik,JULIÁNLuengo,et al.Towards highly accurate coral textureimages classification using deep convolutional neuralnetworks and data augmentation[J].Expert SystemsWith Applications,2019,43(2):118-120. [22]㊀BRITO Cláudia,MACHADO Ana,SOUSA António.Electrocardiogram beat-classification based on a resnetnetwork[J].Studies in Health Technology andInformatics,2019,30(6):264-265.[23]㊀王维.基于稀疏编码和迁移学习的融合在图像表示中的应用研究[D].合肥:安徽大学,2018. [24]㊀DANIEL Yapi,MOHAND.Automatic fabric defectdetection using learning-based local textural distributionsin the contourlet domain[J].IEEE Transactions onAutomation Science and Engineering,2017,42(3):636-642.[25]㊀李策,张栋,杜少毅,等.一种迁移学习和可变形卷积深度学习的蝴蝶检测算法[J].自动化学报,2019,45(9):1772-1782.[26]㊀江苏阳光集团布样影像数据集[DB/OL].(2017-10-13)[2019-06-15].https:///competition/entrance/231666/introduction. [27]㊀罗俊丽,路凯.基于卷积神经网络和迁移学习的色织物疵点检测[J].上海纺织科技,2019,47(6):52-56.[28]㊀BRITO Cláudia,MACHADO Ana,SOUSA António.Electrocardiogram beat-classification based on a resnetnetwork[J].Studies in Health Technology andInformatics,2019,55(6):264-270.。

织物疵点在线检测理论与应用的研究的开题报告摘要：本文主要研究织物疵点在线检测的理论和应用。

首先通过对织物生产过程中可能出现的疵点进行分类和描述，构建了疵点检测的分类体系，并详细介绍了常见的疵点检测方法和技术，包括基于图像处理的疵点检测、基于机器视觉的疵点检测以及基于深度学习的疵点检测。

同时，本文还研究了织物疵点在线检测系统的设计和实现。

在该方面，本文首先分析了织物在线检测系统的整体架构，然后详细介绍了系统所需的硬件和软件配置。

最后，通过实验验证了系统在真实环境中的检测效果，证明了系统的可行性和有效性。

关键词：织物疵点；在线检测；机器视觉；深度学习；系统设计一、研究背景及意义织物作为一种广泛应用于服装、家居用品等领域的材料，其品质关系到消费者的舒适度和外观效果。

随着纺织技术的不断发展，织物的生产效率得到了显著提高，但是由于生产中存在的各种因素，例如设备故障、操作不当等，织物可能会出现多种不同类型的疵点，包括缝隙、沾污、破洞等。

这些疵点会降低织物的外观质量，严重的甚至会导致产品被退货或者召回，造成巨大的经济损失和声誉损害。

为了避免这种情况的发生，传统的方法是对织物进行手工检查，然而这种方法效率低下，成本高昂，而且往往由于人为疏漏导致检测漏报或误报的情况发生。

因此，开发一种高效、准确的织物疵点在线检测系统对于提高织物品质、降低成本和提高生产效率都具有重要的意义。

二、研究内容和方法本文主要研究织物疵点在线检测的理论和应用。

研究内容包括：1. 织物疵点分类体系的建立。

将织物生产过程中可能出现的疵点进行分类和描述，为后续疵点检测方法的选择和应用提供分类依据。

2. 常见疵点检测方法的介绍。

包括基于图像处理的疵点检测、基于机器视觉的疵点检测以及基于深度学习的疵点检测。

通过对这些方法的比较和分析，为设计合适的检测系统提供技术基础。

3. 织物疵点在线检测系统的设计和实现。

本文将设计、实现一个基于机器视觉和深度学习的织物疵点在线检测系统。

基于计算机视觉的织物疵点检测
Ajay Kumarg;梁金祥
【期刊名称】《现代丝绸科学与技术》
【年(卷),期】2009(024)005
【摘要】织物疵点种类繁多,建立织物疵点自动检测系统需要强力高效的检测算法.基于织物表面特征的疵点检测方法可分为三类:统计方法,频谱方法和基于模型的方法,本文通过对现有的疵点检测方法实用性的分析综述表明,三种方法相结合比单一算法更有效.
【总页数】5页(P32-36)
【作者】Ajay Kumarg;梁金祥
【作者单位】
【正文语种】中文
【相关文献】
1.基于计算机视觉的织物疵点检测技术研究进展 [J], 楼少敏;朱彦;俞晓群
2.基于计算机视觉的织物疵点检测的近期进展 [J], 步红刚;黄秀宝
3.基于最大熵阈值算法的织物疵点检测与疵点织物应用 [J], 袁小军;陈晓东;邱莉;熊艳平
4.基于迁移学习和改进ResNet50网络的织物疵点检测算法 [J], 罗维平;徐洋;陈永恒;周博;马双宝;吴雨川
5.基于显著性检测和超像素分割的本色织物疵点检测系统 [J], 汤锋;张团善;黄乾玮;李乐乐
因版权原因，仅展示原文概要，查看原文内容请购买。