㊀第52卷第1期郑州大学学报(理学版)Vol.52No.1㊀2020年3月J.Zhengzhou Univ.(Nat.Sci.Ed.)Mar.2020收稿日期:2019-05-09基金项目:河北省自然科学基金项目(F2018511002);河北大学高层次创新人才科研启动经费项目;河北省高等学校科学技术研究项目(QN2018251,QN2018084,Z2019037);中央司法警官学院项目(XYZ201602);河北省高等学校科学技术研究项目(Z2019037);首都医科大学基础-临床科研合作基金(17JL86)㊂作者简介:朱杰(1982 ),男,河北保定人,副教授,主要从事机器学习㊁机器视觉研究,E-mail:arthurzhujie@;通信作者:吴树芳(1980 ),女,河北邯郸人,副教授,主要从事机器学习㊁信息检索研究,E-mail:shufang_44@㊂基于深度特征加权的图像表示方法朱㊀杰1,㊀赵相坤2,㊀谢博鋆3,4,㊀吴树芳5(1.中央司法警官学院信息管理系㊀河北保定071000;2.首都医科大学生物医学工程学院㊀北京100069;3.河北省机器学习与计算智能重点实验室㊀河北保定071002;4.河北大学数学与信息科学学院㊀河北保定071002;5.河北大学管理学院㊀河北保定071002)摘要:卷积神经网络可以在图像检索中为图像内容提供有效的表示,基于该理论提出一种基于深度特征加权的图像表示方法,此方法通过对深度特征加权,突出图像表示中对象的内容,并降低背景信息的影响㊂首先,通过预训练卷积神经网络提取出图像的特征映射,然后根据不同特征映射的特点,计算出深度特征的位置重要性㊁区域重要性和通道重要性,并根据3种重要性对深度特征进行加权,最后通过池化与深度特征聚合的方式生成图像表示㊂实验结果表明,与其他图像表示方法相比,提出的方法在Holiday㊁Oxford 和Paris 图像库中取得了更好的检索效果㊂关键词:卷积神经网络;图像检索;特征加权;池化中图分类号:TP391㊀㊀㊀㊀㊀文献标志码:A㊀㊀㊀㊀㊀文章编号:1671-6841(2020)01-0047-07DOI :10.13705/j.issn.1671-6841.20191640㊀引言随着计算机网络技术的发展,图像信息在网络中占据的比例日趋增大㊂如何有效组织㊁管理和检索图像资源已经成为当前的一个热点问题[1]㊂为提高图像检索的综合性能,研究者多从图像表示的有效性入手,将特征描述与特征聚合的方法作为突破口进行研究㊂一些图像检索方法采用尺度不变特征变换(scale-invariant feature transform,SIFT)描述子[2]或费希尔矢量(fisher vector,FV)[3]等底层特征描述子描述图像局部特征,然后利用词袋(bag of words,BOW)模型对图像进行编码,实现图像表示,用于检索任务㊂为了在图像表示中融合语义信息,文献[4]以一些特殊的颜色㊁形状和材料等为基本元素,将图像表示为这些基本元素的集合,但是这种方法不能准确地描述所有物体的特征㊂卷积神经网络(convolutional neural networks,CNNs)凭借其接近于语义的图像内容描述能力,逐渐成为图像分类㊁检索等领域的主流算法[5-7]㊂传统的CNNs 模型主要用于图像分类,包含卷积层㊁池化层和两个全连接层,最后一层为输出层,用softmax 的方式输出属于所有类别的概率㊂现实中的图像检索有别于图像分类,无法对神经网络进行训练,所以,多采用从预训练CNNs 的不同层次提取出的卷积特征,即深度特征对图像进行表示,然后通过计算查询图像与其他图像的相似度,生成检索排序结果㊂如何对深度特征合理加权从而突出对象内容,并将加权特征进行聚合生成图像表示是目前的研究重点之一㊂文献[8-9]最早提出通过聚合不同响应的方式进行图像表示,通过合理利用最大池化㊁归一化与白化方法,聚合不同通道特征映射的响应,用于产生低维度的图像表示㊂文献[10]通过将不同通道中局部区域的最大激活值进行聚合,从而生成突出对象内容的图像表示㊂文献[11]提出的SPoC 方法通过给图像中间区域赋予高权值的方法和池化的策略来表示图像内容,从而提高检索准确率㊂文献[12]通过聚合空间响应和计算通道的稀疏性来计算空间权重和通道权重,然后通过池化方式对每个通道上的描述子进行聚合㊂文献[13]通过对不同层次的深度特征进行聚类生成字典,然后采用局部聚合描述子向量(vector locally郑州大学学报(理学版)aggregated descriptors,VLAD)的方式进行编码,能够生成更加合理的特征表示㊂但是,用聚类生成的字典作为特征表示,容易忽略不同特征的内在差异,且聚类结果的不稳定性会直接影响特征表示的准确性㊂此外,聚类产生的字典无法在图像表示中突出对象内容并且弱化背景内容㊂图像检索中普遍采用将最后一层的深度特征的池化结果用于生成图像表示[10,12]㊂文献[14]将特征映射累加求和生成激活映射,并且将激活映射中大于阈值的位置认为是对象区域㊂但是,阈值通常被设定为激活映射中响应的平均值,这种根据经验阈值来判断对象区域的方法也无法准确突出对象内容㊂为此,在文献[12,14]的基础上,本文提出了一种全局化的深度特征加权(deep feature weighting,DFW)图像表示方法,DFW 利用预训练CNNs,通过计算图像卷积层深度特征的位置重要性㊁区域重要性和通道重要性,给深度特征加权,并通过聚合㊁池化的方法生成图像表示㊂图1㊀图像表示流程Figure 1㊀Flowchart of image representation 1㊀基于深度特征加权的图像表示本文提出的DFW 图像表示方法流程如图1所示,对于任意输入图像,首先提取出最后一个池化层的所有特征映射,然后通过计算特征映射的空间权重㊁区域权重和通道权重对深度特征进行加权,并通过特征聚合生成图像表示㊂本文提出的方法主要有以下优点:给深度特征加权能够突出对象内容,从而进行更有针对性的图像表示;特征池化的方法能够保证生成低维度的图像表示㊂在提出的DFW 图像表示方法中,令x ɪR (K ˑW ˑH )为网络中第l 层生成的3维特征张量,K 代表通道的数量,H 和W 分别代表该层特征映射的空间维度,即特征映射的长和宽㊂x 中第k 个通道的特征映射,在p (i ,j )位置的响应值用x kij 来表示,用C (k )表示x 中通道k 的特征映射矩阵,C (k )ij=x kij ,x 的加权特征表示为x ᶄ,计算方法为xᶄkij=αij βij γk x kij ,其中α㊁β㊁γ分别代表位置权重㊁区域权重和通道权重㊂1.1㊀位置权重卷积特征映射的响应聚合对发现对象区域有着重要的作用[14],令S ᶄɪR (WˑH )为同层所有通道中每个位置的空间特征聚合之后产生的激活映射,所用公式为S ᶄ=ðk C (k )㊂文献[11]根据图像库中对象位置普遍存在于图像几何中心的特点,提出了一种中心优先的特征加权方式,这种方式给临近几何中心的特征赋予较高的权值,而给远离几何中心的区域赋予较小的权值㊂但是,通常情况下对象出现在图像中某一个或多个连续区域,并且分布于图像的不同位置,所以物体应该有多个中心㊂特征聚合之后的特征映射中,响应值越高的位置,越有可能是对象所在的位置㊂为此,我们将响应值最高的前m 个位置认为是中心点,假设一个中心点为c (c x ,c y ),图像中任意位置p (i ,j )相对于c 的位置权重为αc x c y ij =exp{-((i -c x )2+(j -c y )2)/(2σ2)},参数σ与特征映射的长和宽有关[11],σ=1/3㊃min(W ,H )㊂通过计算位置p 相对于所有中心点的位置权重,选择出其中的最大值作为p 的位置权重αij ㊂将通过高权值位置感受野的对比,验证中心点比SPoC 的中心优先方法能够更准确地发现对象区域㊂图2㊀不同区域的采样Figure 2㊀Sampling in different areas 1.2㊀区域权重S ᶄ中的任意位置对应着原图像中的某个部分,发现S ᶄ中表示对象内容的粗略区域,对于图像表示中的特征合理加权有着重要意义㊂对象区域可以依靠从S ᶄ中选择的一些大小相同的区域进行表示㊂首先,在S ᶄ中进行l 尺度上的密采样,将S ᶄ划分成不同的区域,采样点之间间隔的像素间隔为l /2,采样得到的区域边长为4l ,1ɤl ɤmin(W ,H )㊂采样过程如图2所示,采样区域的矩形边长为l ,星型为采样中心㊂不同的区域对于描述对象特征有着不同的重要性,同时相同区域内的深度特征对于描述图像特征有着相同的重要性㊂区域内响应的重要性决84朱㊀杰,等:基于深度特征加权的图像表示方法定着区域的重要性,区域R的区域权重计算公式为βR=((1/n㊃ðpɪR Sᶄp)/(ðpᶄɪΩSᶄpᶄ)1/a)1/b,其中:n为区域R中的响应个数;Ω代表特征映射中所有位置的集合;a=0.5;b=2㊂区域重要性分析中将每个区域认为是一个整体,即区域R中每个位置响应的区域重要性都为βR㊂由于每个位置可能会包含在多个区域当中,所以Sᶄ中任意位置p(i,j)的区域重要性βij为包含此位置的所有区域的重要性的平均值㊂1.3㊀通道权重通道重要性即同一个层次中,不同通道的响应在图像表示时的重要性㊂通道中非0元素所占比例越高,对于对象的描述能力越弱[12]㊂对于任意通道k,用Q k代表该通道特征映射中非0元素的比例㊂特征映射中的0元素表示对卷积核无响应,Q k越小则通道k对于某类特征的描述越精确,其计算公式为Q k =ðij M ij/(W k㊃H k),M ij=1if x ijȡλk0if x ij<λk{,其中:x ij为位置(i,j)的响应值;M ij为x ij通过与阈值λk比较之后生成的布尔值㊂2倍的平均响应值在图像显著性分析中经常被用于区分对象与背景,为此,我们将2倍的平均响应值λk=2㊃ðij x ij/(W k㊃H k)作为是否为0元素的判断标准㊂如果响应值小于阈值即为0元素,反之即为非0元素㊂对比单纯的按照响应值是否为0的判断方式,通过阈值判断并用于统计非0元素的方法,更能体现当前位置在本通道反映对象内容的作用㊂最终,通过不同通道非0元素的统计计算通道权重,其计算公式为γk=exp(-ðK i=1Q i/Q k)㊂2㊀实验2.1㊀数据集数据集1是INRIA Holiday图像集[15](Holiday),包含1491幅图像,其中500幅用于查询,并且每一幅图像对应着一个组,剩下的991幅图像用于测试检索结果㊂数据集2是Oxford Buildings图像集[16](Oxford5K),图像集中包含了从Flicker中收集的5062幅牛津地标性建筑的图像㊂这些图像可以分为11类,每个类别中的5幅图像用于查询㊂数据集3是Oxford Buildings100K[17](Oxford100K),在Oxford5K的基础上增加的100K图像组成㊂图像库4是Oxford Paris[17](Paris),包含了6412幅从Flicker上收集的巴黎地标的图像,共包括了埃菲尔铁塔等12个种类的查询㊂2.2㊀实验设计在Oxford5K㊁Oxford100K和Paris图像库中,我们将整幅图像作为卷积神经网络的输入㊂使用无监督图像检索方法[10-12],采用平均精度均值(mean average precision,MAP)来衡量检索的效果㊂该指标是针对查询集合的平均正确率的均值,MAP值越高,系统检索出来的相关文档越靠前㊂为了与文献[10]提出的方法进行比较,本文采用与该文献一样的网络结构与参数,即预训练卷积神经网络VGG16[18]㊂由于深层次的卷积和池化特征能够包含更多的语义信息,所以我们将Pool5层的深度特征作为基础,生成DWF图像表示㊂位置权重中的m越大,特征映射中不同位置的位置权重越相似,m越小则越能够突出不同位置的重要性,因此实验中我们设置m=3㊂区域权重计算过程中,尺度l的取值分别为3㊁4㊁5㊂算法采用余弦相似度衡量查询图像与图像库中其他图像之间的相似性,并按照相似性从高到低的顺序排列查询结果㊂查询扩展(query expansion,QE)能够有效提高检索性能,我们将前5个查询到的图像表示进行平均池化与L2归一化,进行二次查询与排序㊂我们的算法在图像表示的时候不需要改变图像的比例,在实验中保持了图像的原有特性㊂此外,由于Pool5层的特征映射维度为256,生成的图像表示也为256㊂2.3㊀检索性能分析如表1所示,DFW和DFW+QE两种方法与其他图像表示方法的MAP比较㊂Tr.Embedding[19]方法的MAP值最低,原因在于该方法采用人工特征SIFT作为局部描述子,通过局部特征聚合生成图像表示,而其他算法与此不同,均采用深度特征用于图像内容的描述,能够生成更接近语义的图像表示㊂与DFW相同,94郑州大学学报(理学版)Neural Codes [8]采用预训练网络提取图像特征,但由于没有给不同位置的特征加权,所以,检索性能要低于DFW㊂R-MAC [10]通过多尺度采样的方式将图像划分为若干区域,并选择一些区域进行特征聚合生成图像表示,这种方法可以认为是一种特殊的特征加权方法,即被选择的区域权重为1,其他区域权重为0㊂背景信息在图像检索中也有一定意义,DFW 给所有深度特征加权,并没有去掉背景信息,所以,有更强的图像全局表示能力㊂Spatial Pooling [20]将特征映射平均划分为若干细胞单元(cell),在不同细胞单元内通过最大池化的方法提取特征,该方法类似于DFW 中的中心点计算方法,但Spatial Pooling 的方法中,每个中心点必须在不同细胞单元之内,而DFW 则没有此限制,可以更加灵活地发现中心点㊂此外,SPoC [11]采用了中心特征赋予较高权值的方法,这种方法在一定程度上突出了中心区域的特征,但是由于对象可能出现在图像的任意位置,中心加权的方式在处理某些图像的时候会给背景赋予较大权值㊂DFW 采用了多中心的特征加权方式,以最大响应位置为中心,同时通过与中心的距离关系计算位置重要性,能够更加准确地发现对象区域㊂为了体现出本文位置重要性的优势,实验中将本文的位置重要性代替了SPoC 中的高斯加权方式,发现SPoC 的MAP 在数据集Oxford 和Holiday 中提高了3%左右㊂表1㊀DFW 与其他算法的MAP 比较Table 1㊀The comparison of MAP values between DFW and other methods算法维度MAP Paris Oxford 5K Oxford 5K +Oxford 100K Holiday Tr.Embedding [19]512 0.700Neural Codes [8]512 0.4350.329 R-MAC [10]5120.8300.6690.616 Spatial Pooling [20]2560.6700.533 0.742SPoC [11]256 0.6570.6420.784SSDH [21]5120.8390.638 RVD-W [22]512 0.675 0.845Radenovic ᶄ[23]5120.7550.6770.6060.837CroW [12]2560.7650.6840.6370.851CroW +QE5120.8480.7490.706 DFW 5120.8230.7510.7360.876DFW +QE 5120.8670.7760.7480.887㊀㊀CroW [12]在特征加权的时候考虑到了位置重要性和通道重要性,其中位置重要性主要由激活映射来决定,并没有考虑到不同响应之间的位置关系,以及相邻响应之间在对象区域发现中的相关性,DFW 考虑到近邻响应在图像区域位置的表示时应该有相似的作用,并在位置重要性的基础上加入了区域重要性,使得近邻位置响应的加权更加合理㊂此外,CroW 在计算通道权重的时候将响应值是否为0作为稀疏性的判断标准,与此类似,在显著性图的显著区域发现问题中,通常将2倍的平均显著性值作为0元素判断标准,DFW 将2倍的响应平均值作为0元素判断标准,能够更加准确地给对象区域赋予较高权值㊂通过实验比对可以发现,DFW 的MAP 值比CroW 高出了2%㊂当将DFW 的通道权重代替CroW 通道权重时,CroW 的MAP 则提高了1%左右,此结果说明本文的通道权重能够更好地识别对象特征㊂通常情况下,图像表示维度越高,对于图像内容的刻画越准确㊂从表1可以发现,DFW 在维度为256的时候,MAP 值要高于Spatial Pooling 和SPoC㊁CroW 等㊂当采用Conv5-3层提取深度特征的时候,DFW 的维度为512,MAP 有了进一步的提升㊂查询扩展可以为查询提供更加准确的描述,实验中将首次查询结果的前5幅图像特征表示平均池化与归一化后,将结果与原图像进行合并㊂从表1中可以发现CroW 和DFW 算法在添加了查询扩展之后,MAP 都有了显著提升㊂表1中有监督的图像检索方法如SSDH [21]㊁RVD-W [22]和Radenovic ᶄ[23]将图像集中的一部分作为训练集,通过设计损失结合反向传播算法,对网络参数进行更新,从而达到更好的检索性能㊂但是通过实验结果比对可以发现,我们的算法在维度相同的情况下,检索性能仍然优于这些算法㊂2.4㊀对象可视化分析图3为DFW +QE 的图像检索结果,图中最左边一列的图像为查询图像,其中红色框标识出的区域为标05朱㊀杰,等:基于深度特征加权的图像表示方法准查询中提供的对象所在位置,其余为检索结果为前5的图像㊂从查询结果可以发现,该方法对于光照和对象的角度有着比较好的鲁棒性㊂此外还可以发现,检索结果中图像的背景特征不一致,该方法对不同背景信息有着较好的鲁棒性㊂其原因主要在于DFW 将图像表示中对象的特征赋予了较高的权值,而背景特征赋予了较低的权值,所以在和池化的特征聚合过程中,对象的特征占据了主导因素,使得图像表示更加有针对性㊂图3㊀DFW +QE 的检索结果Figure 3㊀Retrieval results of DFW +QE图4㊀SPoC 与DFW 位置重要性对比Figure 4㊀Comparison of position importance between SPoC and DFWSPoC 依据图像库中的普遍规律给图像中心区域赋予较高权值,而边缘区域赋予较低权值㊂而DFW 则通过发现聚合特征映射中的高响应区域判断对象位置㊂图4展示了SPoC 与DFW 位置重要性在发现对象区域上的区别,图中4(a)为原始图像,4(b )第一行与第二行分别为SPoC 与DFW 位置重要性高权值部分对应的感受野㊂两种算法在特征映射权重最高的前20个位置中随机选择了5个位置,并显示出这些位置对应的感受野㊂通过对比可以发现,由于原始图像中对象的位置均没有处于图像的中心位置,SPoC 将高权值赋予了背景上的特征,而DFW 的位置重要性则赋予了对象区域㊂区域权重计算的本质是根据对象出现的连续性特点,判断不同区域对于表示对象内容的重要性㊂如果l 过大,会导致特征映射中采样区域对应原始图像中的范围过大,不利于对象区域的发现,如果l 过小,赋权值的过程中不能体现出区域的整体性㊂实验中,我们对l 的取值进行了3组测试,即{1,2,3}㊁{3,4,5}与{5,6,7},并发现当取值为{3,4,5}的时候取得了最好的检索效果㊂1525郑州大学学报(理学版)3 结束语本文提出的DFW图像表示方法,同时考虑到深度特征的位置重要性㊁区域重要性和通道重要性,使得生成的图像表示能够准确地体现对象的特征㊂DFW利用预训练卷积神经网络提取图像特征,利用特征映射的特点,加权并生成了低维度的图像表示㊂在图像检索的任务中,DFW的MAP比其他的算法高出2%左右㊂在未来的研究中,我们将研究如何构造基于深度加权特征的图像哈希算法,用于提高检索速度,并将其应用于司法领域㊂参考文献:[1]㊀王杰,刘向晴.彩色图像分割的FCM预分类核极限学习机方法[J].郑州大学学报(理学版),2018,50(2):75-80.WANG J,LIU X Q.FCM pre-classification kernel extreme learning machine algorithm of color image segmentation[J].Journal of Zhengzhou university(natural science edition),2018,50(2):75-80.[2]㊀LOWE D G.Distinctive image features from scale-invariant keypoints[J].International journal of computer vision,2004,60(2):91-110.[3]㊀KARAKASIS E G,AMANATIADIS A,GASTERATOS A,et al.Image moment invariants as local features for content based im-age retrieval using the bag-of-visual-words model[J].Pattern recognition letters,2015,55:22-27.[4]㊀SU Y,JURIE F.Improving image classification using semantic attributes[J].International journal of computer vision,2012,100(1):59-77.[5]㊀KRIZHEVSKY A,SUTSKEVER I,HINTON G E.ImageNet classification with deep convolutional neural networks[J].Com-munications of the ACM,2017,60(6):84-90.[6]㊀ZHANG M M,LI W,DU Q.Diverse region-based CNN for hyperspectral image classification[J].IEEE transactions on imageprocessing,2018,27(6):2623-2634.[7]㊀ZHENG L,YANG Y,TIAN Q.SIFT meets CNN:a decade survey of instance retrieval[J].IEEE transactions on pattern analy-sis and machine intelligence,2018,40(5):1224-1244.[8]㊀BABENKO A,SLESAREV A,CHIGORIN A,et al.Neural codes for image retrieval[M].Switzerlaned:Springer InternationalPublishing,2014:584-599.[9]㊀RAZAVIAN A S,AZIZPOUR H,SULLIVAN J,et N features off-the-shelf:an astounding baseline for recognition[C]ʊIEEE Conference on Computer Vision and Pattern Recognition Workshops.Columbus,2014:806-813.[10]TOLIAS G,SICRE R,JÉGOU H.Particular object retrieval with integral max-pooling of CNN activations[EB/OL].[2015-11-18].https:ʊ/abs/1511.05879.[11]YANDEX A B,LEMPITSKY V.Aggregating local deep features for image retrieval[C]ʊIEEE International Conference onComputer Vision.Santiago,2015:1269-1277.[12]KALANTIDIS Y,MELLINA C,OSINDERO S.Cross-dimensional weighting for aggregated deep convolutional features[M].Switzerlaned:Springer International Publishing,2016:685-701.[13]NG J Y H,YANG F,DAVIS L S.Exploiting local features from deep networks for image retrieval[C]ʊIEEE Conference onComputer Vision and Pattern Recognition Workshops.Boston,2015:53-61.[14]WEI X S,LUO J H,WU J X,et al.Selective convolutional descriptor aggregation for fine-grained image retrieval[J].IEEEtransactions on image processing,2017,26(6):2868-2881.[15]JEGOU H,DOUZE M,SCHMID C.Hamming embedding and weak geometric consistency for large scale image search[M].Berlin:Springer,2008:304-317.[16]PHILBIN J,CHUM O,ISARD M,et al.Object retrieval with large vocabularies and fast spatial matching[C]ʊInternationalConference on Computer Vision and Pattern Recognition.Minneapolis,2007.[17]PHILBIN J,CHUM O,ISARD M,et al.Lost in quantization:improving particular object retrieval in large scale image databas-es[C]ʊIEEE Conference on Computer Vision and Pattern Recognition:Anchorage,2008.[18]SIMONYAN K,ZISSERMAN A.SIMONYAN K,et al.Very deep convolutional networks for large-scale image recognition[EB/OL].[2014-09-04].https:ʊ/abs/1409.1556.[19]JEGOU H,ZISSERMAN A.Triangulation embedding and democratic aggregation for image search[C]ʊIEEE Conference on35朱㊀杰,等:基于深度特征加权的图像表示方法Computer Vision and Pattern Recognition.Columbus,2014:3310-3317.[20]RAZAVIAN A S,SULLIVAN J,CARLSSON S,et al.Visual instance retrieval with deep convolutional networks[J].ITE trans-actions on media technology and applications,2016,4(3):251-258.[21]YANG H F,LIN K,CHEN C S.Supervised learning of semantics-preserving hash via deep convolutional neural networks[J].IEEE transactions on pattern analysis and machine intelligence,2018,40(2):437-451.[22]HUSAIN S S,BOBER M.Improving large-scale image retrieval through robust aggregation of local descriptors[J].IEEE trans-actions on pattern analysis and machine intelligence,2017,39(9):1783-1796.[23]RADENOVICᶄF,TOLIAS G,CHUM O.Fine-tuning CNN image retrieval with No human annotation[J].IEEE transactions onpattern analysis and machine intelligence,2019,41(7):1655-1668.Deep Feature Weighting Based Image RepresentationZHU Jie1,ZHAO Xiangkun2,XIE Bojun3,4,WU Shufang5(1.Department of Information Management,the National Police University for Criminal Justice,Baoding 071000,China;2.School of Biomedical Engineering,Capital Medical University,Beijing100069China;3.Hebei Key Laboratory of Machine Learning and Computational Intelligence,Baoding071002,China;4.College of Mathematics and Information Science,Hebei University,Baoding071002,China;5.College of Management,Hebei University,Baoding071002,China) Abstract:Convolutional Neural Networks could provide effective representations for image contents in im-age retrieval.A deep feature weighting based image representation method was proposed,which could highlight the content of objects and reduce the impact of background information by weighting the deep features.Firstly,the feature maps were extracted by a pre-trained Convolutional Neural Network.Then, according to the characteristics of these features maps,the position weight,region weight and channel weight were computed and used to weight the deep features.Finally,the image representation was gener-ated by pooling and aggregation of the weighted deep features.Experiments demonstrated that compared with some state-of-the-art image representation methods,the proposed method could achieve better re-trieval results in the Holiday,Oxford and Paris image databases.Key words:convolutional neural networks;image retrieval;feature weighting;pooling(责任编辑:方惠敏)。
