下载文档原格式
3本文为国家自然科学基金资助项目“基于语义网的多媒体知识元发现与挖掘”研究成果之一,项目编号:70503022。
●王 南,赵捧未,刘怀亮,马志辉,张治国(西安电子科技大学 经济管理学院,陕西 西安 710071)基于语义矩阵的图像检索相关反馈技术3 摘 要:针对基于语义网络的图像检索中的过反馈问题,本文提出了将语义网络转换为语义矩阵,采用基于多用户相关反馈的投票机制,可有效地克服过反馈。
在此基础上提出了一种新颖的新图添加策略和处理语义向量查询的有效方法,最后指出了还需进一步研究的问题。
关键词:图像检索;语义网;语义矩阵;相关反馈Abstract:T o s olve the p r oble m of overfull feedback during i m age retrieval based on se mantic net w ork,this pa 2per p r oposes t o convert se mantic net w ork int o se mantic matrix,and utilizes a v oting mechanis m based on multi -user relevance feedback t o effectively overco me overfull feedback .Based on the se mantic matrix and v oting mechanis m,a novel strategy of adding ne w i m ages int o the retrieval syste m is br ought f or ward,and an effective method of dealing with queries in the f or m of se mantic vect or is p r oposed .Finally,the paper puts for ward the issues for further study .Keywords:i m age retrieval;se mantic net w ork;se mantic matrix;relevance feedback 传统的基于内容的图像检索,以图像的底层视觉和形象特征为索引对图像进行检索,具有直观形象、性能稳定的特点,但这些特征都有一定的局限性,即不能捕捉图像语义[1]。
一种基于内容图像检索的新的相关反馈方法
李丹妮;李百策
【期刊名称】《长春理工大学学报（自然科学版）》
【年(卷),期】2009(032)004
【摘要】基于内容的图像检索技术是信息多媒技术发展中迫切需要研究和发展的前沿课题.由于图像底层特征和高层语义之间存在着巨大的语义鸿沟,使得基于内容的图像检索很难取得令人满意的效果.作为一种有效的解决方法,相关反馈已应用在很多图像检索系统中,提高了检索精确性.在此基础上提出了一种新的相关反馈方法,把检索向量转移和权值调整同时应用于基于内容的图像检索系统中.实验结果证明该方法提高了检索的收敛速度和检索的精确性.
【总页数】3页(P639-641)
【作者】李丹妮;李百策
【作者单位】长春理工大学,长春,130022;吉林大学,计算机科学与技术学院,长春,130012
【正文语种】中文
【中图分类】TP391
【相关文献】
1.基于内容图像检索中的相关反馈技术 [J], 潘惠勇;杨要科;史朝阳
2.基于内容图像检索中的相关反馈技术 [J], 潘惠勇;杨要科;史朝阳
3.基于内容图像检索的相关反馈技术 [J], 刘砚
4.基于内容图像检索中相关反馈技术的回顾 [J], 吴洪;卢汉清;马颂德
5.基于内容图像检索中的相关反馈技术研究 [J], 刘琳;李仁发;李仲生;刘钰峰因版权原因，仅展示原文概要，查看原文内容请购买。
基于语义识别的图像检索技术研究随着互联网产业的快速发展，图像检索技术得到了越来越广泛的重视和运用。
在人们日常生活和工作中，各种类型的图片随处可见，如何快速准确地检索到所需图片，已经成为了一个重要的问题。
传统的基于文本标记或感知特征的图像检索技术，已经逐步无法满足人们对于高质量和高效图像检索的需求。
因此，基于语义识别的图像检索技术逐渐得到了广泛的关注和研究。
基于语义识别的图像检索技术是指对图片中的一些基本元素进行理解和处理，从而使得计算机对图片内容获得一种更为准确和全面的理解，进而实现图像检索。
在这种技术中，计算机首先需要理解图像中的各种对象、场景、色彩等基本元素所代表的语义信息，然后将这些信息与数据库中的图片进行比对，最后返回与所查询内容相近或相符的图片。
目前，基于语义识别的图像检索技术的研究主要集中在以下几个方向：一、图像特征提取语义识别是建立在对图像特征提取的基础上，在图像检索中起到了非常关键的作用。
目前常用的特征提取方法有SIFT、SURF、Harris、HOG等。
这些方法一般都是将图像转换为可量化的向量空间，然后进行计算和比对，从而达到图像匹配的目的。
但是，由于图像特征的多样性和复杂性，这些方法往往难以全面或准确地提取图像中的语义信息。
二、模型训练和分类针对图像特征提取不够准确或全面的问题，一些学者开始研究如何构建更加精确的模型，来提高语义识别的准确性和可靠性。
例如，一些学者利用深度学习技术，构建了卷积神经网络模型（CNN），用于进行图像特征的提取和分类。
相较于传统特征提取方法，基于CNN的特征提取更加全面和准确，并且能够动态调整模型来适应不同的图像内容。
三、语义预测和匹配在获取了图像的语义特征后，计算机需要进行精准的语义匹配，确定与检索内容最为相符的图片。
在这一过程中，计算机需要处理语义信息之间的关系和上下文，例如对象的形状、颜色、位置等元素，以及场景的情境、背景等因素。
因此，一些学者开始研究如何利用自然语言处理（NLP）技术，处理和理解这些语义信息，从而实现更加准确的图像检索。
基于FSRM的相关反馈图像检索算法
郭士会;杨明;王晓芳;赵东方;邓世涛
【期刊名称】《计算机科学》
【年(卷),期】2012(039)B06
【摘要】在基于内容的图像检索中,低层视觉特征和高层语义之间的＂语义鸿沟＂一直是基于内容图像检索技术前进的一大障碍。
相关反馈机制在一定程度上缩小了图像检索中的＂语义鸿沟＂。
提出了一种基于模糊语义相关矩阵（FS-RM）的相关反馈算法。
该算法根据用户对检索结果的反馈调整模糊语义相关矩阵中的权值,从而捕捉用户的检索企图,通过对模糊语义相关矩阵中数据的学习不断修正语义矩阵,达到低层视觉特征到高层语义特征的过渡,最终提高了查询的准确度。
实验结果证明了该算法的有效性。
【总页数】3页(P540-542)
【作者】郭士会;杨明;王晓芳;赵东方;邓世涛
【作者单位】西南大学计算机与信息科学学院,重庆400715
【正文语种】中文
【中图分类】TP391
【相关文献】
1.基于教与学优化算法的相关反馈图像检索 [J], 毕晓君;潘铁文
2.基于分层聚类相关反馈算法的图像检索技术研究 [J], 张戎秋
3.一种基于多特征组合和SVM相关反馈的皮肤病图像检索算法 [J], 李珍;亢洁;刘
兆邦;陆千琦;谢璟
4.一种基于SVM相关反馈的图像检索算法 [J], 谢备
5.基于SVM相关反馈的鞋印图像检索算法 [J], 焦扬;杨传颖;石宝
因版权原因，仅展示原文概要，查看原文内容请购买。
基于内容的医学图像检索中相关反馈技术的研究与实现医学图像检索是医学图像处理领域中的一个重要研究方向，其主要目的是从医学图像数据库中自动检索出与给定查询相关的图像。
基于内容的医学图像检索是一种常用的方法，其利用图像特征进行检索，能够有效地提高检索精度和效率。
然而，基于内容的医学图像检索面临着一些挑战，如图像复杂性、多样性和语义差异等问题。
为了克服这些挑战，相关反馈技术被广泛应用于医学图像检索中。
1.相关技术综述1.1基于内容的医学图像检索技术基于内容的医学图像检索是利用图像特征进行检索的一种方法，其主要包括图像特征提取和相似度计算两个过程。
常用的图像特征包括颜色、纹理、形状和空间关系等，相似度计算通常采用欧氏距离、余弦相似度等方法。
1.2相关反馈技术在医学图像检索中的应用相关反馈技术是一种利用用户反馈信息来调整检索结果的技术。
在医学图像检索中，相关反馈技术通常包括正反馈和负反馈两种方式。
正反馈是指用户选择与查询相关的图像作为反馈信息，负反馈是指用户选择与查询不相关的图像作为反馈信息。
常用的相关反馈算法包括Rocchio算法、KNN算法和SVM算法等。
1.3相关反馈技术的分类和比较根据反馈信息的不同，相关反馈技术可以分为主动反馈和被动反馈两种方式。
主动反馈是指系统主动向用户提供反馈信息，被动反馈是指用户通过操作来提供反馈信息。
根据反馈信息的类型，相关反馈技术可以分为显式反馈和隐式反馈两种方式。
显式反馈是指用户明确地提供反馈信息，隐式反馈是指系统通过用户的操作行为来推断反馈信息。
根据反馈信息的数量，相关反馈技术可以分为单次反馈和多次反馈两种方式。
单次反馈是指用户只提供一次反馈信息，多次反馈是指用户可以提供多次反馈信息。
在具体实现中，选择不同的相关反馈技术需要综合考虑其精度、效率、可靠性和易用性等因素。
综上所述，相关反馈技术在基于内容的医学图像检索中具有重要作用，可以提高检索精度和效率。
选择合适的相关反馈技术对于实现高效准确的医学图像检索具有重要意义。
基于语义矩阵的图像检索相关反馈技术
王南;赵捧未;刘怀亮;马志辉;张治国
【期刊名称】《情报理论与实践》
【年(卷),期】2008(031)001
【摘要】针对基于语义网络的图像检索中的过反馈问题,本文提出了将语义网络转换为语义矩阵,采用基于多用户相关反馈的投票机制,可有效地克服过反馈.在此基础上提出了一种新颖的新图添加策略和处理语义向量查询的有效方法,最后指出了还需进一步研究的问题.
【总页数】5页(P129-133)
【作者】王南;赵捧未;刘怀亮;马志辉;张治国
【作者单位】西安电子科技大学,经济管理学院,陕西,西安,7113071;西安电子科技大学,经济管理学院,陕西,西安,7113071;西安电子科技大学,经济管理学院,陕西,西安,7113071;西安电子科技大学,经济管理学院,陕西,西安,7113071;西安电子科技大学,经济管理学院,陕西,西安,7113071
【正文语种】中文
【中图分类】TP3
【相关文献】
1.基于语义的图像检索相关反馈技术 [J], 张毅;赵捧未;刘怀亮;张治国;马志辉
2.基于内容图像检索中的相关反馈技术 [J], 潘惠勇;杨要科;史朝阳
3.基于内容图像检索中的相关反馈技术 [J], 潘惠勇;杨要科;史朝阳
4.基于移动中心点图像检索的相关反馈技术 [J], 邸东泉;萧宝瑾
5.基于特征融合和相关反馈技术的图像检索研究 [J], 宋卫华
因版权原因，仅展示原文概要，查看原文内容请购买。
基于语义相似度的图像检索技术研究一、前言在快速发展的数字时代，图像检索技术越来越受到人们的关注。
其中，基于语义相似度的图像检索技术是一种重要的方法，它可以实现对图像内容的高效检索。
本文将对基于语义相似度的图像检索技术进行深入研究。
二、基本原理基于语义相似度的图像检索技术的核心就是对图像进行语义分析。
这个过程可以分为两个步骤：1. 特征提取首先，需要对图像进行特征提取，提取出与图像内容有关的特征。
常用的特征包括颜色、纹理、形状等。
2. 语义分析接着，通过语义分析的方法，将提取出来的特征转化为概念。
这个过程需要借助于自然语言处理技术，将图像与语言建立起联系。
三、技术应用基于语义相似度的图像检索技术在现实生活中有着广泛的应用。
下面举几个例子：1. 旅游攻略在旅游攻略APP中，基于语义相似度的图像检索技术可以实现对用户上传的图片进行分析，判断图片中的景色、建筑物等相关信息，将用户拍摄的照片自动标注并打上标签，通过自然语言处理技术，智能推荐相应的旅游攻略。
2. 医疗诊断医疗领域中，基于语义相似度的图像检索技术可以实现对病患的图像进行分析，判断患者疾病的类型、程度和病变部位等，为医生提供参考意见，帮助医生进行诊断和治疗。
3. 商业应用商业应用中，基于语义相似度的图像检索技术可以实现对商品图片进行分析，判断商品的种类、色彩、材质等，辅助消费者了解商品信息，为其提供准确的购物建议。
四、技术挑战然而，基于语义相似度的图像检索技术在实际应用中还面临一些挑战。
比如：1. 图像语义理解的精度不够高目前，图像语义理解技术还存在着一定精度上的问题。
部分复杂的情境下，目前的图像特征提取和语义分析方法难以充分解读图像的细节和含义。
2. 图像语义分类的多样性和复杂性增加现实生活中的图像包含着各种各样的内容，这些内容涉及到了人文、自然、社会等多个方面。
因此，如何解决图像语义分类的多样性和复杂性是一个值得探讨的问题。
3. 数据稀缺和不平衡问题在图像语义分析过程中，需要大量的数据作为训练样本。
基于语义的图像检索技术研究的开题报告
一、选题背景
随着互联网上图像数据的不断增加，传统的图像检索技术已经难以满足人们日益增长的需求。
传统的图像检索技术主要基于图像的颜色、亮度等低层次特征进行匹配，这种方法的局限性比较明显，无法很好地满足用户的需求。
由此，基于语义的图像检索成为了研究的热点。
基于语义的图像检索可以通过对图像进行理解和描述，实现更加智能化、人性化的检索。
二、研究目的和意义
本研究旨在通过对基于语义的图像检索技术的研究，探索如何实现更加准确、高效、智能的图像检索。
在实际应用中，基于语义的图像检索可以广泛应用于图像数据库的管理、网络媒体的图像检索、个性化图像检索等方面。
因此，本研究将为实际应用提供一种更加智能、高效的图像检索技术，具有重要的应用意义。
三、研究内容和方法
本研究将采用文献综述和实验研究相结合的方法，主要研究内容包括：
1. 基于语义的图像检索技术的研究现状进行分析和总结；
2. 基于图像理解和描述的语义表达方法的研究与应用；
3. 基于机器学习和深度学习的图像识别技术在语义表达中的应用；
4. 对图像语义表达的相关指标进行探究，并构建一套基于语义的图像检索系统来验证其可行性。
四、预期成果
本研究将通过对基于语义的图像检索技术的研究，总结和分析相关
领域内的研究成果，提出一套基于语义的图像检索技术，以及一套基于
语义的图像检索系统。
通过实验验证，对该技术和系统的性能进行评估，并提出改进意见，以期为相关领域的研究，以及实际应用提供参考和借鉴。
基于潜在语义分析和相关反馈的图像检索方法
杨树极
【期刊名称】《电子测试》
【年(卷),期】2011(000)004
【摘要】为了解决传统的CBIR系统中存在的"语义鸿沟"问题,提出一种基于潜在语义索引技术(LSI)和相关反馈技术的图像检索方法.在进行图像检索时,先在HSV 空间下提取颜色直方图作为底层视觉特征进行图像检索,然后引入潜在语义索引技术试图将底层特征赋予更高层次的语义含义;并且结合相关反馈技术,通过与用户交互进一步提高检索精度.实验结果表明,该方法取得了较为理想的检索效果,在一定程度上缓解了"语义鸿沟"问题.
【总页数】4页(P48-51)
【作者】杨树极
【作者单位】中北大学电子与计算机科学技术学院,山西太原030051
【正文语种】中文
【中图分类】TP391.3
【相关文献】
1.基于综合特征和相关反馈的图像检索方法研究 [J], 江淑红;陈炳发
2.基于k-means算法和相关反馈信息的图像检索方法 [J], 李运娣;文政颖;于海鹏
3.基于相关反馈和流形结构重构的图像检索方法 [J], 刘利;陶丹;陈慧芬
4.一种基于多分类SVM的相关反馈图像检索方法 [J], 钱秋银;张正兰
5.基于颜色特征和相关反馈的图像检索方法 [J], 王建峰;刘晓红;刘雪香
因版权原因，仅展示原文概要，查看原文内容请购买。
基于语义分类的图像检索技术研究随着互联网技术的不断发展，越来越多的数据被上传至网络上，其中包括海量的图片资源。
如何快速、准确地检索到需要的图片成为了一个重要的问题。
传统的图像检索方法多基于关键字搜索，但是这种方法存在着无法准确表达用户需求的问题。
因此，基于语义分类的图像检索技术被提出来，并逐渐得到了广泛的应用。
一、什么是基于语义分类的图像检索技术基于语义分类的图像检索技术是指将图片分为多个语义类别，并在用户输入查询时，通过与语义类别匹配，找到最符合用户需求的图片。
这种技术需要在图片库中建立起完善的语义分类体系，并给每个图片打上相应的语义标签。
当用户输入查询时，系统会按照用户输入的语义进行匹配，并返回相关的图片。
二、基于语义分类的图像检索技术的研究现状随着深度学习技术的飞速发展，基于语义分类的图像检索技术也出现了许多新的进展。
目前研究比较深入的方法主要有以下几种:1.基于卷积神经网络的语义分类卷积神经网络（Convolutional Neural Network，CNN）是一种深度学习模型，其卓越的性能使其在图像分类、目标检测等领域得到广泛应用。
在基于语义分类的图像检索技术中，可以通过训练卷积神经网络来识别不同的语义特征，并将图片分为对应的语义类别。
2.基于生成对抗网络的语义分类生成对抗网络（Generative Adversarial Networks，GAN）是另一种比较常见的深度学习模型，其主要目的是通过训练两个模型（生成模型和判别模型）来实现样本生成或分类。
在基于语义分类的图像检索技术中，可以通过训练生成模型来生成对应的语义图片，并利用判别模型将其分为相应的类别。
三、基于语义分类的图像检索技术的应用基于语义分类的图像检索技术的应用非常广泛。
其中最为常见的应用包括:1.商品搜索在电商平台上，用户可以通过输入商品的语义特征来搜索相应的商品。
比如，用户可以输入“红色连衣裙”来搜索相关商品。
2.自然语言翻译在自然语言翻译中，可以通过将输入的句子转换成对应的语义特征，并在图片库中搜索相应的图片。
基于图像语义理解的智能图像搜索与推荐技术研究智能图像搜索与推荐技术的研究是目前人工智能领域一个热点的研究方向。
随着图像数据的不断增长和应用场景的扩大，准确、高效的图像搜索与推荐系统对于用户而言变得越来越重要。
本文将对基于图像语义理解的智能图像搜索与推荐技术进行研究。
一、引言随着互联网的发展和移动设备的普及，用户首先接触到的是大量的视觉信息，图像已经成为个人和企业最常用的表达方式之一。
因此，如何准确、高效地搜索和推荐图像对于用户体验和个性化服务而言至关重要。
现有的图像搜索引擎主要基于图像的视觉特征，如颜色、纹理和形状等，但这些方法对于图像语义理解的能力有限。
因此，基于图像语义理解的智能图像搜索与推荐技术成为了当前研究的热点之一。
二、图像语义理解的基础技术图像语义理解是指通过计算机对图像进行分析和理解，从而获取图像的语义信息。
图像语义理解的基础技术包括目标识别、场景理解和图像标注等。
目标识别是指通过计算机识别图像中的目标物体，常见的方法包括深度学习的卷积神经网络（CNN）和循环神经网络（RNN）。
场景理解是指通过计算机理解图像的整体场景，包括室内、室外、人物、动物等。
图像标注是将图像与语言进行联系，为图像添加描述性的标签，以便更好地理解图像的含义。
这些基础技术为后续的智能图像搜索与推荐提供了重要的支持。
三、智能图像搜索技术智能图像搜索技术是指通过输入图像，返回与图像语义相关的搜索结果。
传统的基于视觉特征的图像搜索方法存在识别准确度低、计算复杂度高等问题。
基于图像语义理解的智能图像搜索技术能够更好地解决这些问题。
具体而言，可以采用深度学习技术，通过训练深度卷积神经网络模型，将图像与相关的标签进行关联，从而实现高准确度的图像搜索。
此外，还可以采用基于内容的图像检索方法，将图像分解为颜色、形状、纹理等特征，利用这些特征对图像进行索引和搜索。
智能图像搜索技术的发展不仅可以提高用户的搜索效率，还能够帮助企业更好地推广产品和服务。
基于语义分析的图像检索算法研究近年来，随着互联网技术的不断发展和普及，人们对于图片资源的需求越来越大。
而面对日益增长的图片数据量，如何快速、准确地检索所需的图片资源，成为了一个不容忽视的问题。
为此，基于语义分析的图像检索算法应运而生，其凭借着先进的图像处理技术和深度学习算法，成功地解决了传统图像检索算法所存在的问题，成为了图像检索领域的新宠。
一、传统图像检索算法的缺陷传统图像检索算法主要以相似度作为检索依据，通过计算图像之间的相似性，给出最相似的图像结果。
但是，在面对复杂的图片资源时，传统图像检索算法的效果会大大降低。
这是因为，传统图像检索算法只能从像素等表面性质出发进行图像匹配，而无法准确把握图片的语义信息，从而不能很好地理解问题。
二、基于语义分析的图像检索算法的原理基于语义分析的图像检索算法最重要的特点就是能够深入到图像的语义信息中去，实现更好的图像理解和匹配。
具体来说，基于语义分析的图像检索算法主要包括以下几个方面的内容：1. 物体检测与识别物体检测与识别是基于语义分析的图像检索算法的基础，其主要通过深度学习神经网络的方法，在图像中识别物体，并将物体的特征信息提取出来，以便后续的图像检索。
2. 特征提取在物体识别的基础上，基于语义分析的图像检索算法还会继续进行特征提取，将图像中的语义信息进一步细化，并将其转变成易于处理的向量形式，以便进行相关运算。
3. 相似度计算相似度计算是整个基于语义分析的图像检索算法的核心环节，其主要通过将不同图像的向量进行比较，得出两张图像之间的相似度，进而确定检索结果。
4. 语义推断基于语义分析的图像检索算法还可以通过对图像表述语义信息进行推理，进一步深化对图像意义的理解。
三、基于语义分析的图像检索算法的优势相对于传统图像检索算法而言，基于语义分析的图像检索算法具有以下几个优势：1. 更为准确和精准由于基于语义分析的图像检索算法能够深入到图像的语义信息中去，并在此基础上实现图像检索，因此其准确性和精度都有很大的提升。
基于语义分析的图像检索与推荐系统设计与开发图像检索与推荐系统是一种通过使用语义分析技术，帮助用户根据输入的图像内容进行快速检索和推荐相关图像的软件应用。
该系统能够根据图像的语义内容，理解用户的需求，并提供相应的搜索结果或推荐内容。
在设计与开发图像检索与推荐系统时，以下几个关键步骤需要被执行：数据处理与特征提取、语义分析与索引、查询处理与相似度计算、结果展示与推荐。
首先，数据处理与特征提取是图像检索与推荐系统设计过程中的重要一步。
系统需要接收用户输入的图像，并将其转换成计算机可处理的数据格式。
同时，系统还需要提取图像的特征，例如颜色特征、纹理特征和形状特征等，以便后续的语义分析和相似度计算。
接下来，语义分析与索引是图像检索与推荐系统的核心步骤之一。
这一步骤的目标是理解图像的语义含义，并将其转换为计算机可理解的语义表示。
常用的方法包括深度学习技术和自然语言处理技术等。
通过构建图像的语义表示，系统能够将图像与相似语义含义的图像进行匹配。
查询处理与相似度计算是用于实现图像检索功能的重要环节。
系统接收用户输入的查询图像，并通过语义分析得到查询图像的语义表示。
然后，系统计算查询图像与图像数据库中其他图像之间的相似度，以确定最相似的图像。
相似度计算可以基于图像的特征向量进行，常用的计算方法包括余弦相似度和欧氏距离等。
最后，结果展示与推荐是图像检索与推荐系统的最终输出，也是用户与系统进行交互的环节。
系统将根据相似度计算结果，展示与查询图像最相似的若干图像供用户选择。
此外，系统还可以根据用户的偏好和历史数据，推荐与用户兴趣相符的其他图像，以提升用户体验。
总体而言，基于语义分析的图像检索与推荐系统能够有效帮助用户在海量图像数据中快速找到并获得感兴趣的图像。
通过数据处理与特征提取、语义分析与索引、查询处理与相似度计算、结果展示与推荐等关键步骤的设计与开发，该系统能够根据用户输入的图像内容进行高效且准确的图像检索与推荐。
3本文为国家自然科学基金资助项目“基于语义网的多媒体知识元发现与挖掘”研究成果之一,项目编号:70503022。
●王 南,赵捧未,刘怀亮,马志辉,张治国(西安电子科技大学 经济管理学院,陕西 西安 710071)基于语义矩阵的图像检索相关反馈技术3 摘 要:针对基于语义网络的图像检索中的过反馈问题,本文提出了将语义网络转换为语义矩阵,采用基于多用户相关反馈的投票机制,可有效地克服过反馈。
在此基础上提出了一种新颖的新图添加策略和处理语义向量查询的有效方法,最后指出了还需进一步研究的问题。
关键词:图像检索;语义网;语义矩阵;相关反馈Abstract:T o s olve the p r oble m of overfull feedback during i m age retrieval based on se mantic net w ork,this pa 2per p r oposes t o convert se mantic net w ork int o se mantic matrix,and utilizes a v oting mechanis m based on multi -user relevance feedback t o effectively overco me overfull feedback .Based on the se mantic matrix and v oting mechanis m,a novel strategy of adding ne w i m ages int o the retrieval syste m is br ought f or ward,and an effective method of dealing with queries in the f or m of se mantic vect or is p r oposed .Finally,the paper puts for ward the issues for further study .Keywords:i m age retrieval;se mantic net w ork;se mantic matrix;relevance feedback 传统的基于内容的图像检索,以图像的底层视觉和形象特征为索引对图像进行检索,具有直观形象、性能稳定的特点,但这些特征都有一定的局限性,即不能捕捉图像语义[1]。
为了实现更为贴近用户理解能力的自然而简洁的查询方式,研究基于语义的图像检索是十分必要的[2]。
相关反馈是基于语义的图像检索的重要方法,相关反馈技术的基本思想是[324]:在检索过程中允许用户对检索结果进行评价和标记,指出结果中哪些是与查询图像相关的,然后将用户标记的相关信息作为训练样本反馈给系统进行学习,以指导下一轮检索,从而使得检索结果更加符合用户的需要。
采用相关反馈有利于缩小用户理解与系统对图像语义的内部表示之间的差距,通过机器学习,机器自动调整其内部的有关参数,使检索结果不断收敛于用户的需求。
结合基于关键词的语义网络的相关反馈算法具有计算简单、检索性能好的优点,是图像语义检索的一种重要方法。
虽然系统不是全自动地提取图像语义,但是繁重的图像注释工作通过相关反馈的过程分散到各个用户的身上。
单独用户只需少量工作,就能增强一点系统的性能,随着系统不断被使用,检索性能也将迅速提高[5]。
然而,对于构建语义网络进行图像检索和相关反馈的算法,有这样一个问题被忽视了:假设在用户群体不大的情况下,某个用户对一幅图像的理解与其他用户有差别。
该用户在不同时刻提交同样一个检索提问,那幅图像作为返回结果出现多次,且被作出同样的正(负)反馈,关键词对应于图像的权重由于该用户的多次反馈而朝一个方向(正或负)改变多次,导致在训练后的系统中的图像语义特征向该用户的主观判断收敛,却偏离了用户群体对图像的语义特征的认知。
我们不妨将此现象称为“过反馈”。
基于语义网络的相关反馈技术的初衷是构建一个大众化、通用化的检索系统,而“过反馈”将使训练后的系统的图像语义特征偏于个性化。
1 基于语义网络的图像检索技术使用语义网络方法的典型系统是iFind 。
其核心思想是在构建语义网络(见图1)的基础上,让用户进行检索和相关反馈的操作,以用户的反馈信息来不断地调整关键词对应于图像的权重。
图1 语义网络的构建该网络通过一系列关键词与数据库中的图像建立相互映射的关系,来表达图像的语义,其表示图像语义内容的准确程度用权重来衡量,权重越大,则关键词越能清晰地描述该图像。
一幅图像可以有多个关键词对其进行描述,每一个关键词则具有不同关联程度。
从图1可以看到,图像语义越是复杂,用以描述的关键词就越多;相反,图像语义越简单,用以描述的关键词就越少。
每幅图像对应的关键词的权重可以根据用户的反馈信息予以调节。
初始状态,系统同等地看待所有与图像相关的关键词,并将其权重赋予1,然后通过用户的反馈信息重新调整权重。
对于给定的关键词,与其关联的图像被正反馈的次数越多,则权重将越大;反之,被负反馈的次数越多,权重就越小。
经过若干个用户的反馈训练后,系统就能得到一个较符合大多数用户认知的关键词———图像语义的映射关系。
其具体的权重更新算法如下[6]:①用户提交关键词,系统搜索关键词库是否包含查询关键词,如果没有就将此关键词加入到关键词库。
②系统基于关键词或底层特征返回给用户一组图像,并按相似性度量降序排列,用户判断图像是否相关,并将结果返回给系统。
③对于每一个正例,检查查询关键词是否连接到此图,如果没有则赋予此关键词权值为1,如果已连接,则将权值都增加1。
④对于每一个反例,检查是否有关键词连接到此图,如果有,令其权值为旧权值的1/4,当已连接的关键词的权值小于某一阈值时,则删除此连接。
经过用户群体的多次反馈,系统被训练,从而使检索系统的性能不断提高。
然而,“过反馈”是该算法的一个突出的问题,尤其是当用户面对语义内容和对象较为丰富的图像时,不同的人会有不同的偏好和认知。
个别用户的“过反馈”极易造成训练后的系统所存储的图像语义特征偏离大众化。
为了解决语义网络算法的这种弊端,笔者提出了多用户投票机制的相关反馈思想,并构建语义矩阵来实现多用户的投票算法。
2 多用户投票机制的相关反馈思想基于投票机制的相关反馈思想,为了能够有效地支持投票机制,将表示图像语义信息的语义网络改造为语义矩阵,我们提出了一种新颖的新图添加策略,用以实现对图像库新加图像的自动标注,并给出了对于语义向量形式的检索提问的处理方法。
211 投票机制为了解决“过反馈”导致的训练结果偏离用户群体对于图像语义的理解和认知,本文引入多用户投票的思想,即把相关反馈的过程看做是投票的过程,将图像对应的关键词看做是表达图像语义的“代表”,相关反馈的过程实际上就是用户给图像投票选“代表”(关键词)的过程。
在检索过程中,用户键入某个表达图像语义的关键词,系统向用户返回一组图像集合作为检索结果,并给用户提供相关反馈,以便进一步查询。
凡是被用户标为相关的图像,即正反馈的图像,系统就认为用户将此关键词投票给该图像,或者说用户认为此关键词对于表达图像的语义有“代表性”;被负反馈的图像,则表示用户没有把查询所使用的关键词投票给该图像。
系统收集每个用户的投票结果,作为调整权重(图像与关键词关联度)的依据。
为了使在训练后的系统中,权重能够反映用户对关键词与图像语义之间关联度的认知情况,笔者提出一个投票机制:①对于每一个检索系统的终端用户,系统管理员会给他授予一个用户号,每个用户号是唯一的。
②用户可以把不同的关键词投票给一幅图像,也可以把一个关键词投票给不同的图像,这反映了图像和关键词的多对多映射关系,即一个图像的语义可以用不同的关键词作为其“代表”,一个关键词也可以成为不同图像的语义的“代表”。
③每个用户只能把关键词Kj投票给图像Ii一次,对于用户的重复投票,系统只记录一次;考虑到用户主观意识的可变性,即用户在不同的时刻会对同样一个图像的语义有不同的认识,因而有时候会认为图像与关键词是相关的,有时候却又认为是不相关的,对于本次投票与过去相反的情况,系统会向用户作出提示,以便用户确认其最终投票。
212 将语义网络转化为语义矩阵图2 语义矩阵的一般形式为了使基于语义的相关反馈算法适用于本文提出的投票思想,我们将iFind提出的语义网络改造为图2所示的语义矩阵的形式。
矩阵的行代表不同的图像,列代表不同的关键词。
行与列交叉处的元素所代表的意义有下列几种情况:①在每个用户终端,系统给该用户分配一个“终端语义矩阵”(存储在用户终端),行与列交叉处的元素代表用户相关反馈的判断结果,如果用户提交检索词Kj,对于系统返回的图像Ii,用户认为相关(即正反馈),则Kj与Ii的交叉处的元素置为1;如果是负反馈,则置为0。
②系统收集各终端语义矩阵,通过求和运算,得到“投票结果语义矩阵”(仅作为求Kj和Ii权重的中间过程,系统不对其进行存储)。
③系统对投票结果语义矩阵作进一步处理,形成最终的“权重语义矩阵”,即图像Ii和关键词Kj的交叉处的元素ωij代表关键词与图像语义间的相关度———权重。
为了避免图像和关键词的规模较大,造成语义矩阵过于庞大而使系统的运算开销过大。
按照iFind 的分类别管理图像的思想,对每个类别分别建立相应的语义矩阵。
这样矩阵规模减小了,运算的开销也随之大大降低;而且利于系统对图像分门别类地进行管理。
如果用户在检索时指定图像的类别,系统的检索过程可以直接针对相应类别的语义矩阵进行。
此外,考虑到某些图像语义的复杂性,一个图像可以同时从属于不同的语义类别,因而一个图像可以在不同类别的语义矩阵中出现,具有相对的灵活性。
为了叙述方便,用A 、B 、C …分别代表各类别图像的投票结果语义矩阵,即系统收集到用户的投票后,得到的计票结果的矩阵(矩阵元素代表对于每幅图像,用户群给各关键词的投票总数)。
在用户群体不大的情况下,每个用户终端有一组对应于各类别图像的语义矩阵A i 、B i 、C i …(i 为用户号,i =1～n ),即终端语义矩阵。
由于终端语义矩阵的元素都是布尔型的,因此,每个元素仅用一个字位就可以表示,因此,终端语义矩阵不会占用终端计算机过多的内存。
在每个用户进行检索以及相关反馈的过程中,客户端的语义矩阵也在不断充实。
系统会定期收集各终端语义矩阵,计算得到投票结果语义矩阵A 、B 、C …再经过相应的计算得到权重语义矩阵(记为W A 、W B 、W C …),权重语义矩阵是系统进行检索匹配计算的依据。
213 基于语义矩阵的相关反馈算法流程基于语义矩阵的相关反馈算法流程[728],是在系统收集数据库中的关键词、图像,分类别构建语义矩阵后,根据用户的正负反馈信息,不断地记录用户的投票结果,并经过相应的计算得到权重语义矩阵的一系列步骤。
