图像处理和分析教程 章毓晋 第4章
- 格式:ppt
- 大小:878.50 KB
- 文档页数:25
80230361基于内容的视觉信息检索•章毓晋•清华大学电子工程系©章毓晋2007第2页80230361第1讲大纲一、引言(为什么需要)二、视觉信息检索(什么是,如何工作)三、历史,发展,前景四、基于内容检索的关键技术五、典型系统和应用(谁用,用到哪里)六、课程内容和安排©章毓晋2007第3页80230361第1讲大纲•Why it is important and needed?•What is it? What are the key techniques?•How it works?•When it started, when it became hot?•Where it has applications?•Who has intention to use it?©章毓晋2007第4页80230361第1讲一、引言•多媒体<——>信息膨胀•世界上的信息量以几十万倍于人口的增长速度递增•视觉信息是多媒体信息的主要部分–静止图象,序列图象,视频,动画,图形•信息量及增长常超过人的接受能力©章毓晋2007第5页80230361第1讲一、引言•信息检索(information retrieval )–用户快速搜索并提取相关的信息•视觉信息检索<——>文字或数字标签–? 图象视频内容丰富–? 文字描述是一种特定的抽象–? 主观因素影响•网络上的图象/视频服务带来新的问题©章毓晋2007第6页80230361第1讲•将不同的信息都表达成码流(bit stream )形式•对信息的存储和传输带来了极大的方便•信息的传输常常只是一些应用的开始,并不是一切应用的最终目的•必须把码流转换成一种人的感觉可以理解的形式,才可以获取和利用它所携带的信息•转换:对信息抽象化和结构化的过程•从低层到高层进行处理、分析和理解的过程二、视觉信息检索©章毓晋2007第7页80230361第1讲基于特征的图象检索•基于颜色特征(全图,区域)•基于纹理特征(全图,区域)•基于形状特征(目标)•基于空间关系(目标分布/目标间相互位置)特征二、视觉信息检索©章毓晋2007第8页80230361第1讲视频检索工作•视频分割•关键帧检测•特征提取(静止,运动)•聚类,组合•组织,索引,浏览(Browsing)二、视觉信息检索©章毓晋2007第9页80230361第1讲二、视觉信息检索分析数据库匹配输入查询归档查询特征特征库分析特征输出基本原理图象归档和检索流程图©章毓晋2007第10页80230361第1讲几个要回答的问题(1)如何指定一个查询?(2)如何抓取图象的内容?(3)如何检索并提取出匹配的图象?(4)如何设计用户接口?二、视觉信息检索©章毓晋2007第11页80230361第1讲所需的基础/相关知识(1)图象处理、分析、理解技术(2)数据结构,数据库模型及管理、组织技术(3)人工智能,知识获取、应用(4)视觉感知,心理认知(5)多媒体技术、影视技术,网络技术等二、视觉信息检索©章毓晋2007第12页80230361第1讲三、历史,发展,前景第一代视觉信息检索系统对视觉信息的访问仅在概念层利用关键字进行,如“某人某个时间段的所有作品的图象”©章毓晋2007第13页80230361第1讲三、历史,发展,前景新一代视觉信息检索系统对视觉信息的访问也在感知层利用对视觉内容的客观测量和合适的相似模型进行©章毓晋2007第14页80230361第1讲•1992年–基于内容的图象检索CBIR: Content-Based Image Retrieval –基于内容的视频检索CBVR: Content-Based Video Retrieval三、历史,发展,前景CBVIR©章毓晋2007第15页80230361第1讲Content-based Visual Information Retrieval检索中的交互反馈基于内容的视觉信息检索热点和趋势压缩域检索网上搜索引擎和分类检索基于语义的检索检索性能评价研究展望和应用前景基于内容的视频检索视频数据库模型和管理镜头检测和表达 镜头聚类和 镜头集合描述 视频数据 组织和索引基于运动特征的视频检索视频节目查询应用用户界面和浏览显示综合特征检索基于内容的图象检索基于颜色特征的图象检索基于形状特征的图象检索基于纹理特征的图象检索基于空间关系的图象检索图象检索实验平台和系统检索系统及其应用领域基于内容图象检索基本技术国际标准绪论引言MPEG-7 国际刊物,会议、网站©章毓晋2007第16页80230361第1讲通用框架和模块查询验证匹配提取信息用户数据库描述多媒体基于内容的视觉信息检索系统框图四、基于内容检索的关键技术©章毓晋2007第17页80230361第1讲•查询模块:对用户提供多样的查询手段,以支持用户根据不同应用进行各种类型的查询工作用户要进行查询,先提出要求条件,这些要求条件主要基于对图象内容的描述四、基于内容检索的关键技术©章毓晋2007第18页80230361第1讲•描述模块:将用户的查询要求转化为对图象内容的比较抽象的内部表达和描述通过对图象的分析,从而以一定的、计算机可以方便表达的数据结构建立对图象内容的描述这个模块在图象数据库建库时也需对每幅图象进行四、基于内容检索的关键技术©章毓晋2007第19页80230361第1讲•匹配模块:在图象库中搜索所需的图象内容对被查询图象和图象数据库中的图象都建立表达描述,所以将对查询图的描述与图象数据库中被查询图的描述进行内容匹配和比较就可以确定它们在内容上的一致性和相似性这个匹配的结果将传给提取模块四、基于内容检索的关键技术©章毓晋2007第20页80230361第1讲•提取模块:根据匹配的结果在图象数据库中对感兴趣的图象定位,并在内容匹配的基础上将图象数据库中所有满足给定要求条件的图象自动地提取出来以让用户选择使用如果事先对图象数据库建立了索引,这样在提取时就可提高效率四、基于内容检索的关键技术©章毓晋2007第21页80230361第1讲•验证模块:帮助验证如上提取的图象是否满足用户要求根据目前技术水平和设备条件,在自动查询和提取的基础上用户还需有最后验证结果的手段。