基于内容的视频检索技术
1、什么是基于内容的视频检索技术
视频检索技术区别于传统的基于关键字检索的主要特点体现在，它是以图像处理、模式识别、计算机视觉、图像理解等领域的知识为基础，借鉴认知科学、人工智能、数据库管理及人机交互、信息检索等技术领域的知识与数据表示方法，通过引入新的媒体数据表示、数据模型，以及有效的检索算法和友好的人机界面，实现基于内容的视频检索功能。
视频检索技术相对于传统的基于文本的检索方法有两个突出特点：突破了传统的基于表达式检索的局限性，直接对视频的内容进行分析，完全由计算机自动实现提取特征和语义的过程，避免了人工描述的主观性，利用这些内容建立特征索引，实现基于内容的检索；采用相似性匹配的方法进行查询。
2、需要使用哪些技术
一、视频镜头检测技术。由于视频内容丰富，不易建立索引，可以将其从大到小划分为视频、场景、镜头及关键帧4个层次，其中，镜头是视频检索的基本单位，是摄像机一次操作所拍摄的图像序列。对视频建立索引，首先要将视频分割为镜头。镜头检测即找到镜头与镜头之间的切换，并找到切换前后的差异。镜头切换包括渐变和突变，针对不同的情况需使用不同的检测技术。
二、关键帧提取技术。检测出镜头之后，要进行镜头关键帧的提取。镜头关键帧是反映镜头主要内容的一帧或几帧图像，因而需要它描述准确且存储数据量尽量小，计算不宜太复杂。
3、基于内容的视频检索技术的现状
基于内容的视频检索系统大致分为索引、查询和检索3个模块。索引模块运用镜头检测、关键帧提取、视频聚类、特征提取等技术对视频信息进行预处理，从而建立视频特征索引，以此作为视频检索的基础和依据；查询模块主要负责实现人机交互，并能通过用户的反馈信息对检索逐步求精；检索模块主要实现视频特征索引与用户提交的查询条件的相似度计算、特征匹配，并根据相关度排序后提交用户查询结果。用户行为的知识是提高检索系统性能的一个渠道，包括用户熟知的主题、用户提出的确切问题和用户的行为。记录用户行为特征还可以帮助用户在检索过程中获得更好的检索结果。
解决的关键问题：构造视频检索系统，需要解决好两个关键问题。一是如何提取出视频的内容特征，二是索引的方法。要提取内容特征，首先对镜头进行切割，先检测突变，后检测渐变。检测突变，采用直方图法来计算帧间差；检测渐变，采用基于模型的方法计算，对各种镜头之间的切换建立数学模型，自顶向下地进行镜头切换检测。因此视频切割拟采用直方图与基于模型的方法实现。分离出镜头后，就要确定出每个镜头中的一个或几个关键帧。在帧间差很小的情况下，可使用每个镜头的第一帧作为关键帧；若帧间差相对大些，可计算所有帧的平均值来作为代表帧。接着进行内容特征的提取。首先，关键帧是一幅静态图像，因此可按照图像内容检索方式提取形状、颜色和纹理等特征作为底层特征。其次提取关键对象特征，包括对象的运动、颜色、纹理、形状等特征。这些特征可满足用户按场景或对象进行查找，若要满足用户按视频语义或内容来检索，就需要将视频聚类、合并，对视频进行高层次抽象，将内容上有关联的镜头进行组合来描述视频语义。对于索引方法，由于视频数据库信息量大，因此索引方法直接影响搜索准确率及效率。
5、基于内容的视频检索技术的未来展望
基于内容的视频检索对语义特征的提取尤为重要，因为人对视频的理解主要是在语义层次上进行。语义特征自动提取的好与坏，将直接影响视频检索的质量和效率，而底层特征与高层语义之间又存在巨大鸿沟，基于高层语义的描述目前还无法由计算机自动建立。这是目前研究的热点之一。其次用户与基于内容的视频检索系统之间的交互及通过信息反馈实现系统的自适应也是未来研究的一个重点。如何从反馈中积累经验，调整系统的适应能力还需要进一步研究和探索。最后，由于视频信息包含图形、图像和声音信息，对视频及视频中媒体信息的综合检索将更符合人类检索信息的思维和习惯，这也是未来研究的方向。
