基于内容的多媒体检索技术

多媒体信息的检索名词解释随着信息技术的迅猛发展，多媒体信息的检索在当今社会中变得愈发重要。

多媒体信息是指以多种媒体形式表达的信息，包括文字、图像、音频、视频等。

它涵盖了各种不同类型的媒体资源，如图书、图片、音乐、电影等。

然而，由于多媒体信息的特殊性，它具有相对较高的复杂性和难度，因此需要合适的方法和工具进行检索。

一、多媒体信息检索多媒体信息检索（Multimedia Information Retrieval，简称MIR）是指通过计算机和相关的算法，从大量的多媒体数据中，按照用户的需求检索出相对应的信息的过程。

多媒体信息检索系统的目标是提供一种能够根据用户需求快速而精确地获取多媒体数据的方法和工具。

这样的系统可以帮助用户在海量的信息资源中快速找到他们所需的信息。

二、多媒体信息检索的特点多媒体信息检索相比传统的文本检索具有一些独特的特点。

1. 多样性：多媒体信息包含了各种不同类型的媒体，用户可以通过多种方式进行查询和检索。

例如，用户可以输入关键词、上传图片或音频等方式进行检索。

2. 复杂性：多媒体数据的内容和结构非常复杂。

图像、音频和视频等媒体资源无法像文本那样直接用关键字进行搜索。

因此，多媒体信息检索需要借助计算机视觉、音频处理、机器学习等领域的技术，对多媒体数据进行处理和分析。

3. 主观性：多媒体信息的理解和感知往往是主观的。

同样一张图片、一段音频或视频，在不同的人眼里可能有不同的解释和感受。

这增加了多媒体信息检索的难度。

4. 大规模：随着信息爆炸时代的到来，多媒体信息的数量越来越庞大。

有效地处理和管理这些大规模的多媒体数据成为了一个巨大的挑战。

三、多媒体信息检索的方法多媒体信息检索的方法主要包括内容分析、特征提取、索引建立、用户查询和相似度计算等步骤。

1. 内容分析：多媒体信息检索的第一步是对多媒体数据进行内容分析。

内容分析通过运用计算机视觉、音频处理和自然语言处理等技术，将多媒体数据转化为计算机能够理解和处理的形式，以便进一步的分析和检索。

为何应用数据库？
因为数据库为共享的稳定数据提供了安全和有保障的存储介质。如 果用户不需要数据在其作用范围外持久存储，数据库就不用为此类用户提 供增值服务。反之，如果用户要求数据在某个程序或应用的作用范围之外 存在，则数据库无疑是维护这些持久数据的合适之地。但是仅要维护持久 数据并不意味着非用数据库管理系统不可。为判断数据库是否合适，我们 还必须看被管理的数据是否有结构。联系和约束。 决定用文件系统还是用数据库，必须考虑所存储的数据以及这些数据 是如何使用的。数据库管理系统提供查询数据库的功能，从而找到相关联 的数据项，查询的简单性取决于可用的数据库操纵语言、使用的逻辑数据 库结构和存储数据项的粒度。
本章内容提要
F多媒体数据库 F多媒体数据库基于内容检索
本章教学要求：本章内容是对多媒体数据库技术作一简要介
绍，拓展专业视野。通过学习多媒体数据库及基于内容检索， 了解多媒体数据库的存储问题，管理及体系结构等知识。
本章问题设计： 什么是多媒体数据库？多媒体数据库主要存在
的问题或需要解决的问题？基于内容查询是指什么？
查询多媒体元素：传统数据库模型主要针对的是整数、实数、定长字符等 规范数据。数据库的设计者必须把真实世界抽象为规范数据，这要求设计 者具有一定的技巧，而且在有些情况下，这项工作会特别的困难。即使抽 象完成了，抽象得到的结果往往会损、声音、动态视频等多媒体信息引人计算机之后，可以表达的信息
数据库的种类？
分布式数据库、多媒体数据库系统、实时数据库、容错数据库、安全 数据库和混合数据库 1分布式数据库管理系统 分布式数据库系统并非单纯意味着数据是分布的。分布式数据库的定 义也意味着它结合了知识、动作，以及对组成分布式计算机系统的分布式 部件的控制。
2实时数据库管理系统 实时数据库系统并不单是一个速度快的系统。实时是指操作系统和与 其交互的现实世界之间的时态交互。实时控制系统可能是集中式、分布式 或混合式的。实时系统的显著特征是它在操作的各方面都用到时间。

29
网上多媒体数据与现实的关系
30
30
网上多媒体数据-事件结构化表示
结构化：怎么理解？？
群
语
体
义
智
学
能
习
31
31
网上多媒体数据-事件结构化表示
32
32
4. 多媒体技术简介
33
多媒体技术简介
术语“多媒体”的理解 研究问题与技术 典型应用 多媒体技术的技术内涵
34
术语 “multimedia”的理解
12
多媒体应用之图片检索
13
13
创意推动的多媒体产业
100多年前，福特公司的创始人亨利·福特先生到处跑去问 客户：“您需要一个什么样的更好的交通工具？”几乎所 有人的答案都是：“我要一匹更快的马”。
14
创意推动的多媒体产业
15
创意推动的多媒体产业
微博
16
微信
创意推动的多媒体产业
17
创意推动的多媒体产业
，年轻人通过非常重要的信息网络联络彼此，24小时不间断！在过去，如果你想组织 一场抗议游行，必须到不同的地方，像大学、研究所这类地方散播信息。但是，之后 ，脸谱消除了这些障碍，在脸谱上，人们都是彼此的朋友。这样，如果你有2000个朋 友，我有2000个朋友，这2000个朋友各有2000个朋友，这样信息就非常非常迅速地传 播了。
35
术语 “multimedia”的理解
Media can be classified with respect to different criteria
Perception
How do human perceive information in a computer environment?

Ｂ ｓｄＩｆ ｍａｉ ｅ ｉ ａ， Ｂ Ｒ ， 两 种 方 法分 别使 用并 不 能 达 到 理 想 的 检 索 结 果 。本 文介 绍 了基 于 Ｘ Ｌ的 图像 ａｅ ｎｏ ｔ ｎＲ ｔｅ ｌ Ｉ ） 但 ｒ ｏ ｒｖ Ｃ Ｍ
检 索 系统 的 系统 结构 和 实现 框 架 ， 合 Ｘ 结 ＭＬ文 档详 细介 绍 了 国 内 外有 关 文 本与 内容 结 合 的研 究 方 法 。
维普资讯
・
情 报 检 索 ・
基 于 ＸＭＬ 的多媒体 信息检 索
Ｍ ｕ ｔｍ ｅ ａ Ｒｅ ｒ ｅ ａ ｓ ｄ ｏ ｌｉ ｄｉ ｔｉｖ ｌＢａ ｅ ｎ ＸＭ Ｌ
＊
龙 泉
陆 伟
武汉 ４０７） ３ ０２
（ 汉 大 学信 息 资源 研 究 中心 武
因 为这 些 领域 的 图像 在 某 些 特 征 上 容 易 识 别 。 目前 存 在 大 量 有 关 基 于 内容 的 图像 检索 的方 法 ， 们根 据 图 像 的各 种 视 觉 特 它 征 对 图像 进 行检 索 ， 在 不 断 的 改进 中 ， Ｊ ｎ ｉ ｕ 并 如 ｕ ｄ ｇ Ｓ ｎ等 人 提 ｎ 出 的 对 颜 色 直 方 图 作 出 改 进 的 考 虑 到 空 问 特 征 的 颜 色 直 方
关 键 词 多媒 体检 索 ＴＢＩ ＣＢＩ ＸＭＬ Ｒ Ｒ
１ 多媒体检 索概 述
随着 计算 机技 术 的发 展 ， 特 网 的 不 断 普 及 ， 上 数 据 量 因 网 和数据 种类 的不 断 增 多 ， 媒 体 技 术 、 多 网络 技 术 和 信 息 数 字 化 处 理 等高新 技 术 的 飞 速 发 展 ， 得 因 特 网上 的 多 媒 体 数 量 激 使
通 过 基 于文 本 的 图像 检索 与基 于 内容 的 图 像 检 索 相 结 合 ， 索 检

① c=const ( );
需用户对检索结果作相关反馈。系统根据用户的反 馈信息作语义上下文分析，在此基础上再进行基于
内容的检索，如此反复，直至找到满意的结果。
3 多通道检索流程图
图3 所表示的检索过程如下[6. 7 1.
② L,E {扫描多媒体数据库， 生成一元数据项
频集及其支持度};
③ C2 =apriori-gen传); 1 ， *利用Aprior 算法的函 数apriori-gen(L1 )，由L， 候选集C2 ; 产生 */ ④L2 {c ECz/c.support>minsupp}; "⑤ S=build-change(L2) ;
在多通道检索中的应用做了探析。
图I 多媒体数据挖掘过程
1 多媒体数据挖掘过程
多媒体数据挖掘是指基于多媒体的内容特征 c ，以及这些特征的相关语义，从大型多媒体集 M
2 多媒体信息多通道检索体系结构
信息的发布形式已由单一的文本发展为由文 本、图像、视频、音频甚至 3D 模型等多种模态数 据构成的有机集合。面对丰富而又复杂的多媒体信 息， 用户需要一种准确、友好、 灵活的检索方式与 多媒体信息之间进行交互，面向多媒体信息的多通 道检索系统的出现不失为解决这一问题的好途径。 如图2 所示，多通道检索系统主要由存储子系 统和查询子系统组成。存储系统首先对多媒体信息 进行预处理，提取多媒体信息中不同对象间的链接 关系，存人存储子系统中相应的数据库中。同时， 建立交叉参照知识库， 作为检索的语义基础1 5Ja
多媒体数据的关联规则， 是在相关的多媒体对 象集中，找出一组关联规则，显示一组对象或特征 的模式或相互关系的发生频率， 一个典型的关联规
则 [a.“1 X-4Y ,c% 其 : X和Y是 组 是 ，: 9 [s% ]， 中 一

浅谈基于LUCENE的多媒体文件检索系统的设计摘要：本文通过研究对lucene框架及核心算法进行分析研究的基础上，通过插件的机制抽取多媒体文件中的标示性文本信息，利用lucene对标示性文本进行索引构建及检索，在.net平台及c#语言开发环境下设计并完成了一个多媒体文件的检索系统。

关键词：多媒体文件检索系统搜索引擎 lucene计算机互联网技术的飞速发展，使得网页以及各种文本数字信息急剧增长，想要在海量的数据中便捷、迅速地搜索到所需要的信息将变得越来越困难。

现在常用的搜索引擎软件主要用信息检索技术来解决搜索的问题。

同时，随着多媒体技术的发展，大量的信息主要以非文本形式的多媒体文件形式存在。

对于如何有效地检索这些庞大数量的多媒体文件具有重要的应用价值。

搜索引擎是指根据一定的策略、运用特定的计算机程序从互联网上搜集信息，在对信息进行组织和处理后，为用户提供检索服务，将用户检索相关的信息展示给用户的系统。

一、lucene简介lucene是apache软件基金会jakarta项目组的一个子项目，也是一个开放源代码的搜索引擎工具包。

它不是一个完整的搜索引擎，而是一个全文索引工具包，它可以方便的嵌入到各种应用中实现针对应用的全文索引/检索功能，提供完整的查询和索引及部分文本分析功能。

初使用lucene的使用者常错误地把它认为是一个可以马上使用的应用程序，即一个文件检索程序，或者是一个web网络爬虫，以及一个web站点搜索引擎[1]，然而这些都不是它的实质。

lucene 实际上是一个开发工具包的软件库，而非具备完整特性的搜索应用程序。

纵然使得它只关注于自身的索引和搜索技术，并且非常好地完成这些程序。

lucene让你的应用程序处理业务规则，而把复杂的索引和搜索实现掩盖起来，只提供简单易用的api。

为了帮助理解，可以把lucene当作层，应用程序位于它之上。

现今，大量的应用都是利用lucene对文本进行检索，而很少用来对多媒体文件进行检索。

颜色特征描述方法 直方图法、累积直方图法、局部累积直方图法、颜 色布局法、中心矩法等。
颜色特征
欧几里德距离法 欧几里德距离通过特征向量差值的均方差反映了图 像之间的差异，用欧几里德距离公式计算图像x和y 的距离如下：D(X ,Y ) (xk yk )2 优点：是简便易行，有清晰的物理意义，即距离小， 匹配好，说明2个特征之间的相似度大
mn (t) 2m/2 (2m t n)
假设图像的轮廓函数为f(t)，它的小波变换系数为：
Cmn f (t) mn (t)dt
利用小波变换系数可以重建的公式，它如下所示：
m0
f (t)
cmn mn (t)
cmn mn (t)
mm0 1 n
m n
小波变换
假设尺度函数为，把它和小波变换重建公式相结合
傅立叶形状描述符
傅立叶形状描述符(Fourier Descriptor)的基本思 想是用物体边界形状特征函数的傅立叶变换来描述 形状。傅立叶变换通过把敏感的直接表示转换到频 域获得物体的一般特征，频域特征不容易被微小的 变化和噪声所影响。
傅立叶形状描述符
边界的离散傅立叶变换表达可以作为定量描述形状 边界的特征参数的基础。假设在平面上有一由个点 组成的数字化边界，其中的每个点可以用坐标来表 示。从任意一个起点开始，以逆时针方向沿着边界 移动，这样可以得到一系列坐标点。将平面与复平 面重合，其中实部轴与轴重合，虚部轴与轴重合， 这样边界上的每个点的坐标就可以用复数的形式来 表示，从而边界就可以表示成坐标组成的一个复数 序列。
图像检索技术的发展
图像检索技术的发展两个阶段：
✓ 基于文本的图像检索 70年代，研究者们在对图像进行文本标注的基 础上，对图像进行基于关键字的检索。

【 摘
要 】 本 文 讨 论 了基 于媒 体特 征 的 多媒 体 信 息检 索的 关键 技 术 ， 述 了媒 体 各 种 不 同特 征 的检 索技 术 ． 对 基 于 ： 论 并
媒 体特 征 检 索技 术 的常 用算 法进 行 详 细 的 论 述 。
【 关键 词 】 媒 体 特征 ； 征 提 取 ； 似 性 匹配 ： 特 相
图 像进 行 检 索 ．主 要有 针 对 图像 边 缘 轮廓 线 进 行 的 检索 和 针对 （ ）提取 媒 体 特 征 的方 法 多种 多 样 以 图像 的 特 征提 取 为 图 形 矢量 特 征进 行 的检 索 两种 方 法 最 常用 的 形 状描 述 是 傅立 ３ 例 ， 以提 取颜 色 特 征 、 理特 征 、 状 特 征 、 廓 特 征等 可 纹 形 轮 叶 描述 和 小 变矩 两种 （ ）适合 于 对各 型数 据 库 的高 速检 索 ．尤其 是 中大 型 数 据 ４ （ ） 用颜 色特 征 、 理 特征 和形 状特 征 进行 综 合检 索 ４利 纹 库。 以直 方 图作 为 颜 色特 征 ．只能 表示 出图 像 中 各种 颜 色 信息 ３ 基 于媒 体 特 征 的检 索 技 术 的 统计 分 布 ， 不能 表示 所 包 含 的各 种颜 色的 空问 分 布信 息 通 而
１ 言 引
基 于颜 色 特征 的 检索 主 要 采 用直 接示 例检 索 法 和 以颜 色 为 随着 计算 机信 息 技术 和存储 技 术 的 快速 发 展 和 互 联 网 技术 主 色 调 检索 法 两种 方式 直 接 示 例检 索 法 是 由用 户 给 出具 体 的
与通 信 技 术 的逐 步 完善 ． 媒 体 信息 作 为 一种 内 容丰 富 、 现 直 示 例 图像 ．系统 通 过提 取 示 例 图像 的颜 色特 征 与 图 像库 中图 像 多 表 观 的媒体 ． 已经 应 用 在备 类 领 域 ． 别是 多 媒 体 信 息 在互 联 网上 的颜 色特 征 进行 相 似性 近 似 匹配 ． 特 以得 到颜 色 相似 的图 像 而基 得 以迅速 呈 现 ．人 们 越 来越 多 地 通 过互 联 网接 触 到 和应 用 各 种 于 图 像 的颜 色主 色调 检 索 法 是根 据 用 户 给 出图 像 的一 个 或 几个 各 样 的多 媒 体 信息 。 同时 随着 计 算机 处 理 能力 的 提 高 ． 利用 计 算 主 色调 ． 这 些 主色 调 作为 检 索 的 主要 特 征进 行 相 似 性 匹配 ． 将 以 机 来 分析 、 模拟 运 动 信息 受 到越 来 越 多 的注 意 。 何 在 海量 的 媒 检索 图像 库 中具 有类 似 主 色调 的 图像 如 体 信 息 中在需 要 时 检 测 出 来 ．是 近 年来 网络 信 息 处理 已经 面 ｆ ｝ 缶 （ ） 于 纹 理特 征 的检 索 技 术 ２基 的” 颈“ 已 成 为 国 内外 研 究热 点 ． 瓶 ． 目前对 多 媒 体 信 包的检 测 方 纹 理特 征是 描 述 图像 的 一个 重 要 特征 ．图 像 的纹 理 特 征在 法 有 很多 种 ．本文 主 要 根据 多 媒 体 信息 的媒 体 特 征来 研 究 其 检 局 部 区域 内 可能 是不 规 则 的 ．但 在 整 个 图像 区 域 内一 般 具 有某 测技术。 种 特殊 的 规律 性 ． 也是 基 于 特征 检 索 的一 条 主要 线 索 纹 理特 这 ２ 基 于媒 体 特征 的 检 索 及特 点 征 主要 由纹 理 的 均匀 度 、 比 度和 方 向 性 三个 特 征量 表 示 ． 理 对 纹 基 于 体 特 征 的检 索 是一 种 信息 检 索技 术 ．是 对 媒 体 对 象 的均 匀 度 主要 反 映 了图 像纹 理 的 尺寸 ．对 比度 反 映 了图像 纹 理 的 特 征及 上下 文 语 义环 境 所 进 行 的检 索 这 种检 索 技 术 根 据 用 的清 晰 度 ． 而方 向主要 反 映 了实 体 是 否有 规 则 的方 向性 。 分析 纹 户 的要 求 ． 够 从 多媒 体信 息数 据 库 中查 询 到 符 合 条 件 的信 息 ． 理 特 征 的方 法 大致 有 统 计方 法 、 方法 和 结构 方 法等 三 种 能 谱 其 主 要任 务 是 根据 媒 体特 征 采 用 近 似匹 配 的方 法 快 速 发 现 信 息 （） ３ 基于 形 状特 征 的检 索 技术 所 在 数据 库 中 的 目标 位置 ．并 不需 要 对 媒体 信息 进 行 理 解 和描 形 状 特 征是 描述 图像 中 物体 本质 特 征 之一 同 一 物体 可 能 述 。基 于 媒体 特 征 的捡 索 系统 既能 对 以 文本 信 息 为 代 表 的 离 散 有 用 多 种不 同的颜 色 来描 绘 的 ， 形 状特 征 却 是一 致 的 ． 但 因此 很 媒体 进 行 检索 ． 能 对 以图像 、 也 声音 为 代 表 的连 续 媒 体 的 特 征进 多 检 索过 程 可 能是 针对 图像 的形 状 ． 而不 是针 对 图像 的 颜 色 对 行 检索 。 形 状 特 征分 析 的基 础是 对 图 像 的边 缘 线 条特 征 的 提 取 ．边 缘 线 基 于媒 体特 征 检 索 的特 点 是 ！ 条 特 征 是图 像分 割 的重 要 依 据 ．图像 边 缘线 条 特 征 提取 的 好坏 （ ） 多 媒 体 信息 的 特征 进 行分 类 ， 接对 图像 、 频 、 １ 针对 直 视 音 频进 行 分 析 ． 中抽 取 有用 或 需 求特 征 从 （ ） 据 库 中 多 媒体 信 息和 用 户提 交 的 检索 内容 ． ２数 在经 过 转 变 后进 行 相似 性 匹配 ． 而不 是 对 原始 数 据 的直 接 比对 直 接 影 响到 形状 特 征 的提 取 一 个 好 的边 缘 线 条 特 征 的提 取过 程 必 须 与滤 波器 配 合使 用 ． 个 封 闭 的 图像 具有 许 多 特 征 ． 区 一 如 域、 主轴 方 向 、 、 心 率 、 形率 和正 切 角 等 。基 于形 状 特 征

信息检索原理期末重点背诵知识点信息检索1、信息检索概念：P12、信息检索的原理⼀整节内容要⾃⼰理解：P3-P4图1-1要掌握⽂献替代和⽂献整序的概念要掌握3、信息检索在历史上的不同表现：联机检索、光盘检索、⽹络检索的区别和特征：P6-P94、信息检索的模型概念：P95、布尔模型、向量空间模型、经典概率模型要理解并掌握各⾃的优缺点：P11-P126、信息检索系统的概念：P127、检索效果的评价指标：P15-P164个指标：查全率、查准率、漏检率、误检率掌握它们的含义并懂得计算8、⽹络检索的表达式：布尔逻辑检索、邻近检索、短语检索、截词检索的特点、区别和联系：P17-P219、信息检索的技巧要理解尤其是要掌握及时调整检索策略：P33-P3610、搜索引擎的概念：P3711、数据库知识，实验内容，特点12、引⽂的概念13、搜索引擎的分类：P40-41搜索引擎划分的类别以及元搜索引擎的概念要掌握12、CBR概念 P11312、多媒体信息检索的原理和⽅法：P110-P114其中要重点理解基于内容的多媒体信息检索的检索形式（可以结合课件）13、专利的概念：P12514、专利的类型：P126（理解⼀下各类型的区别）15、专利⽂献的概念：P12716、专利⽂献的类型：P127（理解⼀下各类型的区别）17、灰⾊⽂献的概念：P14718、会议⽂献的概念：P15819、科技报告的概念：P16320、查新的概念：P20021、科技查新的作⽤：P201（每⼀个⼩标题后⾯要⾃⼰展开⼀段）关于上课讲的那⼏个数据库⼤家⾃⼰看⼀下PPT，掌握⼀下。

以上纯属个⼈观点题型：名词解释：5*4=20简答题： 4*10=40论述题： 2*20=40考试时间：1⽉8⽇上午：9:00—11:001.信息检索的概念 (P1)信息检索有⼴义和狭义两重含义。

⼴义上说，信息检索是指将信息按照⼀定的⽅式组织和存储起来，并根据信息⽤户的需求查找相关信息的过程。

果 ， 从 多项 结果 中选择一 个示 例 ， 或 经特 征调 整后 形 成新 的检 索 。这样 逐 步 缩 小 检 索范 围 ， 到用 户 检 索 到 媒体处理 、 模式识别 、 计算机视听语言、 图像理解等学科中的一些方法 为基础技术 ， 是多种技术的合成 。通过人工智能数据库管理系统 、 人机交互 、 信息检索等领域引入新 的媒体 数据表征和数据模型 ， 从而设计出稳定 、 有效的检索算法 、 系统结构及友好 的人机界面。基于内容 的多媒体 检索 技术 具 有如下 特 点 ：
面向广大的用户开展真正有效的多媒体信息检索服务 已成为现代网络技术发展的关键 。 采用多媒体检索方法将使人们查阅最新 、 最全、 最准 的信息资料 ， 接触最先进 的思想、 方法 ， 感受最新 的 具有世界水平的科技成果。其检索方法简单、 直观、 方便 ， 极大地提高 了工作学 习的效率。基于 内容的多媒 体检索作为一种现代化的检索工具为人类 的交流思想 、 传播知识提供了方便快捷的途径 ， 成为知识经济的重
维普资讯
８ ０
上 饶 师 范 学 院 学 报
２Ｏ （ ２ 卷） Ｏ６ 第 ６
进行快速检索 ， 同时满足人机交互的智能检索。
２ 基 于 内容 的多媒 体检 索的研 究现状
目前 ， 对于基于内容的多媒体检索主要从检索技术的特点、 检索的方法和多媒体 内容描述接 １等方面进 ： ２
求。 多媒体就是多种媒体信息——文本 、 图形、 图像、 动画、 影像和声音的集成系统 。基于 内容的多媒体检索
区别于传统的基于文本检索 ， 就是直接对多媒体图像 、 音频 、 视频内容进行分析 ， 抽取多媒体内容的特征和语 义建立索引 、 进行检索 ， 即利用媒体对象 的语义 、 视觉特征、 听觉特征和文本信息来进行检索 。这种检索摈弃 了常规数据库检索中的精确匹配方法 ， 通过采用相似性匹配的方法获得检索结果 ， 它能对大型多媒体数据库

多媒体数据库检索技术初探【摘要】本文介绍了两种多媒体数据库的查询方法，分析了基于内容的检索特点和处理过程，阐述了图象数据查询和检索的基本过程和相关技术。

【关键词】多媒体数据库检索多媒体数据库从作为传统数据库的一种高级应用开始，到作为适合多媒体数据的数据库管理系统，已经经历了十来年的研究与发展。

传统数据库技术有一个根本的出发点，就是企图用一个统一的模式、统一的框架来描述、组织、处理客观世界所有对象。

凡是不满足这种模式和柜架的对象就加以改造，而在改造过程中又不可避免地丢掉了许多语义信息。

但多媒体数据类型却无法处理，也无法改造。

研究表面向对象数据库是解决多媒体数据库较为科学的方法和工具，它可以方便灵活地处理图形、图像、声音、文字、动画等多媒体信息，尤其是具有层次结构的复杂对象。

一两种多媒体数据库查询方法多媒体数据库查询方法分为基于表示和内容两大类。

基于表示的检索目前已相对成熟，并且得到广泛的应用。

基于表示形式的检索与数据类型和数据结构有关，在进行检索时，只需对关键字检索表进行检索，再根据关键字检索表的指针，找到相应的数据。

它的特点是检索速度快、精确度高。

但在实际应用中，存在基于内容的检索需求。

例如，“查找与相片a面貌相似的人”就要求基于内容的检索，这一类检索和查询更加实用，更贴近人的思维和日常需要，是今后检索的主流，而基于表示的检索对于这一类检索要求则无能为力。

基于内容的检索是根据媒体内容语义进行检索的。

很明显，人类语言极其丰富，人与人之间思维方式不同，同样的，意义会有许多种表示方式，因此，对语义进行精确的分析困难很大，分析出来的结果不可能很精确。

所以，基于内容的检索形式虽然能根据媒体内容语义进行检索，但是检索速度很慢、精确度低。

二基于内容检索的特点随着多媒体技术的普及，人们将大量接触和处理多媒体信息，但每一种媒体数据都存在难以用符号化的方法进行描述的问题，如图像中的颜色、视频中的运动、音频中的音调等。

ｓ ａｃ ｅ ｔ ｎ ｆ ｒ ｏ ｅ ｏｄ ｔｈｎ ， ｗ ｉｈ ｂ ｉｇ ｃ ｎ ｅ ｉｎ ｅ ｔ ｓ ｒ’ ｅ ｒｈｎ ． Ｔ ｉ ｐ ｐ ｒｔ ｅ ｅ ｒ ｈｎ ｅ ｒ ｈ ｃ ｒ ｉ ｏｍ ｒｋ ￣ ｒｓ ｍａ ｉｇ ａ ｃ ｈｃ ｒ ｓｉ ｏ ｖ ｎｅ ｃ ｉ ｅ ｓ ｓａ ｃ ｉｇ ｎ ｎ ｏｌ ｈ ｓ ａ ｅ ｋ ｓｓａ ｃ ｇ ａ ｉ ｔｅ ｈｓｏｙ ｉｆｒ ｔ ｎ ｏ ｈｅ ｉｇ ｏ ｓ ｅ ａ ｌ ． ｄ ｓｕ ｓ ｓ Ｏ ｈ ｉ ｒ ｎｏｍａｉ ｆ Ｔ ｒｅ Ｋ ｎ ｄ ｍｓ ａ ｘ ｍｐ ｅ ｔ ｏ ｉ ｓｅ ＷＬ ｏ ｔ ｏ ｙ— ｂ ｓ ｄ ｄ ｓ ｒ ｔ ｎ ａ ｄ ｒｔ ｅ ａ ｃ ｎｏ ｇ ｌ ａ ｅ ｅｅ ｉ ｉ ｎ ｒ ｖ ｐｏ ｅ ｉ ｌ
［ 关键词］ 本体 ；信息检索 ；多媒 体；融合检索 ； 引 标
［ ｓ ａｔ Ｃ ｒ ｌｉ ｆｍ ｔｎａ ａｓ ａ ｄ ｅ ｎ ｆｍ ｔ ａ ｓ ｍ ｉｏａｍ ｄ ｔｅａ Ｃｌｏｌ Ａｂｔ ｃ 】 ｒ ｏ ｅ ｔｅｉｏ ａｏ ｗ ｙ ｓ ｉ ｒ ｔｏ ｓｎｄ ａ ｓ ．Ｔ ｄｉ ｌ ｅｉｒ ｒ ｖ ｌ ｎ ｒ ａｖ ｎ ｒ ｉ ｌ ｈ ｆ ｅ ｒ ｉ ａ ｂ ｅ ｔｎ ａ ｅ ｉ ｌ ａ ｙ
由于多媒体信 息结 构的 复杂 性和 对其 认 知上 的 困难 ，
构建一个在各领域广泛适 用的本体 几乎是 不可能 的 ，因此 本体在多媒体信息融合检索 中的运用 主要体 现在领域 多媒
形 、图像 、动 画、视频 、音 频 等多 媒体 数据 的强 烈需 求 ：
第一 ，多媒 体信息没有被深 入标引和 揭示导致查 全率和查 准率低下 ；第二 ，各 种不 同的数据类 型没 有融入到 统一 的
维普资讯
２Ｏ 年 ７月 Ｏ７ 第 ７期

基于内容旳视频检索
1
主要内容
问题旳引入 国内外研究现状 基于内容旳视频检索简介 视频构造旳分析 关键技术 视频检索和浏览 目前研究中存在旳问题及将来旳发展趋势
2
一、问题旳引入
近年来，数字视频信息出现了飞速膨胀， 新旳视频应用，如数字图书馆、视频点 播、数字电视等，已经为越来越多旳人 所接受和熟悉。
在运动量取局部最小值处选用关键帧， 它反应了视频数据中旳一种“静止”特 点，视频中经过摄像机在一种新旳位置 上停留或经过人物旳某一运动旳短暂停 留来强调其主要性。 光流 光流场
40
首先经过Horn-Schunck法计算光流，对 每个像素光流分量旳模求和，作为第k 帧旳运动量M(k)，即
其中 Ox(i,j,k)是k帧内(i ,j)像素光 流旳X分量，Oy(i,j,k)是k帧内像素(i,j) 光流旳Y分量。
44
颜色特征
颜色是图像最明显旳特征，与其他特征 相比，颜色特征计算简朴、性质稳定， 对于旋转、平移、尺度变化都不敏感， 体现出很强旳鲁棒性。
颜色特征涉及颜色直方图、主要颜色、 平均亮度等。
45
其中利用主要颜色和平均亮度进行图像 旳相同匹配是很粗略旳，但是它们能够 作为层次检索措施旳粗查，对粗查旳成 果再利用子块划分旳颜色直方图匹配进 行进一步旳细查。
8
三、基于内容旳视频检索简介
我们需要研究旳是，信息检索系统怎样 适本地表达用户所要求旳内容，并在视 频数据库中找出符合这个查询要求旳信 息返回给用户。
Content-Based Video Retrieval,CBVR 根据视频旳内容和上下文关系，对大规
模视频数据库中旳视频数据进行检索 提供这么一种算法：在没有人工参加旳
9
目前，基于内容旳视频检索研究，除了 辨认和描述图像旳颜色、纹理、形状和 空间关系外，主要旳研究集中在视频分 割、特征提取和描述（涉及视觉特征、 颜色、纹理和形状及运动信息和对象信 息等）、关键帧提取和构造分析等方面

第一节档案信息检索的基本原理
四、档案信息查找
档案信息查找（Retrieve，Search）是从已有档 案检索工具中检索出与用户提问相关的信息，包 括档案文件、事实、数据等。（1）数据检 索（ Data Retrieval），如机构名称、观测数据电话 号码、统计数据、设备参数、图表、会计 数据 等。（2）事实检索（Fact Retrieval），如事 物（事件）的性质、定义、发生的时间、 地点 、过程等。（3）档案文件检索（Record Retrieval），就是以档案文件为检索对象的信 息检索
第二节文本数字档案信息检索
二、信息检索的算法模型 （二） 布尔检索模型 布尔检索模型（Boolean Model）是如今文献检索 系统和网络搜索引擎中最为常用的检索模型。布 尔模型采用布尔代数的方法，用布尔表达式表示 用户提问，通过对文献标识与提问式的逻辑比较 来检索文献。布尔模型的基本运算是“与”（ and）、“或”(or)、“非”(not)的运算。“与” 运算就是检出同时含有用户不同提问标识的文献 集合，“或”运算就是检出至少含有用户提问标 识之一的所有文献，“非”运算就是检出不含有 某检索标识的所有文献。
第二节文本数字档案信息检索
二、信息检索的算法模型
（六）扩展布尔检索模型 为了解决传统布尔模型存在的问题，20世纪 80年代初，出现了扩展布尔模型。扩展布尔 模型克服了传统布尔模型准确匹配的缺陷。它 用一个标准化的距离函数（基于线性向量范数） 来匹配提问式与文献，当某一给定文献中出现 较多提问词时，它的值就大于含提问词较少的 文献。
第二节文本数字档案信息检索
二、信息检索的算法模型 （四） 概率检索模型 概率检索模型(Probabilistic Model)就是利用概率论 的原理，通过赋予标引词某种概率值来表示这些 词在相关文献集合或无关文献集合中的出现概率， 然后计算某一给定文献与某给定提问相关的概率， 最后系统据此做出检索决策。 概率检索模型的基础是概率标引。 概率检索模型基本上是一种基于Bayes决策理论的 自适应模型。

多媒体系统投标技术方案一、引言随着科技的不断发展，多媒体系统在各种场合的应用日益广泛。

本次投标的多媒体系统技术方案旨在为用户提供一套先进、实用、高效且具有前瞻性的多媒体解决方案。

我们将结合用户需求和行业趋势，提供一套全面的技术方案，以满足其对于高质量多媒体系统的需求。

二、需求分析根据用户需求，我们将为该多媒体系统提供以下功能：1、音视频播放：支持高清视频播放，无延迟，无卡顿。

音频播放清晰、立体声效果优秀。

2、互动功能：支持多种互动方式，包括但不限于触屏操作、无线投屏、语音识别等。

3、内容制作：提供内容制作工具，支持图片、音频、视频等多种素材导入，可进行实时编辑和调整。

4、智能化管理：支持远程管理和控制，可进行设备监控、故障诊断、系统升级等操作。

5、安全可靠：系统安全性高，能有效防止黑客攻击和病毒感染。

同时，具备数据备份和恢复功能，确保数据安全。

6、灵活扩展：系统具有良好的扩展性，可随时添加新设备或进行功能扩展。

三、技术方案1、系统架构：采用基于云计算的分布式架构，可实现负载均衡和容错处理。

同时，结合容器化技术，确保系统的稳定性和可扩展性。

2、音视频播放：采用先进的视频编解码器和音频处理技术，支持多种格式的高清视频播放。

同时，结合流媒体技术，实现音视频的实时传输和播放。

3、互动功能：采用触摸屏、无线投屏等技术，实现多种互动方式。

同时，结合语音识别技术，实现语音控制和交互。

4、内容制作：采用可视化编辑工具，支持多种素材导入和实时编辑。

同时，结合云端存储技术，实现数据的安全备份和共享。

5、智能化管理：采用远程管理技术，实现设备的远程监控和管理。

同时，结合人工智能技术，实现故障预测和自动修复功能。

6、安全可靠：采用多重安全防护措施，包括防火墙、入侵检测系统、数据加密等。

同时，结合备份和恢复策略，确保数据的安全性和完整性。

7、灵活扩展：采用模块化设计理念，方便新功能的添加和扩展。

同时，结合微服务架构，实现服务的动态伸缩和负载均衡。

多媒体技术原理及应⽤⼆多媒体信息存储特点:多媒体信息存在和表现有多种形式.多媒体信息量⼤.光盘系统特点:(1)与硬盘相⽐,具有可拆卸性;容量相当;驱动器较贵,但盘⽚便宜;读写速度慢.(2)与磁带相⽐,具有容量⼤,随机存取性强的优点.(3)激光头与介质⽆接触,不受环境影响⽽退磁,信息保存时间长,可达30年以上.光盘按读写功能的分类:CD-ROM只读光盘WORM⼀次写多次读光盘(write once read many)Rewritable可重写光盘DVD(digital video disc)光盘⼯作原理:只读光盘读原理,只读光盘上的信息沿着盘⾯螺旋形状的信息轨道以凹坑和凸区的形式记录的.凹凸交界的正负跳变沿均代表数字"1",两个边缘之间代表数字"0"数字信息记录的优点是抗⼲扰能⼒强,由于盘⽚损坏或变脏⽽造成的读出错误也容易得到纠正.按照改变性质来实现信息存储的原理来分,光盘记录⽅式可分为两⼤类:磁光式和相变式.磁光式写操作⽅法:居⾥点记录和补偿点记录.相变式写过程是把记录介质的信息点从晶态转变为⾮晶态.CD-DA是CD的最基本标准. Red Book,特定的地址标记,其单位为"分","秒","扇区",1分=60秒,1秒=75扇区.光盘总长度为74分.错误的检测和校正采⽤的是 CIRC(cross interleave Reed-Solomon code)CD-ROW ,Yellow Book,采⽤常线速(const linear velocity,CLV)伺服⽅式.MTBF(mean time between failures)可录CD(recordalbe compact disc),Orange BookCD-I,Green BookVideo CD ,White Book错误检测码:error detection code ,EDC错误校正码:error correction code,ECC信息扇区:message sector光盘符号由3个记录构成:⽂件结构卷描述符(file structure volume descriptor)引导记录(boot record)终结记录(terminator record)视盘有两种信息记录格式:常线速(const linear velocity,CLV)常⾓速(costant angular velocity,CAV)DVD光盘:容量最⾼的双层双⾯盘可达17GB,单⾯单层4.7GB.存储133分钟的MPEG-2视频.⾳频卡的主要功能:数字化声⾳处理混⾳器合成器variable length coder可变长编码器block storage unit元块存储microcode宏码⽬前,⼤多数扫描仪采⽤的光电转换部件是CCD(电荷耦合器件)扫描仪分为:平板式,⼿持式,滚动式.监视器:monitor适配器:adaptor触摸屏包括三个部分:传感器,控制部件,驱动程序触摸屏按⼯作原理可分为:红外线触摸屏,电阻式触摸屏,电容式触摸屏,表⾯声波技术和底座式⽮量压⼒触摸屏.多媒体个⼈机(multimedia personal computer,MPC)基本的硬件结构:(1)⼀个功能强⼤,速度快的中央处理器CPU(2)⼤容量的存储器空间(3)⾼分辨率显⽰接⼝与设备(4)可处理⾳响的接⼝与设备(5)可存放⼤量数据的配置等CD-I系统是家⽤交互式多媒体系统.管理程序主要有:光盘⽂件管理模块CDFM(compact disc file manager)⽤户通信管理模块UCM(user communication manager)⾮易失RAM⽂件管理模块NRF(nonvolatile RAM file manager)流式⽂件管理模块PFM系统状态描述符CSD(configuration status descriptor)⽂件保护模块FPM(file protection mechanism)VCD有三个核⼼部分组成:CD驱动器或称CD加载器MPEG解码器微控制器DVD播放系统的组成:DVD盘读出机构DVD-DSP数字声⾳/视频解码器微处理器多媒体应⽤软件的开发过程(1)明确使⽤对象,了解⽤户需求(2)选择开发⽅法(3)准备多媒体数据(4)完成系统集成常⽤的识别输⼊⽅法是OCR扫描识别.计算机处理的⾳频种类包括波形⾳频(waveform audio)和MIDI⾳频.除了⼈类说话的声⾳和⾳乐,我们称其他的⾳频信号为噪声.⼈类听⼒所接受的频率:20HZ-20KHZCD标准的44100HZ采样率(sampling rate)MIDI也定义⾳频的形态与存储的⽅法,MIDI的⾳频是以消息的⽅式⽽⾮波形的⽅式组成.遥控键盘remote keyboardMIDI⾳频⽂件是⼀串的时序命令(time-stamped commands)它记录下⾳乐的⾏为.如按下钢琴键,踩踏板.⽬前国际上对视频的处理标准主要有:NTSC(National Television Standard Committee)美国研制的NTSC制式是⽬前最久和最⼴泛使⽤的电视制式,每秒30帧PAL(Phase Alternating Line)中国和英国采⽤的制式,每秒25帧SECAM(Sequential Color and Memory)法国和俄罗斯采⽤的.在多媒体数据中,⽆法从客观世界直接摄取的可视信息,就可有图形技术来制作,这些数据主要包括⽂字,图形,动画.动画是图形对象赋予运动属性后制作的连续画⾯效果.图形⽂件的格式通过图形原语和它们的属性来描述.计算机动画研究内容:运动控制⽅法运动学⽅法动⼒学⽅法随机⽅法⾏为规则⽅法⾃动运动控制中间画⾯的⽣成技术:关键帧⽅法,算法⽣成,基于物理的⽣成多媒体开发和创作环境具有功能:提供多媒体程序编程的环境超⽂本,超媒体和多媒体数据管理的功能⽀持多媒体数据的输⼊和输出应⽤连接功能多媒体数据制作功能友好的⽤户界⾯多媒体编著⼯具或称创作⼯具是⼀种⾼级的软件程序或命令集合.按照节⽬组织和安排数据的⽅式分成5类:以卡或页为基础的编著⼯具 ToolBook以图符为基础,基于事件的编著⼯具 Authorware以时间为基础的编著⼯具 action!以传统程序语⾔为基础的编著⼯具 C,Basic其它专⽤编著⼯具要对多媒体数据进⾏有效的管理,就需要建⽴⼀个多媒体数据管理环境,包括:存储环境,传输环境,软件环境多媒体数据的存储环境:可更换的硬盘,磁带备份介质,光盘档案⼈质,磁盘阵列.MDBMS系统提供的数据类型:text,binary ,image.MDBMS影响:(1)数据量⼤且媒体之间差异也⼤,从⽽影响数据库中的组织和存储⽅法(2)媒体各类的增多增加了数据处理的难度(3)多媒体不仅改变了数据库的接⼝,使其声⽂图并茂,⽽且也改变了数据库的操作形式,其中最重要的是查询机制和查询⽅法.(4)传统的事务⼀般都短⼩精悍,在多媒体数据库管理系统中也应尽可能使⽤事务.(5)多媒体数据库管理还有考虑版本控制问题.MDBMS的组织结构⼀般分为三种:集成型,主从型,协作型.模型扩充主要技术策略:使关系数据库管理技术和操作系统中⽂件系统功能相结合,实现对⾮格式化数据的管理.将关系元组中格式化数据和⾮格式化数据装在⼀起形成⼀个完整的元组,放在数据页⾯或数据页⾯组中.将元组中⾮格式化数据分成两部分.⼀部分是格式化数据本⾝,另⼀部分是对⾮格式化数据的引⽤.动态注释:dynamic memo格式注释:formatted memo图形:graphic⾯向对象在⽀持多媒体应⽤⽅⾯具有⾃⼰独特的优点:⾯向对象模型⽀持"聚合"与"概括"的概念,从⽽更好地处理多媒体数据等复杂对象的结构定义.⾯向对象模型⽀持抽象数据类型和⽤户定义的⽅法,便于数据库系统⽀持定义新的数据类型的操作.⾯向对象系统的数据抽象,功能抽象与消息传递的特点使对象在系统中是独⽴的,具有良好的封闭性,封闭了多媒体数据之间的类型及其他⽅⾯的巨⼤差异,并且容易实现并进⾏处理,也便于系统模式的扩充和修改.⾯向对象系统的对象类,类层次和继承性的特点,因⽽避免了关系数据库中讨论的各种异常.⾯向对象系统的查询语⾔通常是沿着系统提供内部固有联系进⾏的,避免了⼤量的查询优化⼯作.总之,⾯向对象的数据模型允许现实世界的对象以更接近于⽤户思维的⽅式来描述,⽽且具有描述和处理聚集层次,概括层次的能⼒.能⽀持抽象数据类型和⾏为,可扩充性和可共享性好,适宜于表⽰和处理多媒体信息,也适宜于多媒体数据库中各种媒体数据的存取与不同操作的实现.基于内容检索技术的特点:从媒体内容中提取信息线索,直接对媒体进⾏分析,抽取特征(如基于表达式)提取特征⽅法多种多样.⼈机交互基于内容的检索采⽤⼀种近似的匹配技术.实现基于内容的检索系统主要有两种途径:⼀是基于传统的数据库检索⽅法.采⽤⼈⼯⽅法将多媒体信息内容表达为属性(关键词)集合,再在传统的数据库管理系统框架内处理⼆是基于信号处理理论.采⽤特征抽取和模式识别的⽅法来克服基于数据库⽅法的的局限性.特征匹配是基于内容检索的关键.MPEG-7:正式标准名称:多媒体内容描述接⼝(multimedia content description interface)描述模式:description scheme,DS描述定义语⾔:description definition language ,DDL是MPEG-7的核⼼MPEG坚持"制定最少的最有⽤的"原则.超⽂本(hypertext)结构采⽤⼀种⾮线的⽹状结构结构组织块状信息.超⽂本是由信息结点和表⽰信息结点间相关性的链构成的⼀个具有⼀定逻辑结构和语义的⽹络.结点为基本单元.第⼆代超⽂本系统与多媒体技术结合起来,为强调系统处理多媒体信息的能⼒⽽称为超媒体(hypermedia)系统,即超媒体=多媒体+超⽂本.超⽂本抽象机(hypertext abstract machine)HAM模型把超⽂本系统分为三个层次:⽤户界⾯层,超⽂本抽象机层,数据库层.例⽰:instantiation表现规范:presentation specification锚号:anchor id锚值:anchor value超⽂本主要成分:结点,链,宏结点.结点(节点)是超⽂本表达信息的⼀个基本单位.宏⽂本macrotext微⽂本microtext⽂献模型的基本任务:能够表⽰多媒体⽂献的内容层次性能够表⽰多媒体⽂献的版⾯布局能够表⽰多媒体⽂献的时间布局能够将内容与布局对应起来ODA(the office/open document architecture)HyTime全称为"Hypermedia/time-based structuring language"时基超媒体结构化语⾔Web系统是⽬前最流⾏的运⾏于Internet上的超⽂本系统.可扩展标记语⾔XML:extensible markup language主要有三个要素:⽂档定义(DTD/XML Schema),XSL和Xlink.XML提供了数据定义机制,⽬前存在两种⽅式:DTD和Schema动态⽹页⽣成技术:⽬前常⽤的有:ASP(active server pages)JSP(Java server pages)PHP(personal hypertext preprocessor)HTTP:hypertext transfer protocol超⽂本传输协议.缓存系统的体系结构:层次缓存结构.分布式缓存结构,混合的缓存结构缓存⽅式:预装preload技术,动态置换,部分缓存.LRU,least recently usedLFU,least frequently usedFIFO,first in first outLLF,lowest latency first所谓数据模型就是在计算机数据世界中建⽴的计算机所能接受的对现实世界中所要研究对象的抽象描述.具有两层含义:提供⼀种计算机可接受的信息表⽰和处理⽅法能够指出数据的构造,即能够表⽰数据及其属性特征,同时指出数据间的联系.对于多媒体系统的数据模型来说,其主要任务是:能够表⽰不同媒体的数据构造及其属性特征.所谓形式化描述就是⽤数学概念或类数学概念来精确地定义和描述信息系统的基本特性(属性和结构等)的⼀种⽅法.⽤集合论和⼀阶逻辑来抽象超⽂本模型.多媒体信息元:以⾃上⽽下的观点来看,多媒体信息元是具有⼀定语义的,组成信息系统应⽤的信息⼦块.以⾃下⽽上的观点来看,多媒体信息元是⼀个或多个媒体数据元经过⼀定的添加与包装⽽合成的超数据元.信息元的⼤⼩即是各种多媒体应⽤的公共需求,即信息元必须满⾜的特性.MHEG(Multimedia and Hypermedia Information Coding Expert Group)超⽂本信息元标准.采⽤⾯向对象的⽅法来分析设计模型.MH对象分成:输出内容对象 output content⼀般输⼊对象 generic input投射器对象 projector基本对象 basic合成对象composite条件与动作按钮button动作按钮action button暂停-继续按钮stay-on button切换按钮switch button菜单选择menu selection多项选择multiple selection字符串character string位置location数值numericla value时间合成的三种同步表⽰⽅法:层次化同步,基于时间轴的同步,基于参考点的同步.多媒体通信的特点:多媒体数据量⼤,存储容量⼤,传输带宽要求⾼.多媒体实时性.多媒体时空约束多媒体交互性分布式处理和协同⼯作多媒体通信实现途径:话路+视频⽹络+视频有线电视+交互功能多媒体通信的关键技术声⾳,视频,动画等的传输技术数据压缩和解压缩技术解决多媒体实时同步问题解决协议和标准化问题在模拟通信⽹上传输静态图像的电话称为可视电话⼀般分为四个组成部分:语⾳处理部分图像输⼊部分图像输出部分图像信号处理部分专⽤控制器是电视电话的核⼼.电话⽹是按模拟声⾳信号⽽设计的,传送带宽只有300---3400HZ,传输图像有困难,从⽬前情况来看,只能传送静态图像.帧中继(frame relay ,FR)是⼀种HDLC规程的宽带数据业务标准多媒体信息传输对⽹络性能的要求:吞吐量,是指⽹络传输⼆进制信息的速率,⼜称⽐特率或带宽.实时传输的活动图像是对⽹络吞吐量要求最⾼的媒体.传输延时(transmission delay)定义为从信源发出第⼀个⽐特到信宿接收到第⼀个⽐特之间的时间差,它包含信号在物理介质中的传播延时和数据在⽹中的处理延时.另⼀个常⽤的参数是端到端的延时.⽹络传输延时的变化称为⽹络的延时抖动(delay jitter):度量延时抖动的⽅法中常⽤的⼀种是⽤在⼀段时间内最长和最短的传输延时之差来表⽰.错误率:度量⽅式:误码率BER(bit error rate),包错误率PER(packet error rate),包丢失率FLR(packet loss rate)QoS:quality of service分布式多媒体系统的基本特征:多媒体集成性,资源分散性,运⾏实时性,操作交互性,系统透明性.分布式多媒体系统的层次结构:多媒体接⼝层:系统与各种媒体通信输⼊输出的接⼝,处于最低层.多媒体传输层流管理层多媒体表⽰层应⽤层.声⾳点播:audio on demand视频点播:video on demandIP电话:IP telephony分组实时视频会议:group realtime video conferencing从多媒体信息传输来讲,Internet提供两种类型的服务:⼀是可靠的⾯向连接服务,使⽤TCP协议,对信息包时延要求不⾼.⼆是不可靠的⽆连接服务,使⽤UDP协议,不保证丢失包,也不保证时延满⾜要求.⽬前,多媒体⽹络应该解决下⾯问题:提⾼⽹络带宽,减少延时,减少抖动.两个解决⽅法:扩⼤链路带宽,改进Internet协议.⽹络传输的⽅法根据传输⽬标的多少可分为:单播unicast,组播multicast,⼴播broadcast在Internet上要传输多媒体信息最常⽤的是单播技术.组播或称多播是指⽹上⼀点到⽹上多个指定点(同⼀个⼯作组类成员)传输信息.它是⼀种较好的节省带宽减少服务器负担的传输⽅法.Internet的IP地址分为五类:A,B,C,D,E.为⽀持组播功能,发送端和接收端及其之间的⽹络设施都必须具有多播功能.组播路由选择算法:泛洪法(flooding),⽀撑树(spanning tree),反向路径⼴播(reverse path broadcasting ,RPB),修剪的反向路径⼴播(truncated reverse path broadcasting ,TRPB),Steiner树.基于核⼼树的组播(core-based tree,CBT)组播路由选择协议:距离⽮量组播路由协议(Distance Vector Multicast Routing Protocol,DVMRP)组播开放最短路径优先路由协议(Multicast Open Shortest Path First Routing,MOSRF)协议独⽴的组播路由协议(protocol independent multicast,PIM),采⽤两种协议,PIM-DM(dense mode)和PIM-SM(sparse mode)底层传输系统 SDH,synchronous digital hierarchy多协议标识交换 MPLS,multi-protocol label switching标识交换路径 LSP,label-switched path标识交换路由器 LSR,label-switched router密集波分复⽤ DWDM,dense wave-division multiplexing电⼦布告栏系统 BBS,bulletin board system群决策⽀持系统 GDSS,group decision support systems影⽚点播 MOD,movies on demand远程购物 teleshopping远程学习 distance learning家庭银⾏ home banking远程医疗telemedicine电视会议video conferencing内容制作content production事务服务transaction services。

所谓 基于 内容 的检索是对媒 体对象 的内容及 上下文语 义 环境进行 检索 ，如图像 中的颜色 、 纹理 、 形状 ，视频 中的镜头 、
场 景 、 头 的运 动 ，声 音 中 的音 调 、 度 、 色 等 。 基 于 内容 的 镜 响 音
统通常 由媒 体库 、 特征 库 和知识库 组成 。媒体 库包 含多 媒体
数据 ，如文本 、 图像 、 音频 、 视频等 ； 特征库包 含用户输 入的特
征 和预 处 理 自动 提 取 的 内容 特 征 ；知 识 库 包 含 领 域 知 识 和 通
检索 突破 了传统的基于文本检索技术 的局限 ， 直接对 图像 、 视
频 、 频 内容 进 行 分 析 ，抽 取 特 征 和语 义 ， 用 这 些 内 容 特 征 音 利
用知识 ，其 中的知识表 达可 以更换 ，以适应 各种不 同领 域 的 应 用要求
一
建立索引 并进 行检索。在这 一检索 过程 中 ， 主要 以图像 处 它 理、 模式识别 、 计算机 视觉 、 图像理 解等学 科 中 的一些 方法 为
、
基 于内容 的视 频检索
部分基础 技术 ， 多种技术 的合成 。与传 统 的信 息检 索相 比 ， 是
件很难 的事 ， 但是 要在 浩如 烟海 的资料 库 中全 面 、 确 、 速 准 迅 地找 到所 需的视 、 音频 内容 ， 却并 不是一件 很容易 的事 情。因 此， 研究基于 内容 的视 、 音频检索 技术在媒 体资产管 理系统 的
运用 就成为迫切的需要 。
２ 直接从 内容中提取 信息线索 。基 于 内容 的检索 直接对 ． 文本 、 图像 、 视频 、 音频进行分析 ， 中抽取 内容 特征 ，然后利 从 用这些 内容 特征建立索引并进行检索 。 ３ 满足用户 多层 次的检索要求 。基 于 内容 的检索 检索 系 ．