基于H264的嵌入式DVR分析与实现
- 格式：pdf
- 大小：286.34 KB
- 文档页数：3
!""#年第 $ 期
福
建
电
脑
4
基于 !"#$ 的嵌入式 %&’ 分析与实现!
丁 红% 刘军 !&’ 许琼涛 ’
!%( 上海第二工业大学计算机学院工程系 上海 !"%!") !* 武汉工程大学计算机科学与工程学院 武汉 +’""$+ ’*华中科技大学计算机学院信息存储系统国家专业实验室暨教育部重点实验室 武汉 +’""$+ " ! 摘 要 " 嵌 入 式 !"# 已 经 成 为 新 一 代 !"$ 产 品 的 主 流 ! 本 文 首 先 介 绍 了 一 下 %"$ 的 现 状 " 接 着 着 重 分 析 了 &’() 的关键技术及其在嵌入式 %"# 应用中的优势 " 最后 " 文章给出了这种基于 *+,) 的嵌入式 %"$ 的实现 ! ! 关键词 " *’,) #%"$# 嵌入式
以分成硬盘录像机和光盘录像机等主要的两种类型% 传统的 -37 以 :; 为 平 台 & 其 操 作 系 统 一 般 为 存 储 在 硬 磁 盘 中 的 <.=46>? 操作系统 # 因为 :; 本身的开放性和 <.=46>? 操作系统 平台的广泛使用 , 友好的图形用户接口 @AB 等优点 , 曾经得到广 泛地发展和应用 % 但是 <.=46>? 固 有 的 不 稳 定 性 以 及 :; 平 台 的配套设施昂贵等缺点 , 另一类嵌入 式 -37 迅 速 的 崛 起 而 得 到 了市场的认可 % 嵌入式 -37 本身使用能嵌入 7CDE 快闪存储器 中的实 时 操 作 系 统 7FCG# 性 能 稳 定 可 靠 # 并 可 以 组 成 非 常 复 杂 的监控网络且布控区域广泛 % 在现代嵌入式 -37 系统中 # 最为关键的核心技术是视频压 缩技术 # 其发展也经历了 H(!I% $H(!I!E’ $D:J@K%E!E+ 等 几 个 阶 段 % 为了追求在尽可能低的码率 ! 或存储容量 " 下获得尽可能好 的 图 像 质 量 这 样 一 个 目 标 #BGCEBJ; 制 定 了 一 个 系 列 的 D:J@ 标准 #BFALF 也制定了一个系列的 H*!IM 的视 频 编 码 国 际 标 准 # 开创了视频通信和存储应用的新纪元 % 随着市场对图像传输需 求的增加 # 为更好的压缩数据 # 根据不同信道传输特性自适应地 调 节 传 输 率 #BJCEBJ; 和 BFANF 两 大 国 际 标 准 化 组 织 联 手 制 定 的视频新标准 H*!I+ # 成 为 了 现 代 嵌 入 式 -37 中 视 频 压 缩 技 术 的发展趋势 % 视频压缩技术的发展 ()* 为了 规 范 BG-O 网 上 的 会 议 电 视 和 可 视 电 话 应 用 中 的 视 频 编码技术 # 最早出现的视频 编 码 标 准 是 H*!I% # 它 采 用 的 算 法 结 合 了 可 减 少 时 间 冗 余 的 帧 间 预 测 和 可 减 少 空 间 冗 余 的 -;F 变 换的混合编码方法 % 为了和 BG-O 信道相匹配 # 其输出码率是 P! I+QR.0E? % P 取值较小时 # 只能传清晰度不太高的图像 # 适合于面 对面的电视 电 话 &P 取 值 较 大 时 ! 如 P"I"# 可 以 传 输 清 晰 度 较 好 的会议电视图像 % 后来 # 又 出 现 了 低 码 率 图 像 压 缩 标 准 H*!I’ # 它在技术上对 H*!I% 进行了相当的改进和扩充 # 支持码率小于 I+QR.0E? 的应用 # 并且 H*!I’ 以及后来的 H*!I’S 和 H*!I’SS 已发 展 成 支 持 全 码 率 的 应 用 # 它 们 所 支 持 的 图 像 格 式 包 括 GTRN U;BV $U;BV$;BV$+;BV 甚至 %I;BV 等格式 % 随着多媒体技术的家庭普及和应用 #D:J@N% 标准出现了 # 其 码 率 约 为 %*!DR.0E?# 并 且 提 供 ’" 帧 ;BV !’#! !!WW" 质 量 的 图 像 # 是 专 门 为 ;-N7CD 光 盘 的 视 频 存 储 和 播 放 所 制 定 的 % 在 D:J@N2 标准视频编码部分中 # 视频压缩的基本算法与 H*!I%EH* !I’ 相 似 # 都 采 用 运 动 补 偿 的 帧 间 预 测 $ 二 维 -;F$3X; 游 程 编 码等方法 % 为了进一步提高编码效率 # 它还引入了帧内帧 !B "$ 预 测帧 !: "$ 双向预测帧 !Y " 和直流帧 !- " 等概 念 % 而 -3- 和 数 字
图 %* H*!I+ 视频编码分层结构图
"
福
建
电
脑
!""#年第 $ 期
如图 % 所示 &’(!)* 的算法在概念上可以分为两层 ! 视频编 码层 "+,- !+./01 ,1/.23 -4506 # 负 责 高 效 的 视 频 内 容 表 示 $ 网 络 提取层 %78- !709:16; 8<=964>9.12 -4506 & 负责以网络所要求的恰 当的方式对数 据 进 行 打 包 和 传 送 ’ 在 +,- 和 78- 之 间 定 义 了 一个基于分组方式的接口 $ 打包和相应的信令属于 78- 的一部 分 ’ 这样 $ 高编码效率和网络友好性的任务分别由 +,- 和 78来完成 ’ +,- 层包括基于块的运动补偿混合编码和一些新特性 ’ 与 ?@ABC! 等 视 频 编 码 标 准 一 样 $’D!)* 没 有 把 前 处 理 和 后 处 理等功能包括在草案中 $ 这样可以增加标准的灵活性 ’ 78- 负责使用下层网络的分段格式来封装数据 $ 包括组帧 ( 逻辑信道的信令( 定时信息的利用或序列结束信号等’ 例如$ 78- 支 持 视 频 在 电 路 交 换 信 道 上 的 传 输 格 式 $ 支 持 视 频 在 E2906209 上利用 FG@HIJ@HE@ 传输的格式 ’ 78- 包括自己的头部 信息 ( 段结构信息和实际载荷信息 $ 即上层的 +,- 数据 ’ 这种分层的方式可以使得视频处理和数据存储分割开来$ 从而实现远程 J+F $ 同时也适用于嵌入式 J+F 中利用 JK@ 处 理视频压缩 $ 利用其他 FEK, 处理器来处理数据的存储操作 $ 提 高编码能力和速度 ’ !"! 帧间预测编码 帧间预测编码利用连续帧中的时间冗余来进行运动估计和 补偿 ’ ’D!)* 的运动补偿支持 以 往 的 视 频 编 码 标 准 中 的 大 部 分 关 键 特 性 $ 而 且 灵 活 地 添 加 了 更 多 的 功 能 $ 除 了 支 持 @ 帧 (L 帧 外 $’D!)* 还 支 持 一 种 新 的 流 间 传 送 帧 ) )) K@ 帧 ’ 码 流 中 包 含 K@ 帧后 $ 能在有类似内容但有不同码率的码流之间 快 速 切 换 $ 同时支持随机接入和快速回放模式 ’ !! " 高精度 # 多模式运动估计 ’D!)* 支持 %H* 或 %HM 像素精度的运动矢量 ’ 在 ’D!)* 中采 用了 ) 阶 NEF 滤波器的内插获得 %H! 像素位置的值 ’ 当 %H! 像素 值获得后 $%H* 像素值可通过线性内插获得 $ 对于 *O%O% 的视频格 式 $ 亮度信号的 %H* 像素精度对应于色度部分的 %HM 像素的运动 矢量 $ 因此需要对色度信号进行 %HM 像素的内插运算 ’ 在进行运 动 估 计 时 $编 码 器 还 可 选 择 *增 强 +内 插 滤 波 器 来 提 高 预 测 的 效 果’
! 基金项目 $ 本文受到国家自然科学基金项目 %-./,011231) & 的资助 !
电视的火爆使得 D:J@N! 标准成为今天电视领域中的主流压缩 标准 # 这得益于 D:J@N! 标准在提高图像分辨率 $ 兼容数字电视 等方面做了一些改进 % 它将运动矢量的精度上升到半像素 # 在编 码运算中区分 ’ 帧 ( 和 ’ 场 ( 的概念 # 引入了编码的可分级性技术 # 加入了如空间可分级性 $ 时间可分级性和信噪比可分级性等内 容% 为了在低带宽的网络系统上传输视频数据# 近年推出的 D:J@N+ 标 准 引 入 了 基 于 视 听 对 象 !Z3C )ZT4.6N3.?T12 CR[580 " 的 编 码 # 采 用 了 如 形 状 编 码 $ 自 适 应 -;F $ 任 意 形 状 视 频 对 象 编 码等新的技术 # 大大提高了视频通信的交互能力和编码效率 % 然而引人注目的 D:J@N+ 的 ’ 基于对象的编码 ( 部分由于尚 有技术障碍 # 目前还难以普遍应用 % 新的视频编码标准 H*!I+ 融 合了主要应用于通信方面 H*!IM 系列标准和主要针对存储媒体 方面应用的 D:J@ 系列标准的特点 # 在混合编码的框架下引入 了新的编码方式 # 进一步提高了编码效率 % (), !)*+$ 在嵌入式 %&’ 中的优势 由于 H*!I+ 是 BFANF 的 3;J@ ! 视频编码 专 家 组 " 和 BGCE BJ; 的 D:J@ ! 活动图像编码专家组 " 的联合视频组 !\3F)[6.=0 ].456 051^ " 开 发 的 一 个 新 的 数 字 视 频 编 码 标 准 # 所 以 它 既 被 称 为 BFALF 的 H*!I+ 标准 # 又是 BGCEBJ; 的 D:J@L+ 的第 %" 部分 !Z3; "% H*!I+ 和以前 的 标 准 相 比 较 # 其 压 缩 的 效 率 提 高 了 许 多 倍 # 使得 H*!I+ 在视频监控录像领域中在以下几个方面具有巨大的 优势 ) 第 一 #采 用 ’回 归 基 本 (的 简 洁 设 计 #舍 去 众 多 的 选 项 #获 得 比 H*!I’SS 更好的压缩性能 # 从而节约了存储空 间 # 提 高 了 视 频 数据容量 & 第 二 # 可 以 使 用 较 高 的 解 析 度 # 由 于 使 用 了 统 一 的 3X; 符 号编码 # 高精度 $ 多模式的位移估计 # 基于 +!+ 块的整数变换 $ 分 层的编码语法等技术 # 使得 H*!I+ 算法具有很的高编码效率 # 在 相同的重建图像质量下 # 能够比 H*!I’ 节约 #"# 左右的码率 % 第 三 #H*!I+ 可 以 调 整 录 像 帧 率 # 其 应 用 目 标 范 围 宽 # 并 满 足不同速率 $ 不同解析度以及不同传输 ! 存储 " 场合的需求 & 第 四 #H*!I+ 加 强 了 对 各 种 信 道 的 适 应 能 力 # 采 用 ’ 网 络 友 好 (的 结 构 和 语 法 #有 利 于 对 误 码 和 丢 包 的 处 理 #其 码 流 结 构 网 络 适 应 性 强 # 增 加 了 差 错 恢 复 能 力 # 能 够 很 好 地 适 应 B: 和 无 线 网络的应用 % 对于 H*!I+ 的这些方面的优越性 # 我们将从下面的分析中 有更深的体会 % *) !)*+$ 的关键技术及其在 %&’ 中的应用分析 *)( 分层设计
福
建
电
脑
4
基于 !"#$ 的嵌入式 %&’ 分析与实现!
丁 红% 刘军 !&’ 许琼涛 ’
!%( 上海第二工业大学计算机学院工程系 上海 !"%!") !* 武汉工程大学计算机科学与工程学院 武汉 +’""$+ ’*华中科技大学计算机学院信息存储系统国家专业实验室暨教育部重点实验室 武汉 +’""$+ " ! 摘 要 " 嵌 入 式 !"# 已 经 成 为 新 一 代 !"$ 产 品 的 主 流 ! 本 文 首 先 介 绍 了 一 下 %"$ 的 现 状 " 接 着 着 重 分 析 了 &’() 的关键技术及其在嵌入式 %"# 应用中的优势 " 最后 " 文章给出了这种基于 *+,) 的嵌入式 %"$ 的实现 ! ! 关键词 " *’,) #%"$# 嵌入式
以分成硬盘录像机和光盘录像机等主要的两种类型% 传统的 -37 以 :; 为 平 台 & 其 操 作 系 统 一 般 为 存 储 在 硬 磁 盘 中 的 <.=46>? 操作系统 # 因为 :; 本身的开放性和 <.=46>? 操作系统 平台的广泛使用 , 友好的图形用户接口 @AB 等优点 , 曾经得到广 泛地发展和应用 % 但是 <.=46>? 固 有 的 不 稳 定 性 以 及 :; 平 台 的配套设施昂贵等缺点 , 另一类嵌入 式 -37 迅 速 的 崛 起 而 得 到 了市场的认可 % 嵌入式 -37 本身使用能嵌入 7CDE 快闪存储器 中的实 时 操 作 系 统 7FCG# 性 能 稳 定 可 靠 # 并 可 以 组 成 非 常 复 杂 的监控网络且布控区域广泛 % 在现代嵌入式 -37 系统中 # 最为关键的核心技术是视频压 缩技术 # 其发展也经历了 H(!I% $H(!I!E’ $D:J@K%E!E+ 等 几 个 阶 段 % 为了追求在尽可能低的码率 ! 或存储容量 " 下获得尽可能好 的 图 像 质 量 这 样 一 个 目 标 #BGCEBJ; 制 定 了 一 个 系 列 的 D:J@ 标准 #BFALF 也制定了一个系列的 H*!IM 的视 频 编 码 国 际 标 准 # 开创了视频通信和存储应用的新纪元 % 随着市场对图像传输需 求的增加 # 为更好的压缩数据 # 根据不同信道传输特性自适应地 调 节 传 输 率 #BJCEBJ; 和 BFANF 两 大 国 际 标 准 化 组 织 联 手 制 定 的视频新标准 H*!I+ # 成 为 了 现 代 嵌 入 式 -37 中 视 频 压 缩 技 术 的发展趋势 % 视频压缩技术的发展 ()* 为了 规 范 BG-O 网 上 的 会 议 电 视 和 可 视 电 话 应 用 中 的 视 频 编码技术 # 最早出现的视频 编 码 标 准 是 H*!I% # 它 采 用 的 算 法 结 合 了 可 减 少 时 间 冗 余 的 帧 间 预 测 和 可 减 少 空 间 冗 余 的 -;F 变 换的混合编码方法 % 为了和 BG-O 信道相匹配 # 其输出码率是 P! I+QR.0E? % P 取值较小时 # 只能传清晰度不太高的图像 # 适合于面 对面的电视 电 话 &P 取 值 较 大 时 ! 如 P"I"# 可 以 传 输 清 晰 度 较 好 的会议电视图像 % 后来 # 又 出 现 了 低 码 率 图 像 压 缩 标 准 H*!I’ # 它在技术上对 H*!I% 进行了相当的改进和扩充 # 支持码率小于 I+QR.0E? 的应用 # 并且 H*!I’ 以及后来的 H*!I’S 和 H*!I’SS 已发 展 成 支 持 全 码 率 的 应 用 # 它 们 所 支 持 的 图 像 格 式 包 括 GTRN U;BV $U;BV$;BV$+;BV 甚至 %I;BV 等格式 % 随着多媒体技术的家庭普及和应用 #D:J@N% 标准出现了 # 其 码 率 约 为 %*!DR.0E?# 并 且 提 供 ’" 帧 ;BV !’#! !!WW" 质 量 的 图 像 # 是 专 门 为 ;-N7CD 光 盘 的 视 频 存 储 和 播 放 所 制 定 的 % 在 D:J@N2 标准视频编码部分中 # 视频压缩的基本算法与 H*!I%EH* !I’ 相 似 # 都 采 用 运 动 补 偿 的 帧 间 预 测 $ 二 维 -;F$3X; 游 程 编 码等方法 % 为了进一步提高编码效率 # 它还引入了帧内帧 !B "$ 预 测帧 !: "$ 双向预测帧 !Y " 和直流帧 !- " 等概 念 % 而 -3- 和 数 字
图 %* H*!I+ 视频编码分层结构图
"
福
建
电
脑
!""#年第 $ 期
如图 % 所示 &’(!)* 的算法在概念上可以分为两层 ! 视频编 码层 "+,- !+./01 ,1/.23 -4506 # 负 责 高 效 的 视 频 内 容 表 示 $ 网 络 提取层 %78- !709:16; 8<=964>9.12 -4506 & 负责以网络所要求的恰 当的方式对数 据 进 行 打 包 和 传 送 ’ 在 +,- 和 78- 之 间 定 义 了 一个基于分组方式的接口 $ 打包和相应的信令属于 78- 的一部 分 ’ 这样 $ 高编码效率和网络友好性的任务分别由 +,- 和 78来完成 ’ +,- 层包括基于块的运动补偿混合编码和一些新特性 ’ 与 ?@ABC! 等 视 频 编 码 标 准 一 样 $’D!)* 没 有 把 前 处 理 和 后 处 理等功能包括在草案中 $ 这样可以增加标准的灵活性 ’ 78- 负责使用下层网络的分段格式来封装数据 $ 包括组帧 ( 逻辑信道的信令( 定时信息的利用或序列结束信号等’ 例如$ 78- 支 持 视 频 在 电 路 交 换 信 道 上 的 传 输 格 式 $ 支 持 视 频 在 E2906209 上利用 FG@HIJ@HE@ 传输的格式 ’ 78- 包括自己的头部 信息 ( 段结构信息和实际载荷信息 $ 即上层的 +,- 数据 ’ 这种分层的方式可以使得视频处理和数据存储分割开来$ 从而实现远程 J+F $ 同时也适用于嵌入式 J+F 中利用 JK@ 处 理视频压缩 $ 利用其他 FEK, 处理器来处理数据的存储操作 $ 提 高编码能力和速度 ’ !"! 帧间预测编码 帧间预测编码利用连续帧中的时间冗余来进行运动估计和 补偿 ’ ’D!)* 的运动补偿支持 以 往 的 视 频 编 码 标 准 中 的 大 部 分 关 键 特 性 $ 而 且 灵 活 地 添 加 了 更 多 的 功 能 $ 除 了 支 持 @ 帧 (L 帧 外 $’D!)* 还 支 持 一 种 新 的 流 间 传 送 帧 ) )) K@ 帧 ’ 码 流 中 包 含 K@ 帧后 $ 能在有类似内容但有不同码率的码流之间 快 速 切 换 $ 同时支持随机接入和快速回放模式 ’ !! " 高精度 # 多模式运动估计 ’D!)* 支持 %H* 或 %HM 像素精度的运动矢量 ’ 在 ’D!)* 中采 用了 ) 阶 NEF 滤波器的内插获得 %H! 像素位置的值 ’ 当 %H! 像素 值获得后 $%H* 像素值可通过线性内插获得 $ 对于 *O%O% 的视频格 式 $ 亮度信号的 %H* 像素精度对应于色度部分的 %HM 像素的运动 矢量 $ 因此需要对色度信号进行 %HM 像素的内插运算 ’ 在进行运 动 估 计 时 $编 码 器 还 可 选 择 *增 强 +内 插 滤 波 器 来 提 高 预 测 的 效 果’
! 基金项目 $ 本文受到国家自然科学基金项目 %-./,011231) & 的资助 !
电视的火爆使得 D:J@N! 标准成为今天电视领域中的主流压缩 标准 # 这得益于 D:J@N! 标准在提高图像分辨率 $ 兼容数字电视 等方面做了一些改进 % 它将运动矢量的精度上升到半像素 # 在编 码运算中区分 ’ 帧 ( 和 ’ 场 ( 的概念 # 引入了编码的可分级性技术 # 加入了如空间可分级性 $ 时间可分级性和信噪比可分级性等内 容% 为了在低带宽的网络系统上传输视频数据# 近年推出的 D:J@N+ 标 准 引 入 了 基 于 视 听 对 象 !Z3C )ZT4.6N3.?T12 CR[580 " 的 编 码 # 采 用 了 如 形 状 编 码 $ 自 适 应 -;F $ 任 意 形 状 视 频 对 象 编 码等新的技术 # 大大提高了视频通信的交互能力和编码效率 % 然而引人注目的 D:J@N+ 的 ’ 基于对象的编码 ( 部分由于尚 有技术障碍 # 目前还难以普遍应用 % 新的视频编码标准 H*!I+ 融 合了主要应用于通信方面 H*!IM 系列标准和主要针对存储媒体 方面应用的 D:J@ 系列标准的特点 # 在混合编码的框架下引入 了新的编码方式 # 进一步提高了编码效率 % (), !)*+$ 在嵌入式 %&’ 中的优势 由于 H*!I+ 是 BFANF 的 3;J@ ! 视频编码 专 家 组 " 和 BGCE BJ; 的 D:J@ ! 活动图像编码专家组 " 的联合视频组 !\3F)[6.=0 ].456 051^ " 开 发 的 一 个 新 的 数 字 视 频 编 码 标 准 # 所 以 它 既 被 称 为 BFALF 的 H*!I+ 标准 # 又是 BGCEBJ; 的 D:J@L+ 的第 %" 部分 !Z3; "% H*!I+ 和以前 的 标 准 相 比 较 # 其 压 缩 的 效 率 提 高 了 许 多 倍 # 使得 H*!I+ 在视频监控录像领域中在以下几个方面具有巨大的 优势 ) 第 一 #采 用 ’回 归 基 本 (的 简 洁 设 计 #舍 去 众 多 的 选 项 #获 得 比 H*!I’SS 更好的压缩性能 # 从而节约了存储空 间 # 提 高 了 视 频 数据容量 & 第 二 # 可 以 使 用 较 高 的 解 析 度 # 由 于 使 用 了 统 一 的 3X; 符 号编码 # 高精度 $ 多模式的位移估计 # 基于 +!+ 块的整数变换 $ 分 层的编码语法等技术 # 使得 H*!I+ 算法具有很的高编码效率 # 在 相同的重建图像质量下 # 能够比 H*!I’ 节约 #"# 左右的码率 % 第 三 #H*!I+ 可 以 调 整 录 像 帧 率 # 其 应 用 目 标 范 围 宽 # 并 满 足不同速率 $ 不同解析度以及不同传输 ! 存储 " 场合的需求 & 第 四 #H*!I+ 加 强 了 对 各 种 信 道 的 适 应 能 力 # 采 用 ’ 网 络 友 好 (的 结 构 和 语 法 #有 利 于 对 误 码 和 丢 包 的 处 理 #其 码 流 结 构 网 络 适 应 性 强 # 增 加 了 差 错 恢 复 能 力 # 能 够 很 好 地 适 应 B: 和 无 线 网络的应用 % 对于 H*!I+ 的这些方面的优越性 # 我们将从下面的分析中 有更深的体会 % *) !)*+$ 的关键技术及其在 %&’ 中的应用分析 *)( 分层设计
