H264规范

H.264标准的特点及应用随着人类精神需求和空间需求的提升，人们不再满足面对面的语言交流，空间距离的增加导致人们面对面的语言交流变得越来越少，人们更需要在时空中交流与交往。

当传统的交流方式难以实现时，更需要视觉、感观以及信息交流。

正因为如此，促进了卫星通信、微波通信、有线/无线传输技术的发展，也推动信息压缩技术和宽带传输技术，同时推动了安防业的迅猛发展。

视频信息传输和视频通讯的猛增，给视频压缩技术带来了很大挑战。

无论是互联网还是无线网络，都需要一种新型的压缩算法，新算法要求高压缩比，且能适应不同的网络环境。

以较小的失真、较高的压缩比、更小的花费、较低的码率在信道中传递视频，进行多媒体通信是今后视频压缩技术研究的一个方向。

H.264，又称MPEG-4part10，也称AVC(AdvancedVideoCoding)，是一个数字视频压缩标准，由VCEG(ITU-TVideoCodingExpertsGroup)和MPEG(ISO/IECMovingPictureExpertsGroup)联合组成的JVT(JointVideoTeam)于2003年3月正式发布[1，2]。

H.264标准的主要目标就是在同等保真条件下，提高编码效率。

这是一对矛盾，既然要求图像不失真，则图像传输的比特数就大，在网络带宽一定的情况下，图像信号传输的速度就快，因此，只有提高编码效率才能实现。

H.264的源起在以往众多的视频编码算法中，被广泛认可并应用于实际的是ISO/IEC制定的MPEG-X和ITU-T制定的H.26x两大系列视频编码国际标准。

H.261是早期的编码标准，主要是规范ISDN网上的会议电视和可视对讲。

它采用的是可减少时间冗余的帧间预测和减少空间冗余的DCT变换的混合编码方法，以及ISDN信道匹配，其输出码率是P×64kbit/s。

P较小时，传输清晰度不太高的图像;P较大时，可以传输清晰度较好的会议电视图像。

H264编解码协议详解H.264编解码协议，也被称为AVC（Advanced Video Coding），是一种广泛应用于视频压缩的标准。

它是一种基于帧的压缩算法，可以将高质量的视频数据以较低的比特率传输和存储。

以下是H.264编解码协议的详细解释：1.压缩结构H.264使用了多种技术来实现高效率的视频压缩。

它使用了预测编码、变换编码和熵编码等多种技术。

预测编码通过利用帧间和帧内的冗余性，对视频进行空间和时间上的预测。

变换编码则通过对预测误差进行离散余弦变换（DCT），在频域上进行编码。

最后，熵编码使用了熵编码表将变换后的数据进行进一步的压缩。

2.帧结构H264将视频数据划分为一系列的帧，每个帧包含了许多宏块（macroblock）。

其中，关键帧（I帧）是完全独立的帧，它包含了视频的全局信息。

预测帧（P帧）和双向预测帧（B帧）则通过对前一帧和前后一帧进行预测来进行编码。

P帧只依赖前一帧，而B帧则依赖前后两帧。

这种结构可以进一步提高视频压缩的效率。

3.量化参数H.264使用量化参数对预测误差进行编码。

量化参数决定了每个预测误差值的精度，较大的量化参数会导致更高的压缩率，但也会导致较大的失真。

编码器和解码器可以通过动态调整量化参数来平衡压缩率和失真。

4.帧间预测帧间预测是H.264压缩的核心技术之一、它通过对前后帧的像素进行比较，预测当前帧的像素值。

如果在帧间没有大的运动，那么预测误差就会较小，从而达到更好的压缩效果。

帧间预测有多种模式，包括帧间直接模式（inter-direct mode）、帧间双向模式（inter-bidirect mode）和帧间skip模式（inter-skip mode）等。

5.熵编码H.264使用了基于上下文的自适应变长编码（CAVLC）和基于上下文的自适应二进制算术编码（CABAC）两种熵编码技术。

CAVLC主要用于编码量化系数和运动矢量等数据，而CABAC主要用于编码预测模式和其他语法元素。

序列、图像(存储单元)、宏块、像素一个序列的第一个图像叫做IDR 图像（立即刷新图像），IDR 图像都是I 帧图像。

H.264 引入IDR 图像是为了解码的重同步，当解码器解码到IDR 图像时，立即将参考帧队列清空，将已解码的数据全部输出或抛弃，重新查找参数集，开始一个新的序列。

●I帧（帧内编码帧）是一种自带全部信息的独立帧，无需参考其它图像便可独立进行解码。

视频序列中的第一个帧始终都是I帧。

I帧可以用来实现快进、快退以及其它随机访问功能。

如果新的客户端将参与查看视频流，编码器将以相同的时间间隔或者根据要求自动插入I帧。

I帧的缺点在于它们会占用更多的数据位，但I帧不会产生可觉察的模糊现象。

●P帧（帧间预测编码帧）需要参考前面的I帧和/或P帧的不同部分才能进行编码。

与I帧相比，P帧通常占用更少的数据位，但其缺点是，由于P帧对前面的P和I参考帧有着复杂的依赖性，因此对传输错误非常敏感。

●B帧（双向预测编码帧）需要同时以前面的帧和后面的帧作为参考帧。

不是参考帧，不会造成解码错误的扩散。

运算比较复杂，CPU占用较高。

I、B、P各帧是根据压缩算法的需要人为定义的,它们都是实实在在的物理帧。

一般来说，I帧的压缩率是7（跟JPG差不多），P帧是20，B帧可以达到50。

网络打包、网络抽象层单元(NALU)、片NALU的网络打包：(1) 额外开销要少，使MTU尺寸在100～64k字节范围都可以；(2) 不用对包内的数据解码就可以判别该包的重要性；(3) 载荷规范应当保证不用解码就可识别由于其他的比特丢失而造成的包不可解码；(4) 支持将NALU分割成多个RTP包；(5) 支持将多个NALU汇集在一个RTP包中。

●灵活宏块次序(FMO) 可以通过设置宏块次序映射表(MBAmap)来任意地指配宏块到不同的片组，FMO模式打乱了原宏块顺序，降低了编码效率，增加了时延，但增强了抗误码性能。

划分图像的模式各种各样，主要的有棋盘模式、矩形模式等。

H264编码原理详解前言•在日常生活中我们知道，电脑中的视频文件先要通过视频采集设备对物体进行采集，然后通过编码核心部件得到mp4,rmvb等格式进行保存。

有没有可能不经过上述核心编码部件采集之后直接进行显示呢？答案是可以的。

那为什么还要进行编码呢？答案是原始采集到的视频数据为YUV格式，这种格式不经过处理的话特别大，对于网络传输和永久保存非常不利，为了解决这个问题，就需要对原原始的视频数据进行压缩处理。

而H264则是目前一种流传广泛，成熟的视频压缩算法。

•先来看一个例子在学习H.264编码之前，我们先了解一下在手机相机拍摄视频的过程，如果Camera采集的YUV图像不做任何处理进行传输，那么每秒钟需要传输的数据量是多少？Camera采集的YUV图像通常为YUV420，根据YUV420的采样结构，YUV图像中的一个像素中Y、U、V分量所占比例为1：1/4：1/4，而一个Y分量占1个字节，也就是说对于YUV图像，它的一个像素的大小为(1+1/4+1/4)Y=3/2个字节。

如果直播时的帧率设置为30fps，当分辨率为1280x720，那么每秒需要传输的数据量为1280720(像素)30(帧)3/2(字节)=39.5MB；当分辨率为1920x720，那么每秒需要传输的数据量接近60MB，这对于手机的存储空间有很大考验，因此，我们就必须在拍摄形成视频文件保存在本地之前对采集的视频数据进行压缩编码。

H26X简介H261•目前国际上制定视频编解码技术的组织有两个，一个是“国际电联（ITU-T）”，它制定的标准有H.261、H.263、H.263+等，另一个是“国际标准化组织（ISO）”它制定的标准有MPEG-1、MPEG-2、MPEG-4等。

•H.261是1990年ITU-T制定的一个视频编码标准，属于视频编解码器。

设计的目的是能够在带宽为64kbps的倍数的综合业务数字网(ISDN forIntegrated Services Digital Network)上质量可接受的视频信号。

H.264编码技术简介摘要：本文介绍了H.264编码基本概况，技术特点，并与其他标准进行了比较。

简单介绍了H.264视频编码标准的几个关键技术，并针对目前H.264在监控领域的应用做了讲解。

目录摘要： (1)一．引言 (2)二. H.264视频编码基本概况 (2)2.1 什么是H.264编码？ (2)2.2 720P H.264高清成市场主流 (2)2.3 H.264 视频编码标准状况 (2)2.4 H.264 视频编码技术先进性 (3)2.5 H.264的核心竞争力是什么？ (5)2.6 Main Profile (6)三、H.264与其他标准的比较 (6)3.1H.264与其他标准的比较 (6)3.2 H.264的技术特点 (8)3.2.1 分层设计 (8)3.2.2 高精度、多模式运动设计 (8)3.2.3 帧内预测功能 (8)3.2.4 4×4块的整数变换 (8)3.2.5 统一的VLC (8)3.3 H.264的主要特点 (9)四、关键技术 (10)五、H.264在监控的应用 (12)5.1 TOYA SDVR 7IV 系统简介 (12)5.2 TOYA SDVR 7IV 系统主要特点 (12)5.3 主要技术规格 (13)5.4 系统功能 (13)5.5 TOYA SDVR 7IV系统应用 (13)六、H.264的总体优缺点 (14)七、小结 (15)八、参考文献 (16)一．引言随着社会的不断进步和多媒体信息技术的发展，人们对信息的需求越来越丰富，方便、快捷、灵活地通过语音、数据、图像与视频等方式进行多媒体通信已成不可或缺的工具。

其中视觉信息给人们直观、生动的形象，因此图像与视频的传输更受到广泛的关注。

然而，视频数据具有庞大的数据量，以普通的25帧每秒，CIF格式（分辨率为352×288）的视频图像为例，一秒钟的原始视频数据速率高达3.8M字节。

不对视频信号进行压缩根本无法实时传输如此庞大的数据量，因此，视频压缩技术成为研究热点。

H.264基础及RTP封包详解一. h264基础概念1、NAL、Slice与frame意思及相互关系1 frame的数据可以分为多个slice.每个slice中的数据，在帧内预测只用到自己slice的数据，与其他slice 数据没有依赖关系。

NAL 是用来将编码的数据进行大包的。

比如，每一个slice 数据可以放在NAL 包中。

I frame 是自己独立编码，不依赖于其他frame 数据。

P frame 依赖 I frame 数据。

B frame 依赖 I frame, P frame 或其他 B frame 数据。

一个frame是可以分割成多个Slice来编码的，而一个Slice编码之后被打包进一个NAL单元，不过NAL单元除了容纳Slice编码的码流外，还可以容纳其他数据，比如序列参数集SPS。

NAL指网络提取层，里面放一些与网络相关的信息Slice是片的意思，264中把图像分成一帧（frame）或两场（field），而帧又可以分成一个或几个片（Slilce）；片由宏块（MB）组成。

宏块是编码处理的基本单元。

2、NAL nal_unit_type中的1（非IDR图像的编码条带）、2（编码条带数据分割块A）、3（编码条带数据分割块B）、4（编码条带数据分割块C）、5（IDR图像的编码条带）种类型与 Slice种的三种编码模式：I_slice、P_slice、B_sliceNAL nal_unit_type 里的五种类型，代表接下来数据是表示啥信息的和具体如何分块。

I_slice、P_slice、B_slice 表示I类型的片、P类型的片，B类型的片.其中I_slice为帧内预测模式编码；P_slice为单向预测编码或帧内模式；B_slice 中为双向预测或帧内模式。

3、还有frame的3种类型：I frame、P frame、 B frame之间有什么映射关系么？I frame、P frame、 B frame关系同 I_slice、P_slice、B_slice，slice和frame区别在问题1中已经讲明白。

H264基础简介前⾔H264是属于视频的编码层的标准格式，视频编码显然是为了压缩⼤⼩。

我们看下⼀个完全没压缩的视频数据⼤⼩。

假设视频是⾼清（1280 * 720），每秒30帧，也就是每秒的数据1280 * 720 *30 / 8(字节) /1024（KB）/1024(MB) = 3.11MB那么90分钟的电影就要16.7GB，这个数据量显然在当前⽹络下是不现实的。

视频压缩的原理就是去除视频冗余部分，下⾯列举下1，时间冗余时间冗余是序列图像(电视图像、动画)和语⾳数据中所经常包含的冗余。

图像序列中的两幅相邻的图像，后⼀幅图像与前⼀幅图像之间有较⼤的相关性，这反映为时间冗余。

同理，在语⾔中，由于⼈在说话时发⾳的⾳频是⼀连续的渐变过程，⽽不是⼀个完全的在时间上独⽴的过程，因⽽存在时间冗余。

2，空间冗余空间冗余是图像数据中经常存在的⼀种冗余。

在同⼀幅图像中，规则物体和规则背景(所谓规则是指表⾯颜⾊分布是有序的⽽不是杂乱⽆章的)的表⾯物理特性具有相关性，这些相关性的光成像结构在数字化图像中就表现为数据冗余。

,3，知识冗余有许多图像的理解与某些基础知识有相当⼤的相关性,例如：⼈脸的图像有固定的结构。

⽐如，嘴的上⽅有⿐⼦。

⿐⼦的上⽅有眼睛，⿐⼦位于正脸图像的中线上等等。

这类规律性的结构可由先验知识相背景知识得到，我们称此类冗余为知识冗余。

4，结构冗余有些图像从⼤域上看存在着⾮常强的纹理结构，例如布纹图像和草席图像，我们说它们在结构上存在冗余。

5，视觉冗余⼈类视觉系统对于图像场的任何变化，并不是都能感知的。

例如，对于图像的编码和解码处理时，由于压缩或量⽐截断引⼊了噪声⽽使图像发⽣了⼀些变化，如果这些变化不能为视觉所感知，则仍认为图像⾜够好。

事实上⼈类视觉系统⼀般的分辨能⼒约为26灰度等级，⽽⼀般图像量化采⽤28灰度等级，这类冗余我们称为视觉冗余。

通常情况下，⼈类视觉系统对亮度变化敏感，⽽对⾊度的变化相对不敏感；在⾼亮度区，⼈眼对亮度变化敏感度下降。

H.264压缩编码标准Communication University of ChinaH.264概述1•ITU-T、ISO/IEC;•ITU针对可视会议等应用分别制定了H.261、H.262、H.263、H.263+、H.263++ ;•ISO/IEC主要制定了MPEG-1、MPEG-2、MPEG-4等标准;•由ITU-T视频编码专家组（VCEG）和ISO/IEC运动图像专家组（MPEG）联合组成的联合视频组（JVT，Joint Video Team）提出的新一代数字视频压缩标准。

H.264概述2•H.264/MPEG-4 AVC（Advanced Video Coding）MPEG-4第10部分；•注重实用，采用成熟的技术，要求更高的编码效率和简洁的表现形式；•注重对移动和IP网络的适应，采用分层技术，从形式上将编码和信道隔离开来，实质上是在源编码器算法中更多地考虑到信道的特点；•在混合编码器的基本框架下，对其主要关键模块都进行了重大改进；一、H.264编码原理•H.264/AVC标准没有明确定义一个编解码器。

•标准定义的是编码视频比特流的语法结构和对该比特流解码的方法。

H.264标准中诸如预测、变换、量化、熵编码等基本功能模块与前几个标准（MPEG-1, MPEG-2, MPEG-4, H.261, H.263）并无太大区别。

•它的变化主要体现在功能模块的具体细节上。

H.264/AVC编码器H.264/AVC解码器H.264/AVC与其它编码标准的差异•（1）与其它标准采用的DCT变换不同的是，H.264/AVC采用基于整数的变换，其优势在于反变换时不存在误匹配的问题；•（2）H.264/AVC使用不同尺寸的块和形状，高分辨率的子像素运动估计和选择多个参考帧来实现运动估计和运动补偿技术；•（3）H.264/AVC中采用的熵编码技术包括通用变长编码(UVLC, universal variable length coding)、基于上下文的自适应变长码编码(CAVLC, context-based adaptive variable length coding)或基于上下文的自适应二进制算术编码(CABAC, context-based adaptive binary arithmetic coding)。

.H.264标准简介摘要：众所周知，人类社会的三大支柱是：物质、信息和能量，而信息化的支柱就是信息。

作为传递信息的数字视频技术在通信和广播领域获得日益广泛的应用，特别是20世纪90年代以来，随着internet和移动通信的发展，视频信息和多媒体信息在通信领域的处理和传输技术成为了当前我国信息化的热点。

正文：随着HDTV的兴起，H.264这个规范频频出现在我们眼前，HD-DVD和蓝光DVD均计划采用这一标准进行节目制作。

而且自2005年下半年以来，无论是NVIDIA还是ATI都把支持H.264硬件解码加速作为自己最值得夸耀的视频技术。

H.264标准是在1997年由ITU的视频编码专家组（Video Coding Experts Group）提出时被称为H.26L，在ITU与ISO合作研究后被称为MPEG4 Part10（MPEG4 AVC）或H.264（JVT）。

一、H.264标准介绍H.264标准是一种高性能的视频编解码技术。

目前国际上制定视频编解码技术的组织有两个，一个是“国际电联（ITU-T）”，它制定的标准有H.261、H.263、H.263+等，另一个是“国际标准化组织（ISO）”它制定的标准有MPEG-1、MPEG-2、MPEG-4等。

而H.264则是由两个组织联合组建的联合视频组（JVT）共同制定的新数字视频编码标准，所以它既是ITU-T的H.264，又是ISO/IEC的MPEG-4高级视频编码（Advanced Video Coding，A VC），而且它将成为MPEG-4标准的第10部分。

因此，不论是MPEG-4 A VC、MPEG-4 Part 10，还是ISO/IEC 14496-10，都是指H.264。

H.264和以前的标准一样，也是DPCM加变换编码的混合编码模式。

但它采用“回归基本”的简洁设计，不用众多的选项，获得比H.263++好得多的压缩性能；加强了对各种信道的适应能力，采用“网络友好”的结构和语法，有利于对误码和丢包的处理；应用目标范围较宽，以满足不同速率、不同解析度以及不同传输（存储）场合的需求。