2016.3.6 音视频基础 、IPB帧及其特点

视频压缩I,B,P帧的区别及特点MPEG-1压缩的基本思想:帧内压缩和帧间压缩。

其次,时间相关性的统计分析:统计的结果表明,在间隔1~2帧的图像中,各像素只有10%以下的点,其亮度差值变化超过2%,而色度差值的变化只有1%以下。

采用的压缩方法: 分组:把几帧图像分为一组(GOP),为防止运动变化,帧数不宜取多。

1.定义帧:将每组内各帧图像定义为三种类型,即I帧、B帧和P帧;2.预测帧:以I帧做为基础帧,以I帧预测P帧,再由I帧和P帧预测B帧;3.数据传输:最后将I帧数据与预测的差值信息进行存储和传输。

I帧:帧内编码帧I帧特点:1.它是一个全帧压缩编码帧。

它将全帧图像信息进行JPEG压缩编码及传输;2.解码时仅用I帧的数据就可重构完整图像;3.I帧描述了图像背景和运动主体的详情;4.I帧不需要参考其他画面而生成;5.I帧是P帧和B帧的参考帧(其质量直接影响到同组中以后各帧的质量);6.I帧是帧组GOP的基础帧(第一帧),在一组中只有一个I帧;7.I帧不需要考虑运动矢量;8.I帧所占数据的信息量比较大。

P帧:前向预测编码帧。

P帧的预测与重构:P帧是以I帧为参考帧,在I帧中找出P帧“某点”的预测值和运动矢量,取预测差值和运动矢量一起传送。

在接收端根据运动矢量从I帧中找出P帧“某点”的预测值并与差值相加以得到P帧“某点”样值,从而可得到完整的P帧。

P帧特点:1.P帧是I帧后面相隔1~2帧的编码帧;2.P帧采用运动补偿的方法传送它与前面的I或P帧的差值及运动矢量(预测误差);3.解码时必须将I帧中的预测值与预测误差求和后才能重构完整的P帧图像;4.P帧属于前向预测的帧间编码。

它只参考前面最靠近它的I帧或P帧;5.P帧可以是其后面P帧的参考帧,也可以是其前后的B帧的参考帧;6.由于P帧是参考帧,它可能造成解码错误的扩散;7.由于是差值传送,P帧的压缩比较高。

B帧:双向预测内插编码帧。

B帧的预测与重构B帧以前面的I或P帧和后面的P帧为参考帧,“找出”B帧“某点”的预测值和两个运动矢量,并取预测差值和运动矢量传送。

音视频技术基本知识一网易视频云是网易倾力打造的一款基于云计算的分布式多媒体处理集群和专业音视频技术，为客户提供稳定流畅、低时延、高并发的视频直播、录制、存储、转码及点播等音视频的PaaS服务。

在线教育、远程医疗、娱乐秀场、在线金融等各行业及企业用户只需经过简单的开发即可打造在线音视频平台。

现在，网易视频云总结网络上的知识，与大家分享一下音视频技术基本知识。

与画质、音质等有关的术语这些术语术语包括帧大小、帧速率、比特率及采样率等。

1、帧一般来说，帧是影像常用的最小单位，简单的说就是组成一段视频的一幅幅图片。

电影的播放连续的帧播放所产生的，现在大多数视频也类似，下面说说帧速率和帧大小。

帧速率，有的转换器也叫帧率，或者是每秒帧数一类的，这可以理解为每一秒的播放中有多少张图片，一般来说，我们的眼睛在看到东西时，那些东西的影像会在眼睛中停留大约十六分之一秒，也就是视频中只要每秒超过15帧，人眼就会认为画面是连续不断的，事实上早期的手绘动画就是每秒播放15张以上的图片做出来的。

但这只是一般情况，当视频中有较快的动作时，帧速率过小，动作的画面跳跃感就会很严重,有明显的失真感。

因此帧速率最好在24帧及以上，这24帧是电影的帧速率。

帧大小，有的转换器也叫画面大小或屏幕大小等，是组成视频的每一帧的大小，直观表现为转换出来的视频的分辨率的大小。

一般来说，软件都会预置几个分辨率，一般为320×240、480×320、640×360、800×480、960×540、1280×720及1920×1080等，当然很多转换器提供自定义选项，这里，不得改变视频长宽比例。

一般根据所需要想要在什么设备上播放来选择分辨率，如果是转换到普通手机、PSP等设备上，视频分辨率选择与设备分辨率相同，否则某些设备可能会播放不流畅，设备分辨率的大小一般都可以在中关村在线上查到。

⾳视频编码⼀些参数解析：码流、码率、⽐特率、帧速率、分辨率、⾼清的区别GOP/ 码流 /码率 / ⽐特率 / 帧速率 / 分辨率GOP(Group of picture)关键帧的周期，也就是两个IDR帧之间的距离，⼀个帧组的最⼤帧数，⼀般的⾼视频质量⽽⾔，每⼀秒视频⾄少需要使⽤ 1 个关键帧。

增加关键帧个数可改善质量，但是同时增加带宽和⽹络负载。

需要说明的是，通过提⾼GOP值来提⾼图像质量是有限度的，在遇到场景切换的情况时，H.264编码器会⾃动强制插⼊⼀个I帧，此时实际的GOP值被缩短了。

另⼀⽅⾯，在⼀个GOP中，P、B帧是由I帧预测得到的，当I帧的图像质量⽐较差时，会影响到⼀个GOP中后续P、B帧的图像质量，直到下⼀个GOP开始才有可能得以恢复，所以GOP值也不宜设置过⼤。

同时，由于P、B帧的复杂度⼤于I帧，所以过多的P、B帧会影响编码效率，使编码效率降低。

另外，过长的GOP还会影响Seek操作的响应速度，由于P、B帧是由前⾯的I或P帧预测得到的，所以Seek操作需要直接定位，解码某⼀个P或B帧时，需要先解码得到本GOP内的I帧及之前的N个预测帧才可以，GOP值越长，需要解码的预测帧就越多，seek响应的时间也越长。

CABAC/CAVLCH.264/AVC标准中两种熵编码⽅法，CABAC叫⾃适应⼆进制算数编码，CAVLC叫前后⾃适应可变长度编码，CABAC：是⼀种⽆损编码⽅式，画质好，X264就会舍弃⼀些较⼩的DCT系数，码率降低，可以将码率再降低10-15%（特别是在⾼码率情况下），会降低编码和解码的速速。

CAVLC将占⽤更少的CPU资源，但会影响压缩性能。

帧：当采样视频信号时，如果是通过逐⾏扫描，那么得到的信号就是⼀帧图像，通常帧频为25帧每秒（PAL制）、30帧每秒（NTSC 制）；场：当采样视频信号时，如果是通过隔⾏扫描（奇、偶数⾏），那么⼀帧图像就被分成了两场，通常场频为50Hz（PAL制）、60Hz（NTSC制）；帧频、场频的由来：最早由于抗⼲扰和滤波技术的限制，电视图像的场频通常与电⽹频率（交流电）相⼀致，于是根据各地交流电频率不同就有了欧洲和中国等PAL制的50Hz和北美等NTSC制的60Hz，但是现在并没有这样的限制了，帧频可以和场频⼀样，或者场频可以更⾼。

流媒体技术笔记（视频编码相关）流媒体技术笔记(视频编码相关)一、视频编码原理视频图像数据有极强的相关性，也就是说有大量的冗余信息。

其中冗余信息可分为空域冗余信息和时域冗余信息。

压缩技术就是将数据中的冗余信息去掉（去除数据之间的相关性），压缩技术包含帧内图像数据压缩技术、帧间图像数据压缩技术和熵编码压缩技术。

去时域冗余信息使用帧间编码技术可去除时域冗余信息，它包括以下三部分：——运动补偿:运动补偿是通过先前的局部图像来预测、补偿当前的局部图像，它是减少帧序列冗余信息的有效方法。

——运动表示不同区域的图像需要使用不同的运动矢量来描述运动信息。

运动矢量通过熵编码进行压缩。

——运动估计运动估计是从视频序列中抽取运动信息的一整套技术。

注：通用的压缩标准都使用基于块的运动估计和运动补偿。

去空域冗余信息主要使用帧内编码技术和熵编码技术：——变换编码帧内图像和预测差分信号都有很高的空域冗余信息。

变换编码将空域信号变换到另一正交矢量空间，使其相关性下降，数据冗余度减小。

——量化编码经过变换编码后，产生一批变换系数，对这些系数进行量化，使编码器的输出达到一定的位率。

这一过程导致精度的降低。

——熵编码熵编码是无损编码。

它对变换、量化后得到的系数和运动信息，进行进一步的压缩。

二、视频编码分类1、MPEG系列（由ISO[国际标准组织机构]下属的MPEG[运动图象专家组]开发）视频编码方面主要是MPEG1（VCD使用）、MPEG2（DVD使用）、MPEG4（DVDRIP使用的都是它的变种，如：divx，xvid等）、MPEG4 AVC。

1.1、MPEG-1编码MPEG-1是MPEG组织制定的第一个视频和音频有损压缩标准。

视频压缩算法于1990年定义完成。

1992年底，MPEG-1正式被批准成为国际标准。

MPEG-1是为CD光碟介质定制的的视频和音频压缩格式。

一张70分钟的CD光碟传输速率大约在1.4Mbps。

而MPEG-1采用了块方式的运动补偿、离散馀弦变换（DCT）、量化等技术，并为1.2Mbps传输速率进行了优化。

视频编码之I帧、P帧、B帧
视频传输原理
视频是利⽤⼈眼视觉暂留的原理，通过播放⼀系列的图⽚，使⼈眼产⽣运动的感觉。

单纯传输视频画⾯，视频量⾮常⼤，对现有的⽹络和存储来说是不可接受的。

为了能够使视频便于传输和存储，⼈们发现视频有⼤量重复的信息，如果将重复信息在发送端去掉，在接收端恢复出来，这样就⼤⼤减少了视频数据的⽂件，因此有了H.264视频压缩标准。

在H.264压缩标准中I帧、P帧、B帧⽤于表⽰传输的视频画⾯。

I帧⼜称帧内编码帧，是⼀种⾃带全部信息的独⽴帧，⽆需参考其他图像便可独⽴进⾏解码，可以简单理解为⼀张静态画⾯。

视频序列中的第⼀个帧始终都是I帧，因为它是关键帧。

2、P帧
P帧⼜称帧间预测编码帧，需要参考前⾯的I帧才能进⾏编码。

表⽰的是当前帧画⾯与前⼀帧（前⼀帧可能是I帧也可能是P帧）的差别。

解码时需要⽤之前缓存的画⾯叠加上本帧定义的差别，⽣成最终画⾯。

与I帧相⽐，P帧通常占⽤更少的数据位，但不⾜是，由于P帧对前⾯的P 和I参考帧有着复杂的依耐性，因此对传输错误⾮常敏感。

B帧⼜称双向预测编码帧，也就是B帧记录的是本帧与前后帧的差别。

也就是说要解码B帧，不仅要取得之前的缓存画⾯，还要解码之后的画⾯，通过前后画⾯的与本帧数据的叠加取得最终的画⾯。

B帧压缩率⾼，但是对解码性能要求较⾼。

总结：
I帧只需考虑本帧；P帧记录的是与前⼀帧的差别；B帧记录的是前⼀帧及后⼀帧的差别,能节约更多的空间,视频⽂件⼩了,但相对来说解码的时候就⽐较⿇烦。

因为在解码时,不仅要⽤之前缓存的画⾯,⽽且要知道下⼀个I或者P的画⾯,对于不⽀持B帧解码的播放器容易卡顿。

关于MP4渲染设置GOP中I、B、P帧其实关于压缩方式的说法，柯老大可能原来不是研究这方面的，个人觉得说法也不完全是“精确”的，M‐JPEG确实是属于比较过气的压缩算法，这个过气的原因是因为M‐jpeg只有帧内压缩，没有帧间压缩，所以，要达到同样损失小的画质，其码率就必须比较大但是，帧内压缩有帧内压缩的好处，不能完全抹杀，帧内压缩的好处是在解码的时候由于只需要考虑对帧内压缩进行解压缩，不需要考虑帧间压缩带来的其他额外负荷（下面会说这些额外负荷是什么），所以，对计算机的计算“功率”要求比较低，解码最容易，代价就是高码率，之所以过气，其实很重要的原因就是这种压缩非常不适合在网络上进行协同编辑和传输以标清分辨率720×576为例，这种分辨率下，要达到广播级画质，M‐jpeg的码率应当不低于50Mbps（通常需要80Mbps，也就是大约2：1的压缩比，如果无损压缩的话，大概要到接近100Mbps）。

为了解决通过网络实现高质量视频的共享、协作编辑和传输，后来发展的MPEG2格式则大规模引入帧间压缩的概念其实是有一些参考帧的，这些帧也叫I帧，是真正的图像帧，在参考帧之间是前向预测帧P 帧和后向预测帧B帧，形成所谓的IBP结构，两个I帧之间有多少个B帧和P帧，也有一些常用的组合，比如IBBP、IBPBP等等这些帧的结构就是所谓GOP，GOP包含的B和P帧的数量越多，称为GOP越长，也叫LONG GOP结构，GOP越长，则压缩效率越高，但是也不是没有上限的，一般到GOP到15已经很不容易了，这时可以用例如25M甚至更小的码率来获得原来需要50甚至100Mbps才能获得的画质但是，因为B帧和P帧是“虚幻”的帧，里面记录的其实是一些“预测”到的和I帧之间的差异，所以，在解码时，需要根据I帧和这些B、P帧计算出真正的图像帧来，这样就会在解码时带来更大的计算负荷除此之外，真正做帧精度编辑时，由于隔很久才有一个真正的I帧，所以，必须将GOP范围内的所有B帧和P帧都计算出I帧来才可以进行帧进度的编辑和特效处理，这就是现在所有非编采用的LONG GOP素材本地高速临时解码方案。

ipb帧原理
IPB（Inter-picture prediction with bi-directional frames）是一种视频压缩技术，用于视频编码中的预测帧压缩算法。

IPB帧原理是基于帧间预测的概念。

在视频编码中，一个视频序列会被分解成一系列的帧，其中包括I帧（Intra-frame，关键帧）、P帧（Predictive frame，前向预测帧）和B帧（Bi-directional frame，双向预测帧）。

I帧是独立的编码图像帧，不依赖其他帧。

P帧和B帧是通过对前后帧进行预测来编码的。

IPB帧原理中的P帧是通过对前向帧（通常是前一帧）进行预测来进行编码的。

P帧仅存储与前一帧的差异信息，而不需要存储整个帧的像素数据。

这种预测可以通过运动估计算法来实现，找到前一帧中与当前帧最相似的部分，然后使用运动矢量来表示两帧之间的位移。

B帧则是通过对前后帧（通常是前一帧和后一帧）进行预测来编码的。

B帧可以利用前一帧和后一帧之间的相似性来实现更高的压缩率。

通过寻找两个方向的运动估计矢量，可以对当前帧进行更准确的预测。

IPB帧原理充分利用了视频序列中的时间和空间相关性，通过预测帧来减少存储和传输的数据量，实现视频压缩。

这种预测的准确性和效果取决于运动估计算法的性能和编码器的设置。

H264编码原理以及I帧、B和P帧详解，H264码流结构分析H264码流结构分析/chenchong_219/article/details/379905411、码流总体结构：h264的功能分为两层，视频编码层（VCL）和⽹络提取层（NAL）。

H.264 的编码视频序列包括⼀系列的NAL 单元，每个NAL 单元包含⼀个RBSP。

⼀个原始的H.264 NALU 单元常由 [StartCode] [NALU Header] [NALU Payload] 三部分组成，其中 Start Code ⽤于标⽰这是⼀个NALU 单元的开始，必须是"00 00 00 01" 或"0000 01"。

其中RBPS有分为⼏种类型：NAL的解码单元的流程如下：2、 NAL Header：占⼀个字节，由三部分组成forbidden_bit(1bit)，nal_reference_bit(2bits)（优先级），nal_unit_type(5bits)（类型）。

forbidden_bit:禁⽌位。

nal_reference_bit：当前NAL的优先级，值越⼤，该NAL越重要。

nal_unit_type ：NAL类型。

参见下表⼏个例⼦：3、 ffmpeg解析H264流程分析这是⼀段实际的码流在上⾯的图⽚中,共有三个起始码:0x00 0000 01const uint8_t*ff_h264_decode_nal(H264Context*h, const uint8_t *src,int *dst_length, int*consumed, int length)中分析过程为：h->nal_ref_idc= src[0] >> 5;h->nal_unit_type= src[0] & 0x1F;此处src[0]即为06，写成⼆进制位0000 0110，则h->nal_ref_idc = 0，h->nal_unit_type = 6可以判断这个NALU类型为SEI，重要性优先级为0。

ipb标准和轻
IPB是采样率的一种模式帧间压缩模式，在相同分辨率和帧率情况下，IPB（轻）的文件体积是IPB（标准）的一半。

IPB（标准）在Full HD 尺寸下每分钟视频约200M-400M，文件尺寸比ALL-I更小，短片拍摄的时间更长，更适用于后期编辑。

IPB（轻）的文件尺寸最小，可提供最长的拍摄时间，在相同存储卡容量下比IPB（标准）的可记录时间更长。

HDR短片如果将短片记录尺寸设置为FHD 29.97P IPB或者FHD 25.00P IPB，则可以使用速控屏幕设置拍摄HDR短片。

此外，轻IPB是对标准IPB的简化版，功能更为简单，但也更加轻量化，更易于定制和操作。

相对于标准IPB，轻IPB资源占用更少，更适合小型论坛的建立，而标准IPB则更适合大型复杂的论坛项目。

并且，轻IPB成本较低，相对于标准IPB更为经济实惠。

111111111111111111111111111111111111111111111111111111111111111111111111111111 MPEG压缩中的I、B、P帧首先,MPEG-1压缩的基本思想:帧内压缩和帧间压缩。

其次,时间相关性的统计分析:统计的结果表明,在间隔1~2帧的图像中,各像素只有10%以下的点,其亮度差值变化超过2%,而色度差值的变化只有1%以下。

采用的压缩方法: 分组:把几帧图像分为一组(GOP),为防止运动变化,帧数不宜取多。

1.定义帧:将每组内各帧图像定义为三种类型,即I帧、B帧和P帧;2.预测帧:以I帧做为基础帧,以I帧预测P帧,再由I帧和P帧预测B帧;3.数据传输:最后将I帧数据与预测的差值信息进行存储和传输。

I帧:帧内编码帧I帧特点:1.它是一个全帧压缩编码帧。

它将全帧图像信息进行JPEG压缩编码及传输;2.解码时仅用I帧的数据就可重构完整图像;3.I帧描述了图像背景和运动主体的详情;4.I帧不需要参考其他画面而生成;5.I帧是P帧和B帧的参考帧(其质量直接影响到同组中以后各帧的质量);6.I帧是帧组GOP的基础帧(第一帧),在一组中只有一个I帧;7.I帧不需要考虑运动矢量;8.I帧所占数据的信息量比较大。

P帧:前向预测编码帧。

P帧的预测与重构:P帧是以I帧为参考帧,在I帧中找出P帧“某点”的预测值和运动矢量,取预测差值和运动矢量一起传送。

在接收端根据运动矢量从I帧中找出P帧“某点”的预测值并与差值相加以得到P帧“某点”样值,从而可得到完整的P帧。

P帧特点:1.P帧是I帧后面相隔1~2帧的编码帧;2.P帧采用运动补偿的方法传送它与前面的I或P帧的差值及运动矢量(预测误差);3.解码时必须将I帧中的预测值与预测误差求和后才能重构完整的P帧图像;4.P帧属于前向预测的帧间编码。

它只参考前面最靠近它的I帧或P帧;5.P帧可以是其后面P帧的参考帧,也可以是其前后的B帧的参考帧;6.由于P帧是参考帧,它可能造成解码错误的扩散;7.由于是差值传送,P帧的压缩比较高。

第一部分：基本概念讲解媒体：是表示，传输，存储信息的载体，常人们见到的文字、声音、图像、图形等都是表示信息的媒体。

多媒体：是声音、动画、文字、图像和录像等各种媒体的组合，以图文并茂，生动活泼的动态形式表现出来，给人以很强的视觉冲击力，留下深刻印象多媒体技术：是将文字、声音、图形、静态图像、动态图像与计算集成在一起的技术。

它要解决的问题是计算机进一步帮助人类按最自然的和最习惯的方式接受和处理信息。

流媒体：流媒体是指采用流式传输的方式在Internet播放的连续时基媒体格式，实际指的是一种新的媒体传送方式，而不是一种新的媒体格式（在网络上传输音/视频等多媒体信息现在主要有下载和流式传输两种方式）流式传输分两种方法：实时流式传输方式(Realtime streaming)和顺序流式传输方式(progressive streaming)。

多媒体文件：是既包括视频又包括音频，甚至还带有脚本的一个集合，也可以叫容器；媒体编码：是文件当中的视频和音频所采用的压缩算法。

也就是说一个avi的文件，当中的视频编码有可能是A，也可能是B，而其音频编码有可能是1，也有可能是2。

转码：指将一段多媒体包括音频、视频或者其他的内容从一种编码格式转换成为另外一种编码格式视频：连续的图象变化每秒超过24帧（Frame）画面以上时，根据视觉暂留原理，人眼无法辨别单幅的静态画面，看上去是平滑连续的视觉效果，这样连续的画面叫做视频音频：人类能听到的声音都成为音频，但是一般我们所说到的音频时存储在计算机里的声音第二部分：视频文件格式基本视频概念讲解：码率：码率就是数据传输时单位时间传送的数据位数,一般我们用的单位是kbps即千位每秒。

通俗一点的理解就是取样率，单位时间内取样率越大，精度就越高，处理出来的文件就越接近原始文件，但是文件体积与取样率是成正比的，所以几乎所有的编码格式重视的都是如何用最低的码率达到最少的失真。

但是因为编码算法不一样，所以也不能用码率来统一衡量音质或者画质.帧：帧就是一段数据的组合，它是数据传输的基本单位。

MPEG压缩中的 I、B、P帧首先,MPEG-1压缩的基本思想:帧内压缩和帧间压缩。

其次,时间相关性的统计分析:统计的结果表明,在间隔1~2帧的图像中,各像素只有10%以下的点,其亮度差值变化超过2%,而色度差值的变化只有1%以下。

采用的压缩方法: 分组:把几帧图像分为一组(GOP),为防止运动变化,帧数不宜取多。

1.定义帧:将每组内各帧图像定义为三种类型,即I帧、B帧和P帧;2.预测帧:以I帧做为基础帧,以I帧预测P帧,再由I帧和P帧预测B帧;3.数据传输:最后将I帧数据与预测的差值信息进行存储和传输。

I帧:帧内编码帧I帧特点:1.它是一个全帧压缩编码帧。

它将全帧图像信息进行JPEG压缩编码及传输;2.解码时仅用I帧的数据就可重构完整图像;3.I帧描述了图像背景和运动主体的详情;4.I帧不需要参考其他画面而生成;5.I帧是P帧和B帧的参考帧(其质量直接影响到同组中以后各帧的质量);6.I帧是帧组GOP的基础帧(第一帧),在一组中只有一个I帧;7.I帧不需要考虑运动矢量;8.I帧所占数据的信息量比较大。

P帧:前向预测编码帧。

P帧的预测与重构:P帧是以I帧为参考帧,在I帧中找出P帧“某点”的预测值和运动矢量,取预测差值和运动矢量一起传送。

在接收端根据运动矢量从I帧中找出P帧“某点”的预测值并与差值相加以得到P帧“某点”样值,从而可得到完整的P帧。

P帧特点:1.P帧是I帧后面相隔1~2帧的编码帧;2.P帧采用运动补偿的方法传送它与前面的I或P帧的差值及运动矢量(预测误差);3.解码时必须将I帧中的预测值与预测误差求和后才能重构完整的P帧图像;4.P帧属于前向预测的帧间编码。

它只参考前面最靠近它的I帧或P帧;5.P帧可以是其后面P帧的参考帧,也可以是其前后的B帧的参考帧;6.由于P帧是参考帧,它可能造成解码错误的扩散;7.由于是差值传送,P帧的压缩比较高。

B帧:双向预测内插编码帧。

B帧的预测与重构B帧以前面的I或P帧和后面的P帧为参考帧,“找出”B帧“某点”的预测值和两个运动矢量,并取预测差值和运动矢量传送。

MPEG压缩中的 I、B、P帧首先,MPEG-1压缩的基本思想:帧内压缩和帧间压缩。

其次,时间相关性的统计分析:统计的结果表明,在间隔1~2帧的图像中,各像素只有10%以下的点,其亮度差值变化超过2%,而色度差值的变化只有1%以下。

采用的压缩方法: 分组:把几帧图像分为一组(GOP),为防止运动变化,帧数不宜取多。

1.定义帧:将每组内各帧图像定义为三种类型,即I帧、B帧和P帧;2.预测帧:以I帧做为基础帧,以I帧预测P帧,再由I帧和P帧预测B帧;3.数据传输:最后将I帧数据与预测的差值信息进行存储和传输。

I帧:帧内编码帧I帧特点:1.它是一个全帧压缩编码帧。

它将全帧图像信息进行JPEG压缩编码及传输;2.解码时仅用I帧的数据就可重构完整图像;3.I帧描述了图像背景和运动主体的详情;4.I帧不需要参考其他画面而生成;5.I帧是P帧和B帧的参考帧(其质量直接影响到同组中以后各帧的质量);6.I帧是帧组GOP的基础帧(第一帧),在一组中只有一个I帧;7.I帧不需要考虑运动矢量;8.I帧所占数据的信息量比较大。

P帧:前向预测编码帧。

P帧的预测与重构:P帧是以I帧为参考帧,在I帧中找出P帧“某点”的预测值和运动矢量,取预测差值和运动矢量一起传送。

在接收端根据运动矢量从I帧中找出P帧“某点”的预测值并与差值相加以得到P帧“某点”样值,从而可得到完整的P帧。

P帧特点:1.P帧是I帧后面相隔1~2帧的编码帧;2.P帧采用运动补偿的方法传送它与前面的I或P帧的差值及运动矢量(预测误差);3.解码时必须将I帧中的预测值与预测误差求和后才能重构完整的P帧图像;4.P帧属于前向预测的帧间编码。

它只参考前面最靠近它的I帧或P帧;5.P帧可以是其后面P帧的参考帧,也可以是其前后的B帧的参考帧;6.由于P帧是参考帧,它可能造成解码错误的扩散;7.由于是差值传送,P帧的压缩比较高。

B帧:双向预测内插编码帧。

B帧的预测与重构B帧以前面的I或P帧和后面的P帧为参考帧,“找出”B帧“某点”的预测值和两个运动矢量,并取预测差值和运动矢量传送。

MPEG图像中的I帧,P帧和B帧MPEG图像编码包含3个成分：I帧，P帧和B帧。

MPEG编码过程中，一些图像压缩成I帧，一些压缩成P帧，另一些压缩成B帧。

I 帧压缩可以得到6；1的压缩比而不产生任何可觉察的模糊现象。

I帧压缩的同时使用P帧压缩，可以达到更高的压缩比而无可觉察的模糊现象。

B帧压缩可以达到200：1的压缩比，其文件尺寸一般为I帧压缩尺寸的15%，不到P帧压缩尺寸的一半。

I帧压缩去掉图像的空间冗余度，P帧和B帧去掉时间冗余度，下文将进一步解释。

I帧压缩采用基准帧模式，只提供帧内压缩，即把帧图像压缩到I 帧时，仅仅考虑了帧内的图像。

I帧压缩不能除去帧间冗余度。

帧内压缩基于离散余弦变换（DCT），类似于JPEG和H.261图像中使用DCT 的压缩标准。

P帧采用预测编码，利用相邻帧的一般统计信息进行预测。

也就是说，它考虑运动特性，提供帧间编码。

P帧预测当前帧与前面最近的I 帧或P帧的差别。

B帧为双向帧间编码。

它从前面和后面的I帧或P帧中提取数据。

B帧基于当前帧与前一帧和后一帧图像之间的差别进行压缩。

MEPG数据流开始时对CCIR-601规定的SIF分辨率的未压缩数字图像进行抽样。

SIF分辨率，对于NTSC制，就是亮度信号为352＊240各像素，每个色度信号都为176＊120个象素。

各信号都是每秒30帧。

MPEG压缩器决定了当前帧以I帧，P帧还是B帧。

帧确定之后就采用DCT变换，对结果进行量化，舍入，行程编码即变长编码。

编码后的典型图像帧序为：IBBPBBPBBPBBIBBPBBPBBPBBI…B帧和P帧要求计算机有更强的功能。

有些压缩器不能产生B帧或者连P帧也不能产生，则图像的压缩结果将有很明显的间断。

I帧（I frame）——帧内解码图像在MPEG编码的过程中，部分视频帧序列压缩成为I帧；部分压缩成P帧；还有部分压缩成B帧。

I帧法是帧内压缩法，也称为“关键帧”压缩法。

I帧法是基于离散余弦变换DCT（Discrete Cosine Transform）的压缩技术，这种算法与JPEG压缩算法类似。

采用I帧压缩可达到1/6的压缩比而无明显的压缩痕迹。

B帧（B frame）——双向帧间解码图像基本概念B帧法是双向预测的帧间压缩算法。

当把一帧压缩成B帧时，它根据相邻的前一帧、本帧以及后一帧数据的不同点来压缩本帧，也即仅记录本帧与前后帧的差值。

只有采用B帧压缩才能达到200：1的高压缩。

B帧的模式B 帧在 MPEG-4 中有四种参考模式，如果是同时参考前后的画面压缩，则记录的是和 (前画面pixel 值后画面 pixel 值)/2 的差值，也就是和「前后画面的平均」的差值。

所以记录的差值个数和 P 帧一样，只有一个，没有增加。

而因为 B 帧位于前后画面的中间，以「前后画面的平均」，也就是「前后画面的中间值」来作为预测数值（预测 B 帧的 pixel 数值为多少？如果有误差，再记录差值），这样这个预测数值会比单独使用前一个画面来预测，更接近目前真正的 B 帧的数值，可想而知，如此所需要记录的差值就会很小甚至可以根本不用记录，所以便可以省下很多的 bits，提高压缩率。

例如亮度变化 -> I B P 7 8 9如果 B 只参考前一个画面压缩，则需记录差值 1。

如果以 (I P)/2 压缩，则差值为 0，不需记录差值。

（虽然要记录两个矢量，不过矢量也可以再做进一步预测压缩，总的来说，还是会比单独参考前一个画面压缩来得小很多）如果画面不是这样变化怎么办？通常来讲画面都会是这样变化，如果不是这样变化我们就不使用 B 帧就算变化不是如此规则，换个方式想，B 帧可以参考的画面还是比 P 帧多，再怎么找，也还是 B 帧可以找到误差更小的方块来使用的机率大（因为可以选择、参考的对象较多），所以 B 帧还是比 P 帧的压缩率来得高。

关于I帧、P帧和B帧的说明(2009-04-15 08:57:31)转载本文介绍视频压缩的帧类型的说明。

The three major picture types found in typical video compression designs are Intra coded frames, Predicted pictures, and Bi-directional predictive pictures. They are also commonly referred to as I frames, P frames, and B frames.In video compression formats, such as in ITU-T VCEG or ISO/IEC MPEG video standards, often only the differences between pictures will be encoded. For example, in a scene in which a person walks past a stationary background, only the moving region will need to be represented (either using motion compensation or as image data or as a combination of the two, depending on which representation requires fewer bits to adequately represent the picture). The parts of the scene that are not changing need not be sent repeatedly. Contents∙1 Introduction to frame types∙2 Intra coded frames (or slices or I-frames or Key frames)∙3 Predicted frames (or slices)∙4 Bi-directional predicted frames (or slices)∙5 See also∙6 External linksIntroduction to frame typesStrictly speaking, the term picture is a more general term than frame, as a picture can be either a frame or a field, where a frame is essentially an image captured at some instant in time and a field is the set of every-other line that would form an image at some instant in time. Whensending video in interlaced-scan format, the coding of pictures as individual fields is often used rather than the coding of complete frames. Informally, the term "frame" is often used when the actual intent is the more general term "picture".Typically, pictures are segmented into macroblocks, and individual prediction types can be selected on a macroblock basis rather than being the same for the entire picture, as follows:∙I pictures can contain only intra macroblocks∙P pictures can contain either intra macroblocks or predictedmacroblocks∙ B pictures can contain intra, predicted, or bi-predicted macroblocks Furthermore, in the most recent video codec standard H.264, the picture can be segmented into smaller regions called slices and instead of using I, B and P picture type selections, the encoder can choose the prediction style distinctly on each individual slice. Also in H.264 suggested:∙SI-frames/slices (Switching I); Facilitates switching between coded streams; contains SI macroblocks (a special type of intra codedmacroblock).∙SP-frames/slices (Switching P); Facilitates switching between coded streams; contains P and/or I macroblocks∙multi-frame motion estimation (up to 16 reference frames, or 32 reference fields)Multi-frame motion estimation will allow increases in the quality of the video while allowing the same compression ratio. SI- SP-frames (defined for Extended profile) will allow for increases in the error resistance. When such frames are used along with a smart decoder, it is possible to recover the broadcast streams of damaged DVDs.Intra coded frames (or slices or I-frames or Key frames)∙Are pictures coded without reference to any pictures exceptthemselves.∙May be generated by an encoder to create a random access point (to allow a decoder to start decoding properly from scratch at that picturelocation).∙May also be generated when differentiating image details prohibit generation of effective P or B frames.∙Typically require more bits to encode than other picture types.Often, I-frame are used for random access and are used as references for the decoding of other pictures. Intra refresh periods of a half-second are common on such applications as digital television broadcast and DVD storage. Longer refresh periods may be used in some environments. For example, in videoconferencing systems it is common to send I frames very infrequently.Predicted frames (or slices)∙Require the prior decoding of some other picture(s) in order to be decoded.∙May contain both image data and motion vector displacements and combinations of the two.∙Can reference previous pictures in decoding order.∙In older standard designs (such as MPEG-2), use only onepreviously-decoded picture as a reference during decoding, andrequire that picture to also precede the P picture in display order.∙In H.264, can use multiple previously-decoded pictures as references during decoding, and can have any arbitrary display-order relationshiprelative to the picture(s) used for its prediction.∙Typically require fewer bits for encoding than I pictures do.Bi-directional predicted frames (or slices)∙Require the prior decoding of some other picture(s) in order to be decoded.∙May contain both image data and motion vector displacements and combinations of the two.∙Include some prediction modes that form a prediction of a motion region (e.g., a macroblock or a smaller area) by averaging thepredictions obtained using two different previously-decoded reference regions.∙In older standard designs (such as MPEG-2), B pictures are never used as references for the prediction of other pictures. As a result, a lower quality encoding (resulting in the use of fewer bits than would otherwise be the case) can be used for such B pictures because the loss of detail will not harm the prediction quality for subsequentpictures.∙In H.264, may or may not be used as references for the decoding of other pictures (at the discretion of the encoder).∙In older standard designs (such as MPEG-2), use exactly two previously-decoded pictures as references during decoding, andrequire one of those pictures to precede the B picture in display order and the other one to follow it.∙In H.264, can use one, two, or more than two previously-decoded pictures as references during decoding, and can have any arbitrary display-order relationship relative to the picture(s) used for itsprediction.∙Typically require fewer bits for encoding than either I or P pictures do。

I帧、P帧和B帧的特点首先,MPEG压缩的基本思想:帧内压缩和帧间压缩。

其次,时间相关性的统计分析:统计的结果表明,在间隔1~2帧的图像中,各像素只有10%以下的点,其亮度差值变化超过2%,而色度差值的变化只有1%以下。

采用的压缩方法: 分组:把几帧图像分为一组(GOP),为防止运动变化,帧数不宜取多。

1.定义帧:将每组内各帧图像定义为三种类型,即I帧、B帧和P帧;2.预测帧:以I帧做为基础帧,以I帧预测P帧,再由I帧和P帧预测B帧;3.数据传输:最后将I帧数据与预测的差值信息进行存储和传输。

I帧:帧内编码帧I帧特点:1.它是一个全帧压缩编码帧。

它将全帧图像信息进行JPEG压缩编码及传输;2.解码时仅用I帧的数据就可重构完整图像;3.I帧描述了图像背景和运动主体的详情;4.I帧不需要参考其他画面而生成;5.I帧是P帧和B帧的参考帧(其质量直接影响到同组中以后各帧的质量);6.I帧是帧组GOP的基础帧(第一帧),在一组中只有一个I帧;7.I帧不需要考虑运动矢量;8.I帧所占数据的信息量比较大。

P帧:前向预测编码帧。

P帧的预测与重构:P帧是以I帧为参考帧,在I帧中找出P帧“某点”的预测值和运动矢量,取预测差值和运动矢量一起传送。

在接收端根据运动矢量从I帧中找出P帧“某点”的预测值并与差值相加以得到P帧“某点”样值,从而可得到完整的P帧。

P帧特点:1.P帧是I帧后面相隔1~2帧的编码帧;2.P帧采用运动补偿的方法传送它与前面的I或P帧的差值及运动矢量(预测误差);3.解码时必须将I帧中的预测值与预测误差求和后才能重构完整的P帧图像;4.P帧属于前向预测的帧间编码。

它只参考前面最靠近它的I帧或P帧;5.P帧可以是其后面P帧的参考帧,也可以是其前后的B帧的参考帧;6.由于P帧是参考帧,它可能造成解码错误的扩散;7.由于是差值传送,P帧的压缩比较高。

B帧:双向预测内插编码帧。

B帧的预测与重构B帧以前面的I或P帧和后面的P帧为参考帧,“找出”B帧“某点”的预测值和两个运动矢量,并取预测差值和运动矢量传送。

音视频基础知识码率码率就是数据传输时单位时间传送的数据位数,一般我们用的单位是kbps即千位每秒。

通俗一点的理解就是取样率，单位时间内取样率越大，精度就越高，处理出来的文件就越接近原始文件，但是文件体积与取样率是成正比的，所以几乎所有的编码格式重视的都是如何用最低的码率达到最少的失真，围绕这个核心衍生出来的cbr（固定码率）与vbr（可变码率），都是在这方面做的文章，不过事情总不是绝对的，从音频方面来说，码率越高，被压缩的比例越小，音质损失越小，与音源的音质越接近。

码率计算公式基本的算法是：文件体积=时间X码率/8这里时间单位是秒，码率除以8，就不用说了。

举例，D5的碟，容量4.3G，考虑到音频的不同格式，占用一定的空间，姑且算为600M，视频文件应不大于3.7G，视频长度100分钟（6000秒），计算结果：码率应为4900K。

码率几点原则1、码率和质量成正比（废话），但是文件体积也和码率成正比。

这是要牢记的。

2、码率超过一定数值，对图像的质量没有多大影响。

3、DVD的容量有限，无论是标准的4.3G，还是超刻，或是D9，都有极限。

这也是废话，但是就有人记不住或忽略这点，漫天讨论。

视频码率计算机中的信息都是二进制的0和1来表示，其中每一个0或1被称作一个位，用小写b表示，即bit（位）；大写B 表示byte,即字节，一个字节＝八个位，即1B＝8b；前面的大写K表示千的意思，即千个位（Kb)或千个字节(KB)。

表示文件的大小单位，一般都使用字节（KB）来表示文件的大小。

Kbps：首先要了解的是，ps指的是/s，即每秒。

Kbps指的是网络速度，也就是每秒钟传送多少个千位的信息（K 表示千位，Kb表示的是多少千个位），为了在直观上显得网络的传输速度较快，一般公司都使用kb（千位）来表示，如果是KBps，则表示每秒传送多少千字节。

1KBps＝8Kbps。

ADSL上网时的网速是512Kbps,如果转换成字节，就是512/8＝64KBps(即64千字节每秒）。