熵编码流程图
- 格式：vsd
- 大小：43.00 KB
- 文档页数：1
下载文档原格式
合集下载
霍夫曼编码PPT课件
Your company slogan
对于各值（码值）的代码（码字）就是从根节点出发到底层节点所经历 的分支序列。如a4的代码（码字）为00，a6的码字为111... ...通常a4和 a6等称为码值，00和111等称为码字。所有码值和码字对应关系如下表 所示：
Your company slogan
（三）霍夫曼表
将所有码值和码字的关系整理成一张表，为了整字 节输出码字，表中还含有各码字的长度。这种表就称 为霍夫曼表。本例霍夫曼表如表所示：
Your company slogan
进行压缩编码时，只要将码值用码字代替即可。所 以源符a1 a1 a2 a2 a3 a3 a3 a4 a4 a4 a4 a5 a5 a5 a6 a6 a6 a7 a7 a8编码为： 01001001101110110110100000000110110 11010000100001001。
Your company slogan
四、霍夫曼编码
（一）霍夫曼编码过程
设信息源空间为[A*P]:{A:a1 a2 ……an}{P(A):P(a1) P(a2)P(a3)……P(an)}其中∑ P(ak)=1,先用r个码的号码符 号集X:{x1,x2,……xr}对信源A中的每一个符号ak进行编码。 编码过程如下： 把信源符号ai按其出现的概率的大小顺序排列起来； 把最末两个具有最小概率的元素之概率加起来； 把该概率之和同其余概率由大到小排队，然后再把两个最 小概率加起来，再排队； 重复步骤 (2) 、 (3), 直到概率和达到 1 为止 ; 在每次合并消息时，将被合并的消息赋以1和0或0和1； 寻找从每个信源符号到概率为1处的路径，记录下路径上 的1和0； 对每个符号写出"1"、"0"序列（从码数的根到终节点）。 创建霍夫曼表。 压缩编码时，将码值用码字代替。
对于各值（码值）的代码（码字）就是从根节点出发到底层节点所经历 的分支序列。如a4的代码（码字）为00，a6的码字为111... ...通常a4和 a6等称为码值，00和111等称为码字。所有码值和码字对应关系如下表 所示：
Your company slogan
（三）霍夫曼表
将所有码值和码字的关系整理成一张表，为了整字 节输出码字，表中还含有各码字的长度。这种表就称 为霍夫曼表。本例霍夫曼表如表所示：
Your company slogan
进行压缩编码时，只要将码值用码字代替即可。所 以源符a1 a1 a2 a2 a3 a3 a3 a4 a4 a4 a4 a5 a5 a5 a6 a6 a6 a7 a7 a8编码为： 01001001101110110110100000000110110 11010000100001001。
Your company slogan
四、霍夫曼编码
（一）霍夫曼编码过程
设信息源空间为[A*P]:{A:a1 a2 ……an}{P(A):P(a1) P(a2)P(a3)……P(an)}其中∑ P(ak)=1,先用r个码的号码符 号集X:{x1,x2,……xr}对信源A中的每一个符号ak进行编码。 编码过程如下： 把信源符号ai按其出现的概率的大小顺序排列起来； 把最末两个具有最小概率的元素之概率加起来； 把该概率之和同其余概率由大到小排队，然后再把两个最 小概率加起来，再排队； 重复步骤 (2) 、 (3), 直到概率和达到 1 为止 ; 在每次合并消息时，将被合并的消息赋以1和0或0和1； 寻找从每个信源符号到概率为1处的路径，记录下路径上 的1和0； 对每个符号写出"1"、"0"序列（从码数的根到终节点）。 创建霍夫曼表。 压缩编码时，将码值用码字代替。
CABAC
Context-Based Adaptive Binary Arithmetic Coding in the H.264/A VC简称Cabac，H264中的一种熵编码方式：基于上下文的自适应二进制算术编码内容安排：1，介绍算术编码2，介绍二进制算术编码3介绍Cabac及其一些实用的实现方式（参考JSVM代码，也可以参考JM）---张新发一，算术编码算术编码是一种常用的变字长编码，它是利用信源概率分布特性、能够趋近熵极限的编码方法。
它与Huffman 一样，也是对出现概率大的符号赋予短码，对概率小的符号赋予长码。
但它的编码过程与Huffman 编码却不相同，而且在信源概率分布比较均匀的情况下其编码效率高于Huffman 编码。
它和Huffman 编码最大的区别在于它不是使用整数码。
Huffman 码是用整数长度的码字来编码的最佳方法，而算法编码是一种并不局限于整数长度码字的最佳编码方法。
算术编码是把各符号出现的概率表示在单位概率[0，1] 区间之中，区间的宽度代表概率值的大小。
符号出现的概率越大对应于区间愈宽，可用较短码字表示；符号出现概率越小对应于区间愈窄，需要较长码字表示。
举例如下：S S S S为例以符号3324在算术编码中通常采用二进制分数表示概率，每个符号所对应的概率区间都是半开区间，即该区间包括左端点，而不包括右端点，如S1对应[0, 0.001)，S2 对应[0.001, 0.01) 等。
算术编码产生的码字实际上是一个二进制数值的指针，指向所编的符号对应的概率区间。
S S S S…… 的第一个符号S3 用指向第3 个子区间的指针 符号序列3324来代表，可以用这个区间内的任意一个小数来表示这个指针，这里约定这个区间的左端点代表这个指针，因此得到第一个码字.011。
⏹后续的编码将在前面编码指向的子区间内进行，将[.011, .111] 区间再按概率大小划分为 4 份，第二个符号S3 指向.1001 (S3 区间的左端），输出码字变为.1001。
图像处理课程设计——熵编码研究
图像处理课程设计报告设计题目：熵编码研究专业班级：学生姓名：熵编码研究摘要哈夫曼是一种编码方式，哈夫曼编码是可变字长编码(VLC)的一种。
Huffman于1952年提出一种编码方法，该方法完全依据字符出现概率来构造异字头的平均长度最短的码字，有时称之为最佳编码，一般就叫作Huffman编码。
以哈夫曼树─即最优二叉树，带权路径长度最小的二叉树，经常应用于数据压缩。
在计算机信息处理中，“哈夫曼编码”是一种一致性编码法（又称"熵编码法"），用于数据的无损耗压缩。
这一术语是指使用一张特殊的编码表将源字符（例如某文件中的一个符号）进行编码。
这张编码表的特殊之处在于，它是根据每一个源字符出现的估算概率而建立起来的（出现概率高的字符使用较短的编码，反之出现概率低的则使用较长的编码，这便使编码之后的字符串的平均期望长度降低，从而达到无损压缩数据的目的）。
这种方法是由David.A.Huffman发展起来的。
例如，在英文中，e的出现概率很高，而z的出现概率则最低。
当利用哈夫曼编码对一篇英文进行压缩时，e极有可能用一个位(bit)来表示，而z则可能花去25个位（不是26）。
用普通的表示方法时，每个英文字母均占用一个字节（byte），即8个位。
二者相比，e使用了一般编码的1/8的长度，z则使用了3倍多。
倘若我们能实现对于英文中各个字母出现概率的较准确的估算，就可以大幅度提高无损压缩的比例。
和其它熵编码方法不同的地方在于，其他的熵编码方法通常是把输入的消息分割为符号，然后对每个符号进行编码，而算术编码是直接把整个输入的消息编码为一个数，一个满足(0.0 ≤n < 1.0)的小数n。
在给定符号集和符号概率的情况下，算术编码可以给出接近最优的编码结果。
使用算术编码的压缩算法通常先要对输入符号的概率进行估计，然后再编码。
这个估计越准，编码结果就越接近最优的结果。
AbstractHuffman coding is a way of Huffman coding is a variable word length coding (VLC) of the kind. Huffman coding in 1952 proposed a method based on the character completely different probability to construct the shortest average length of prefix code words, sometimes called the best code, generally known as Huffman coding. ─ the optimal Huffman tree to tree, the right path with the minimum length of binary trees, often used in data compression. Information processing in the computer, "Huffman coding" is a consistency of coding method (also known as "entropy coding method") for lossless data compression. The term refers to the use of a specific character encoding table source (for example, a symbol of a file) for encoding. This code table is special because it is based on characters appear each source estimates the probability of the set up (with high probability using a shorter encoding of characters, otherwise there is a low probability of the use of longer codes, which the encoded string will be the average expected length of the lower, so as to achieve the purpose lossless data compression). This method is developed by the David.A.Huffman. For example, in English, e the probability is high, and z, the lowest probability. When using Huffman compression on the one conducted in English, e is likely to use a bit (bit) to represent, and z may be spent in 25-bit (not 26). The ordinary representation, each letter occupies one byte are (byte), or 8 bits. Compared the two, e use of a general code of 1 / 8 length, z is used 3 times. If we can achieve all the English letters in the probability of more accurate estimates can dramatically improve the lossless compression ratio.Entropy coding methods, and other difference is that, other entropy coding methods are usually divided into the input message symbol, and then encode each symbol, and arithmetic coding is the message directly to the input code as a number, a meet (0.0 ≤ n <1.0) fractional n.In a given symbol set and symbol probability case, arithmetic coding can give near optimal coding results. Arithmetic coding compression algorithm used is usually first on the probability of input symbol estimates, and then encoding. This estimate is more accurate, the closer the results of the optimal coding results.一、设计目的、任务与要求1、提高分析问题、解决问题的能力，进一步巩固数字图像处理系统中的基本原理与方法；2、熟悉掌握一门计算机语言，可以进行数字图像的应用处理的开发设计；3、理解Huffman编码以及算术编码，并学会计算平均码长。
h.264熵编码分析(v2.0)
H.264熵编码分析By kdjwang2008‐08‐09 第一版2008‐10‐10 第二版利用信源的随机过程统计特性进行码率压缩的编码方式称为熵编码。
它是把所有的语法（句法）元素（包括控制流数据，变换量化残差系数和运动矢量数据）以一定的编码形式映射成二进制比特流。
熵编码是无损压缩编码方法，它生成的码流可以经解码无失真地恢复出数据。
在信息论中表示一个数据符号的理论上最佳的比特数通常是一个分数而不是整数，这个比特数用log2(1/P)表示，其中P 是每个数据符号的出现概率。
这里log2(1/P)指的就是熵的概念。
熵的大小与信源的概率模型有着密切的关系，各个符号出现的概率不同，信源的熵也不同。
当信源中各事件是等概率分布时，熵具有极大值。
信源的熵与其可能达到的最大值之间的差值反映了该信源所含有的冗余度。
信源的冗余度越小，即每个符号所独立携带的信息量越大，那么传送相同的信息量所需要的序列长度就越短，符号位也越少。
因此，数据压缩的一个基本的途径是去除信源的符号之间的相关性，尽可能地使序列成为无记忆的，即前一符号的出现不影响以后任何一个符号出现的概率。
熵编码可以是定长编码，变长编码或算术编码。
定长编码把固定长度的码字解释为有符号或者无符号的整数。
变长编码对出现频率高的符号用短码字表示，对出现频率低的符号用长码字表示。
算术编码是一种递推形式的连续编码，其思想是用0到1的区间上的一个数来表示一个字符输入流，它的本质是为整个输入流分配一个码字，而不是给输入流中的每个字符分别指定码字。
算术编码是用区间递进的方法来为输入流寻找这个码字的，它从于第一个符号确定的初始区间（0到1）开始，逐个字符地读入输入流，在每一个新的字符出现后递归地划分当前区间，划分的根据是各个字符的概率，将当前区间按照各个字符的概率划分成若干子区间，将当前字符对应的子2区间取出，作为处理下一个字符时的当前区间。
到处理完最后一个字符后，得到了最终区间，在最终区间中任意挑选一个数作为输出。
数字图像处理第4章图像压缩编码
最后的子区长度： L＝(27/256)d＝(0.00011011)b
最后的子区右端(子区间尾)： 85/256+27/256＝(7／16)d ＝(0.0111)b
编码结果为子区间头尾之间取值、其值为0.011,可编码为011，原 来4个符号1011被压缩为三个符号011。
27
注：
1个算术码字要赋给整个信源符号序列，而码字本身确定0和1之间 的1个实数区间。
20
三.香农-范诺（Shannon-Fannon）编码
香农-范诺（Shannon-Fannon）编码也是一种常见的可 变字长编码。与哈夫曼编码相似，当信源符号出现的概 率正好为2-i（i<0）时，采用香农-范诺编码同样能够达 到100%的编码效率。香农-范诺编码的理论基础是符号 的码字长度ti完全由该符号出现的概率来决定，即：
从图像存储的角度： 通过压缩可以减少存储设备的用量，产生经济效益。
4
3. 图像数据压缩的可能性：
图像中像素之间，行或帧之间都存在着较强的相关性
从统计观点出发，简单直观地讲，就是某个像素的灰度值，总是和其周 围的其他像素灰度值某种关系，应用某种编码方法提供并减少这些相关 特性，使可实现图像信息的数据压缩。
第四章 图像压缩编码
4.1 概述 4.2 熵编码方法 4.3 预测法编码 4.4 变换编码方法 4.5 二值图像编码 4.6 图像压缩编码主要国际标准
1
§ 1 概述
图像压缩编码问题的提出 在图像数字化中，若对图像的取样值以最基本和最简单的PCM编
码（pulse coding modulation脉冲编码调制），这样获得的图像数 据量（比特数）将非常具大。减少量化级数即编码比特数b，势必又
12
6. 唯一可译编码
最后的子区右端(子区间尾)： 85/256+27/256＝(7／16)d ＝(0.0111)b
编码结果为子区间头尾之间取值、其值为0.011,可编码为011，原 来4个符号1011被压缩为三个符号011。
27
注：
1个算术码字要赋给整个信源符号序列，而码字本身确定0和1之间 的1个实数区间。
20
三.香农-范诺（Shannon-Fannon）编码
香农-范诺（Shannon-Fannon）编码也是一种常见的可 变字长编码。与哈夫曼编码相似，当信源符号出现的概 率正好为2-i（i<0）时，采用香农-范诺编码同样能够达 到100%的编码效率。香农-范诺编码的理论基础是符号 的码字长度ti完全由该符号出现的概率来决定，即：
从图像存储的角度： 通过压缩可以减少存储设备的用量，产生经济效益。
4
3. 图像数据压缩的可能性：
图像中像素之间，行或帧之间都存在着较强的相关性
从统计观点出发，简单直观地讲，就是某个像素的灰度值，总是和其周 围的其他像素灰度值某种关系，应用某种编码方法提供并减少这些相关 特性，使可实现图像信息的数据压缩。
第四章 图像压缩编码
4.1 概述 4.2 熵编码方法 4.3 预测法编码 4.4 变换编码方法 4.5 二值图像编码 4.6 图像压缩编码主要国际标准
1
§ 1 概述
图像压缩编码问题的提出 在图像数字化中，若对图像的取样值以最基本和最简单的PCM编
码（pulse coding modulation脉冲编码调制），这样获得的图像数 据量（比特数）将非常具大。减少量化级数即编码比特数b，势必又
12
6. 唯一可译编码
一种低延迟的hevc熵编码方法设计
1 引言自2003年视频编码联合组（Joint Collaborative Team on Video Coding，JCT-VC）提出H.264视频标准之后，在2010年又提出新一代视频编码标准H.265/HEVC[1]。
相比前一代视频编码标准，HEVC标准加入了多种先进的编码算法，相比于H.264,HEVC 是通过算法的复杂度提高来获取压缩效率的进一步提高[2][3]。
CABAC作为HEVC的唯一标准，主要包含三个主要部分：二值化、上下文建模、算术编码。
对于熵编码而言，HEVC只保留了复杂度高的CABAC编码方式。
就目前针对熵编码的优化主要集中在如下几个方面：文献[4]通过软件和硬件的结合对常规编码和旁路编码进行优化,旨在面积和吞吐率之间有一个好的权衡;文献[5]对系数编码层中语法元素的上下文模型数量进行优化，从而达到编码时间的减少；文献[6]预先重归一化处理，预处理算数编码的rLPS来减少关键路径的延迟以及混合路径覆盖，就是LPS和MPS分别处理，多路并行方式对熵编码进行优化；文献[7]rLPS的预处理。
在新的State更新出来之后做一个预处理，将下一个LPS和MPS的两个表全都做出来，更新出来State之后使得的查表运算变得简化，只需要根据Range来查找;文献[8]通过软件的实现减少了官方测试代码HM[9]中一些不必要的算法，在不影响视频质量的前提下，达到优化代码的目的。
由于官方提供的参考代码，虽然是现有的HEVC编码器中编码性能最佳的，但由于是基于对象的C++代码和一些不必要的复杂算法导致较差的效率，无法完成实时编码。
x265是一个开源的编码器，x265的开发始于2013年3月。
MulticoreWare于2013年7月23日对外公布了x265的源代码。
最新版本（2.9）发布于2018年10月8日。
它的目的是提供世界上最快和计算效率最高的HEVC编码器。
它主要采用帧并行和波前并行技术的并行编码器，可以显著提高多核处理器的编码。
音频编解码原理讲解和分析
音频编码原理讲解和分析作者：谢湘勇，算法部，**************************简述 (2)音频基本知识 (2)采样(ADC) (3)心理声学模型原理和分析 (3)滤波器组和window原理和分析 (6)Window (6)TDAC：时域混叠抵消,time domain aliasing cancellation (7)Long and short window、block switch (7)FFT、MDCT (8)Setero and couple原理和分析 (8)量化原理和分析 (9)mp3、AAC量化编码的过程 (9)ogg量化编码的过程 (11)AC3量化编码的过程 (11)Huffman编码原理和分析 (12)mp3、ogg、AC3的编码策略 (12)其他技术原理简介 (13)比特池技术 (13)TNS (13)SBR (13)预测模型 (14)增益控制 (14)OGG编码原理和过程详细分析 (14)Ogg V orbis的引入 (14)Ogg V orbis的编码过程 (14)ogg心理声学模型 (15)ogg量化编码的过程 (16)ogg的huffman编码策略 (17)主要音频格式编码对比分析 (19)Mp3 (19)Ogg (20)AAC (21)AC3 (22)DRA（A VS内的中国音频标准多声道数字音频编码） (23)BSAC，TwinVQ (24)RA (24)音频编码格式的对比分析 (25)主要格式对比表格如下 (26)语音编码算法简介 (26)后处理技术原理和简介 (28)EQ (28)SRS WOW (29)环境音效技术(EAX) (29)3D (30)Dolby多项后处理技术 (30)多声道介绍 (30)简述音频编解码目前主流的原理框图如图1，下面我希望由浅入深的对各算法原理作一说明。
音频基本知识▪人类可听的音频频率范围为20-20khz▪全音域可分为8度音阶（Octave）概念，每octave又可以分为12份，相当于1—7的每半音为一份（1/12 octave）▪音调和噪音：音调有规律的悦耳的声音（如乐器的1—7），噪音是无规律的难听的声音。
CAVLC编码过程详解[熵编码] (转载)
CAVLC编码过程详解[熵编码] (转载）2010-03-29 18:43:00| 分类：h264 | 标签：|举报|字号大中小订阅编码过程：假设有一个4*4数据块{0, 3, -1, 0,0, -1, 1, 0,1, 0, 0, 0,0, 0, 0, 0}数据重排列：0，3，0，1，-1，-1，0，1，0……1）初始值设定：非零系数的数目（TotalCoeffs）= 5；拖尾系数的数目（TrailingOnes）= 3；最后一个非零系数前零的数目（Total_zeros）= 3；变量NC=1;（说明：NC值的确定：色度的直流系数NC=-1；其他系数类型NC值是根据当前块左边4*4块的非零系数数目（NA）当前块上面4*4块的非零系数数目（NB）求得的，见毕厚杰书P120表6.10）suffixLength = 0；i = TotalCoeffs = 5;2）编码coeff_token：查标准（BS ISO/IEC 14496-10:2003）Table 9-5，可得：If (TotalCoeffs == 5 && TrailingOnes == 3 && 0 <= NC < 2)coeff_token = 0000 100;Code = 0000 100;3）编码所有TrailingOnes的符号：逆序编码，三个拖尾系数的符号依次是＋（0），－（1），－（1）；即:TrailingOne sign[i--] = 0;TrailingOne sign[i--] = 1;TrailingOne sign[i--] = 1;Code = 0000 1000 11;4）编码除了拖尾系数以外非零系数幅值Levels：过程如下：（1）将有符号的Level[ i ]转换成无符号的levelCode；如果Level[ i ]是正的，levelCode = (Level[ i ]<<1) – 2;如果Level[ i ]是负的，levelCode = - (Level[ i ]<<1) – 1;（2）计算level_prefix：level_prefix = levelCode / (1<<suffixLength)；查表9-6可得所对应的bit string；（3）计算level_suffix：level_suffix = levelCode % (1<<suffixLength)；（4）根据suffixLength的值来确定后缀的长度；（5）suffixLength updata：If ( suffixLength == 0 )suffixLength++；else if ( levelCode > (3<<suffixLength-1) && suffixLength <6)suffixLength++;回到例子中，依然按照逆序，Level[i--] = 1；（此时i = 1）levelCode = 0；level_prefix = 0；查表9-6，可得level_prefix = 0时对应的bit string = 1；因为suffixLength初始化为0，故该Level没有后缀；因为suffixLength = 0，故suffixLength++；Code = 0000 1000 111；编码下一个Level：Level[0] = 3；levelCode = 4；level_prefix = 2；查表得bit string = 001；level_suffix = 0；suffixLength = 1；故码流为0010；Code = 0000 1000 1110 010；i = 0，编码Level结束。
H264熵编码具体算法
1.CAVLC概念
CAVLC即基于上下文的自适应变长编码。CAVLC的本 质是变长编码，它的特性主要体现在自适应能力上， CAVLC可以根据已编码句法元素的情况动态的选择编码中 使用的码表，并且随时更新拖尾系数后缀的长度，从而获 得极高的压缩比。H.264标准中使用了CAVLC对4*4模块的 亮度和色度残差数据进行编码。
解析除拖尾系数外的非零系数的幅值level1确定后缀长度suffixlength2根据码流查表96得到前缀levelprefix3根据前缀和后缀得到levelcodelevelprefixsuffixlengthlevelsuffix4levelcode为偶数levellevelcode22levelcode为奇数levellevelcode125根据设定的阈值确定是否updatesuffixlegth6cavlc与uvlc比较在相同码率的情况下用cavlc编码的psnr的值高于用uvlc编码的psnr的值并且随着比特率的增加cavlc的优势更加明显h264avc68cavlc基于上下文自适应的可变长编码69cabac基于上下文的自适应二进制算术熵编码610码率控制611去方块滤波612其余特征cabac1
∴经查表可知码流为0000100 ∴code=0000100
4.3 编码每个拖尾系数的符号 对于每个拖尾系数(±1)只需要指明其符号，
其符号用一个比特表示(0表示+ ，1表示-)。编 码的顺序是按照反向扫描的顺序，从高频数据 开始。 例：设有一个4*4块数据（假定NC=0）
0 3 -1 0
0 -1 1 0
0 3 -1 0 0 -1 1 0
1000
0000 ∴TotalZeros=3 又∵TotalCoeffs(非零系数的数目)=5 ∴查表可得码流为111 ∴code=0000100 011 1 0010 111
CAVLC即基于上下文的自适应变长编码。CAVLC的本 质是变长编码，它的特性主要体现在自适应能力上， CAVLC可以根据已编码句法元素的情况动态的选择编码中 使用的码表，并且随时更新拖尾系数后缀的长度，从而获 得极高的压缩比。H.264标准中使用了CAVLC对4*4模块的 亮度和色度残差数据进行编码。
解析除拖尾系数外的非零系数的幅值level1确定后缀长度suffixlength2根据码流查表96得到前缀levelprefix3根据前缀和后缀得到levelcodelevelprefixsuffixlengthlevelsuffix4levelcode为偶数levellevelcode22levelcode为奇数levellevelcode125根据设定的阈值确定是否updatesuffixlegth6cavlc与uvlc比较在相同码率的情况下用cavlc编码的psnr的值高于用uvlc编码的psnr的值并且随着比特率的增加cavlc的优势更加明显h264avc68cavlc基于上下文自适应的可变长编码69cabac基于上下文的自适应二进制算术熵编码610码率控制611去方块滤波612其余特征cabac1
∴经查表可知码流为0000100 ∴code=0000100
4.3 编码每个拖尾系数的符号 对于每个拖尾系数(±1)只需要指明其符号，
其符号用一个比特表示(0表示+ ，1表示-)。编 码的顺序是按照反向扫描的顺序，从高频数据 开始。 例：设有一个4*4块数据（假定NC=0）
0 3 -1 0
0 -1 1 0
0 3 -1 0 0 -1 1 0
1000
0000 ∴TotalZeros=3 又∵TotalCoeffs(非零系数的数目)=5 ∴查表可得码流为111 ∴code=0000100 011 1 0010 111
熵编码
熵编码熵编码(entropy encoding)是一类利用数据的统计信息进行压缩的无语义数据流之无损编码。
本章先介绍熵的基本概念，然后介绍香农-范诺(Shannon-Fano)编码、哈夫曼(Huffman)编码、算术编码(arithmetic coding)、行程编码(RLE)和LZW 编码等常用的熵编码方法。
1 熵熵(entropy)本来是热力学中用来度量热力学系统无序性的一种物理量（热力学第二定律：孤立系统内的熵恒增）：对可逆过程，⎰≥==0 ,TdQdS T dQ S （孤立系统） 其中，S 为熵、Q 为热量、T 为绝对温度。
（信息）熵H 的概念则是美国数学家Claude Elwood Shannon （香农 /仙农 / 向农）于1948年在他所创建的信息论中引进的，用来度量信息中所含的信息量：（为自信息量ii p s I 1log )(2=的均值/数学期望） ∑=iii p p S H 1log )(2其中，H 为信息熵（单位为bit ），S 为信源，p i 为符号s i 在S 中出现的概率。
例如，一幅256级灰度图像，如果每种灰度的像素点出现的概率均为p i =1/256，则82log 256log 1log 8222==≡=ip I )( 82log 2561256256log 25611log 82255022552bit p p H i i i i =⨯===∑∑==即编码每一个像素点都需要8位(I )，平均每一个像素点也需要8位(H )。
2 Shannon-Fano 编码按照Shannon 所提出的信息理论，1948年和1949年分别由Shannon 和MIT 的数学教授Robert Fano 描述和实现了一种被称之为香农-范诺(Shannon-Fano)算法的编码方法，它是一种变码长的符号编码。
算法Shannon-Fano 算法采用从上到下的方法进行编码：首先按照符号出现的概率排序，然后从上到下使用递归方法将符号组分成两个部分，使每一部分具有近似相同的频率，在两边分别标记0和1，最后每个符号从顶至底的0/1序列就是它的二进制编码。