第7章 信源编码 - 打印版
- 格式:pdf
- 大小:2.48 MB
- 文档页数:54
论信源编码与信道编码摘要:如今社会已经步入信息时代,在各种信息技术中,信息的传输及通信起着支撑作用。
而对于信息的传输,数字通信已经成为重要的手段。
而在数字通信系统中,信源编码和信道编码在信息的传送过程中起到了至关重要的作用,这要求我们对信源编码和信道编码的了解和认识有更高的层次。
关键词:信息传输数字通信信源编码信道编码正文:一.信源编码和信道编码的发展历程信源编码:最原始的信院编码就是莫尔斯电码,另外还有ASCII码和电报码都是信源编码。
但现代通信应用中常见的信源编码方式有:Huffman编码、算术编码、L-Z 编码,这三种都是无损编码,另外还有一些有损的编码方式。
信源编码的目标就是使信源减少冗余,更加有效、经济地传输,最常见的应用形式就是压缩。
相对地,信道编码是为了对抗信道中的噪音和衰减,通过增加冗余,如校验码等,来提高抗干扰能力以及纠错能力。
信道编码:1948年Shannon极限理论→1950年Hamming码→1955年Elias卷积码→1960年 BCH码、RS码、PGZ译码算法→1962年Gallager LDPC(Low Density Parity Check,低密度奇偶校验)码→1965年B-M译码算法→1967年RRNS码、Viterbi算法→1972年Chase氏译码算法→1974年Bahl MAP算法→1977年IMaiBCM分组编码调制→1978年Wolf 格状分组码→1986年Padovani恒包络相位/频率编码调制→1987年Ungerboeck TCM格状编码调制、SiMonMTCM多重格状编码调制、WeiL.F.多维星座TCM→1989年Hagenauer SOVA算法→1990年Koch Max-Lg-MAP算法→1993年Berrou Turbo码→1994年Pyndiah 乘积码准最佳译码→1995年 Robertson Log-MAP算法→1996年 Hagenauer TurboBCH码→1996MACKay-Neal重新发掘出LDPC码→1997年 Nick Turbo Hamming码→1998年Tarokh 空-时卷格状码、AlaMouti空-时分组码→1999年删除型Turbo码虽然经过这些创新努力,已很接近Shannon极限,例如1997年Nickle的Turbo Hamming码对高斯信道传输时已与Shannon极限仅有0.27dB相差,但人们依然不会满意,因为时延、装备复杂性与可行性都是实际应用的严峻要求,而如果不考虑时延因素及复杂性本来就没有意义,因为50多年前的Shannon理论本身就已预示以接近无限的时延总容易找到一些方法逼近Shannon极限。
第七章 信源编码7-1已知某地天气预报状态分为六种:晴天、多云、阴天、小雨、中雨、大雨。
① 若六种状态等概出现,求每种消息的平均信息量及等长二进制编码的码长N 。
② 若六种状态出现的概率为:晴天—;多云—;阴天—;小雨—;中雨—;大雨—。
试计算消息的平均信息量,若按Huffman 码进行最佳编码,试求各状态编码及平均码长N 。
解: ①每种状态出现的概率为6,...,1,61==i P i因此消息的平均信息量为∑=-===6122/58.26log 1log i ii bit P P I 消息 等长二进制编码的码长N =[][]316log 1log 22=+=+L 。
②各种状态出现的概率如题所给,则消息的平均信息量为6212222221log 0.6log 0.60.22log 0.220.1log 0.10.06log 0.060.013log 0.0130.007log 0.0071.63/i i iI P P bit -== = ------ ≈ ∑消息Huffman 编码树如下图所示:由此可以得到各状态编码为:晴—0,多云—10,阴天—110,小雨—1110,中雨—11110, 大雨—11111。
平均码长为:6110.620.2230.140.0650.01350.0071.68i ii N n P == =⨯+⨯+⨯+⨯+⨯+⨯ =∑—7-2某一离散无记忆信源(DMS )由8个字母(1,2,,8)i X i =⋅⋅⋅组成,设每个字母出现的概率分别为:,,,,,,,。
试求:① Huffman 编码时产生的8个不等长码字; ② 平均二进制编码长度N ; ③ 信源的熵,并与N 比较。
解:①采用冒泡法画出Huffman 编码树如下图所示可以得到按概率从大到小8个不等长码字依次为:0100,0101,1110,1111,011,100,00,1087654321========X X X X X X X X②平均二进制编码长度为8120.2520.2030.1530.1240.140.0840.0540.052.83i ii N n P == =⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯ =∑ ③信源的熵∑=≈-=81279.2log)(i i i P P x H 。
信源编码和信源解码字、符号、图形、图像、音频、视频、动画等各种数据本身的编码通常称为信源编码,信源编码标准是信息领域的基础性标准。
无论是数字电视、激光视盘机,还是多媒体通信和各种视听消费电子产品,都需要音视频信源编码这个基础性标准。
大家用电脑打字一定很熟悉,当你用WORD编辑软件把文章(DOC文件)写完,存好盘后,再用PCTOOLS工具软件把你的DOC文件打开,你一定能看到你想象不到的东西,内容全是一些16进制的数字,这些数字叫代码,它与文章中的字符一一对应。
现在我们换一种方法,用小画板软件来写同样内容的文章。
你又会发现,用小画板软件写出来的BMP文件,占的内存(文件容量)是DOC文件的好几十倍,你知道这是为什么?原来WORD编辑软件使用的是字库和代码技术,而小画板软件使用的是点阵技术,即文字是由一些与坐标位置决定的点来组成,没有使用字库,因此,两者在工作效率上相差几十倍。
[信源]->[信源编码]->[信道编码]->[信道传输+噪声]->[信道解码]->[信源解码]->[信宿]目前模拟信号电视机图像信号处理技术就很类似小画板软件使用的点阵技术,而全数字电视机的图像信号处理技术就很类似WORD编辑软件使用的字库和代码技术。
实际上这种代码传输技术在图文电视中很早就已用过,在图文电视机中一般都安装有一个带有图文字库的译码器,对方发送图文信号的时候只需发送图文代码信息,这样可以大大地提高数据传输效率。
对于电视机,显示内容是活动图像信息,它哪来的“字库”或“图库”呢?这个就是电视图像特有的“相关性”技术问题。
原来在电视图像信号中,90%以上的图像信息是互相相关的,我们在模拟电视机中使用的Y/C(亮度信号/彩色信号)分离技术,就是利用两行图像信号的相关性,来进行Y/C分离。
如果它们之间内容不相关,Y/C信号则无法进行分离。
全数字信号电视也一样,如果图像内容不相关,则图像信号压缩也就要免谈。
信源编码贺志强信源编码:将信源符号序列按一定的数学规律映射成由码符号组成的码序列的过程。
成由码符号组成的码序列的过程信源译码:根据码序列恢复信源序列的过程。
信源译码根据码序列恢复信源序列的过程无失真信源编码:即信源符号可以通过编码序列无差错地恢复。
无差错地恢复(适用于离散信源的编码)限失真信源编码:信源符号不能通过编码序列无差错地恢复。
差错地恢复(可以把差错限制在某一个限度内)信源编码的目的:提高传输有效性,即用尽可能短的码符号序列来代表信源符号。
号序列来代表信源符号无失真信源编码定理证明,如果对信源序列进行编码,当序列长度足够长时,存在无失真编码使得传送每信源符号存在无失真编码使得传送每信源符号所需的比特数接近信源的熵。
因此,采用有效的信源编码会使信息传输效率得到提高。
会使信息传输效率得到提高概述一、信源编码器二、信源编码的分类三分组码三、分组码分组码单符号信源编码器符号集符号集AA 1{,,}q a a ii c a 编为1{,,}q c c 编码器码字集合信源序列码符号集1{,}r b b分组码单符号译码器1{,,}q c c 信源序列码字集合1{,,}q a a 译码器1{,}r b b 码符号集简单信源编码器摩尔斯信源编码器将英文字母变成摩尔斯电码将摩尔斯电码变成二进码信源编码器信源编码器(1)信源符号{英文字母英文字母}}(2)二进信道码符号集点、划、字母间隔、单词间隔信道基本符号{0,1}符号点划字母间隔单词间隔电平+ -+++ ---------二进代码 1 0111000000000摩尔斯信源编码器原信源的次扩展码原信源的N N将N个信源符号编成一个码字。
相当于对原信源的N次扩展源的信源符号进行编码。
例信源X={0,1}的二次扩展源的二次扩展源X X 2的符号集为:信源X={0,1}。
对X X2编码,即为原信源编码,即为原信源X X的二{00,01,10,11}。
对{00,01,10,11}编码即为原信源X {00011011}对即为原信源次扩展码。