下载文档原格式
信息论与编码技术信息论是研究信息传输、存储和处理的一门学科，而编码技术则是信息论的一项重要应用。
信息论与编码技术的发展，对现代通信、数据存储和计算机科学等领域产生了深远的影响。
本文将从信息熵、信道容量和编码理论等方面来探讨信息论与编码技术的基本概念和应用。
一、信息熵信息熵是信息论中的一个重要概念，它用来衡量一个离散随机变量的不确定性。
在信息论中，信息熵越大，代表着信息的不确定性越高，信息量也就越大；相反，信息熵越小，表示信息的不确定性越低，信息量也就越小。
信息熵的计算公式为：H(X) = -∑(p(i) * log2(p(i)))其中，H(X)表示离散随机变量X的信息熵，p(i)表示X取各个值的概率。
通过计算信息熵，我们可以评估信息的平均编码长度。
在通信系统中，对于概率分布已知的消息源，我们可以使用无损编码技术将信息源的输出编码成二进制串，从而实现高效的信息传输和存储。
二、信道容量信道容量是衡量信道传输速率的理论上限。
在信息论中，我们可以通过计算信道容量来确定一种特定的编码和调制方案是否可以实现理论最大传输速率。
对于离散无记忆信道，其信道容量C计算公式为：C = ∑(p(x) * log2(p(x)/p(y)))其中，p(x)表示发送端发出的信号为x的概率，p(y)表示接收端接收到的信号为y的概率。
在计算信道容量时，我们需要寻找一种合适的编码方案，使得发送端发出的信号与接收端接收到的信号之间的互信息最大化。
这样可以有效提高信道的利用率，提高信号传输的可靠性。
三、编码理论编码理论是信息论的重要组成部分，它研究如何将信息源的输出进行编码，以减少数据传输或存储过程中的冗余，从而提高信息传输的效率。
常见的编码技术有可变长编码、定长编码、哈夫曼编码等。
其中，哈夫曼编码是一种基于概率的编码方法，它可以根据不同符号的出现概率，为每个符号分配不同长度的编码，从而实现信息的高效压缩。
除了无损编码技术，还有一种重要的编码技术是差分编码。
信息论与编码(第二版)曹雪虹(最全版本)答案11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56 61 62 63 64 65 66共有21种组合：其中11，22，33，44，55，66的概率是3616161=⨯ 其他15个组合的概率是18161612=⨯⨯ symbol bit x p x p X H ii i / 337.4181log 18115361log 3616)(log )()(=⎪⎭⎫ ⎝⎛⨯+⨯-=-=∑(4)参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：symbol bit x p x p X H X P X ii i / 274.3 61log 61365log 365291log 912121log 1212181log 1812361log 3612 )(log )()(36112181111211091936586173656915121418133612)(=⎪⎭⎫ ⎝⎛+⨯+⨯+⨯+⨯+⨯-=-=⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡∑(5)bit x p x I x p i i i 710.13611log)(log )(3611116161)(=-=-==⨯⨯=2-42.5 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。
假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？ 解：设随机变量X 代表女孩子学历 X x 1（是大学生） x 2（不是大学生）P(X) 0.250.75设随机变量Y 代表女孩子身高Y y 1（身高>160cm ） y 2（身高<160cm ） P(Y) 0.5 0.5已知：在女大学生中有75%是身高160厘米以上的 即：bit x y p 75.0)/(11=求：身高160厘米以上的某女孩是大学生的信息量 即：bit y p x y p x p y x p y x I 415.15.075.025.0log )()/()(log)/(log )/(11111111=⨯-=-=-=2.6 掷两颗骰子，当其向上的面的小圆点之和是3时，该消息包含的信息量是多少？当小圆点之和是7时，该消息所包含的信息量又是多少？解：1）因圆点之和为3的概率1()(1,2)(2,1)18p x p p =+= 该消息自信息量()log ()log18 4.170I x p x bit =-== 2）因圆点之和为7的概率1()(1,6)(6,1)(2,5)(5,2)(3,4)(4,3)6p x p p p p p p =+++++=该消息自信息量()log ()log6 2.585I x p x bit =-== 2.7 设有一离散无记忆信源，其概率空间为123401233/81/41/41/8X x x x x P ====⎛⎫⎛⎫= ⎪⎪⎝⎭⎝⎭ （1）求每个符号的自信息量（2）信源发出一消息符号序列为{202 120 130 213 001 203 210 110 321 010 021 032 011 223 210}，求该序列的自信息量和平均每个符号携带的信息量 解：122118()log log 1.415()3I x bit p x === 同理可以求得233()2,()2,()3I x bit I x bit I x bit ===因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和 就有：123414()13()12()6()87.81I I x I x I x I x bit =+++= 平均每个符号携带的信息量为87.811.9545=bit/符号 2.8 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？ 解：四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3} 八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7}二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量symbol bit n X H / 24log log )(1=== 八进制脉冲的平均信息量symbol bit n X H / 38log log )(2===二进制脉冲的平均信息量symbol bit n X H / 12log log )(0===所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。
1.按发出符号之间的关系来分，信源可以分为（有记忆信源）和（无记忆信源）2.连续信源的熵是（无穷大），不再具有熵的物理含义。
3.对于有记忆离散序列信源，需引入（条件熵）描述信源发出的符号序列内各个符号之间的统计关联特性3.连续信源X,平均功率被限定为P时，符合（正态）分布才具有最大熵，最大熵是（1/2ln（2 ⅇ 2））。
4.数据处理过程中信息具有（不增性）。
5.信源冗余度产生的原因包括（信源符号之间的相关性）和（信源符号分布的不均匀性）。
6.单符号连续信道的信道容量取决于（信噪比）。
7.香农信息极限的含义是（当带宽不受限制时，传送1bit信息，信噪比最低只需-1.6ch3）。
8.对于无失真信源编码，平均码长越小，说明压缩效率（越高）。
9.对于限失真信源编码，保证D的前提下，尽量减少（R(D)）。
10.立即码指的是（接收端收到一个完整的码字后可立即译码）。
11.算术编码是（非）分组码。
12.游程编码是（无）失真信源编码。
13.线性分组码的（校验矩阵）就是该码空间的对偶空间的生成矩阵。
14.若（n，k）线性分组码为MDC码，那么它的最小码距为（n-k+1）。
15.完备码的特点是（围绕2k个码字、汉明矩d=[（d min-1）/2]的球都是不相交的每一个接受吗字都落在这些球中之一，因此接收码离发码的距离至多为t，这时所有重量≤t的差错图案都能用最佳译码器得到纠正，而所有重量≤t+1的差错图案都不能纠正）。
16.卷积码的自由距离决定了其（检错和纠错能力）。
（对）1、信息是指各个事物运动的状态及状态变化的方式。
（对）2、信息就是信息，既不是物质也不是能量。
（错）3、马尔可夫信源是离散无记忆信源。
（错）4、不可约的马尔可夫链一定是遍历的。
（对）5、单符号连续信源的绝对熵为无穷大。
（错）6、序列信源的极限熵是这样定义的：H(X)=H(XL|X1,X2,…,XL-1)。
（对）7、平均互信息量I(X;Y)是接收端所获取的关于发送端信源X的信息量。
一、填空题1. 设信源X 包含4个不同离散消息，当且仅当X 中各个消息出现的概率为___1/4___时，信源熵达到最大值，为__2__，此时各个消息的自信息量为__2 __。
2.如某线性分组码的最小汉明距dmin=4，则该码最多能检测出___3____个随机错，最多能纠正__1____个随机错。
3.克劳夫特不等式是唯一可译码___存在___的充要条件。
4.平均互信息量I(X;Y)与信源熵和条件熵之间的关系是___(X;Y)=H(X)-H(X/Y )___。
5._信源___提高通信的有效性，_信道____目的是提高通信的可靠性，_加密__编码的目的是保证通信的安全性。
6.信源编码的目的是提高通信的 有效性 ，信道编码的目的是提高通信的 可靠性 ，加密编码的目的是保证通信的 安全性 。
7.设信源X 包含8个不同离散消息，当且仅当X 中各个消息出现的概率为__1/8__时，信源熵达到最大值，为___3____。
8.自信息量表征信源中各个符号的不确定度，信源符号的概率越大，其自信息量越_小___。
9.信源的冗余度来自两个方面，一是信源符号之间的__相关性__，二是信源符号分布的__不均匀性__。
10.最大后验概率译码指的是 译码器要在已知r 的条件下找出可能性最大的发码 作为译码估值 ，即令 =maxP( |r)_ __。
11.常用的检纠错方法有__前向纠错___、反馈重发和混合纠错三种。
二、单项选择题1.下面表达式中正确的是（A ）。
A.∑=j i j x y p 1)/( B.∑=i i j x y p 1)/( C.∑=j j j iy y x p )(),(ω D.∑=ii j i x q y x p )(),( 2.彩色电视显像管的屏幕上有5×105 个像元，设每个像元有64种彩色度，每种彩度又有16种不同的亮度层次，如果所有的彩色品种和亮度层次的组合均以等概率出现，并且各个组合之间相互独立。
（一）一、判断题共 10 小题，满分 20 分。
1。
当随机变量X 和Y 相互独立时，条件熵)|(Y X H 等于信源熵)(X H . ( ）2。
由于构成同一空间的基底不是唯一的，所以不同的基底或生成矩阵有可能生成同一码集。
（ ）3。
一般情况下,用变长编码得到的平均码长比定长编码大得多. （ ） 4. 只要信息传输率大于信道容量，总存在一种信道编译码,可以以所要求的任意小的误差概率实现可靠的通信.（ ）5。
各码字的长度符合克拉夫特不等式，是唯一可译码存在的充分和必要条件。
（）6. 连续信源和离散信源的熵都具有非负性. ( ）7. 信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确定性就越小，获得的信息量就越小。
8。
汉明码是一种线性分组码。
（ ） 9。
率失真函数的最小值是0。
( ）10.必然事件和不可能事件的自信息量都是0。
（ ）二、填空题共 6 小题，满分 20 分.1、码的检、纠错能力取决于.2、信源编码的目的是；信道编码的目的是。
3、把信息组原封不动地搬到码字前k 位的),(k n 码就叫做 。
4、香农信息论中的三大极限定理是、、。
5、设信道的输入与输出随机序列分别为X 和Y ,则),(),(Y X NI Y X I N N =成立的条件 。
6、对于香农-费诺编码、原始香农—费诺编码和哈夫曼编码,编码方法惟一的是。
7、某二元信源01()1/21/2X P X ⎡⎤⎧⎫=⎨⎬⎢⎥⎣⎦⎩⎭,其失真矩阵00a D a ⎡⎤=⎢⎥⎣⎦，则该信源的max D = 。
三、本题共 4 小题，满分 50分.1、某信源发送端有2种符号i x )2,1(=i ，a x p =)(1;接收端有3种符号i y )3,2,1(=j ，转移概率矩阵为1/21/201/21/41/4P ⎡⎤=⎢⎥⎣⎦. （1） 计算接收端的平均不确定度()H Y ; （2） 计算由于噪声产生的不确定度(|)H Y X ； （3） 计算信道容量以及最佳入口分布。
数学中的信息论与编码技术在数学领域中，信息论与编码技术是一门研究信息传输和存储的重要学科。
本文将从信息论的基本概念入手，介绍信息熵、信道容量等关键概念，并对编码技术进行探讨，包括纠错码、压缩编码等常见技术。
一、信息论的基本概念信息论是由克劳德·香农于20世纪40年代提出的一门学科，旨在研究如何在信息传输过程中最大化传输效率和最小化信息损失。
信息论的核心是信息熵的概念。
1. 信息熵信息熵是用来描述信息的不确定性的度量，表示一个随机变量的平均信息量。
假设事件发生的概率为p，其信息量可表示为 -log(p)。
而一个随机变量的信息熵则是所有可能事件的信息量的期望值。
例如，一个随机变量只有两个事件发生的可能性，分别为p和1-p，那么该随机变量的信息熵为-H(p) = p*log(p) + (1-p)*log(1-p)。
信息熵越大，表示不确定性越高。
2. 信道容量信道容量是指在给定的信道条件下，最大可达到的信息传输速率。
根据香农的定理，对于任何给定的信噪比，都存在一个能以任意小的误差将信息传输到接收端的编码方案。
二、编码技术编码技术是信息论的重要应用领域，旨在通过对信息的编码和解码来提高信息传输的效率和可靠性。
下面将介绍两种常见的编码技术。
1. 纠错码纠错码是一种编码技术，通过在原始数据中添加冗余信息，使得接收端能够检测和纠正部分错误。
常用的纠错码有海明码、RS码等。
以海明码为例，它通过在数据中添加额外的校验位，使得接收端能够检测到并纠正少量的错误。
海明码的纠错能力取决于添加的校验位数量，通常能够纠正数比特的错误。
2. 压缩编码压缩编码是一种将冗长的数据表示转换为更简洁形式的编码技术，从而实现数据的压缩和存储空间的节省。
常用的压缩编码有霍夫曼编码、算术编码等。
以霍夫曼编码为例，它通过将较频繁出现的字符用较短的编码表示，将不常出现的字符用较长的编码表示，从而减少数据的表示长度。
压缩后的数据可在传输和存储中占用更少的空间。
