香农信息论的局限性分析
制作者：xxx 指导老师：xxx
【内容摘要】：
从新的角度指出了香农信息论的局限性，指出了它没有考虑信息的可靠性，完备性等特点，指出条件熵的计算公式问题并且进行了纠正，并且举例证明了条件熵可能增加，进而香农信息定义中的不确定性的减少也不是绝对的。说明了为什么信息论能够在通信中得到应用，却不能很好地在日常生活中应用。在这些分析的基础上给出了信息的新定义以及信息相关的一些模型。
【关键词】：信息论；条件熵；定义；可靠性
引言
香农（又译仙农，Shannon）信息论对信息技术的发展具有深远的影响。但是信息论的应用一直现有通信等一些很局限的领域，信息论并不能够完全地适用于一些信息技术相关的领域。关于香农信息论的局限性，许多学者都有认识，香农本人也反对将信息论滥用。国内外一些学者从许多角度讨论了信息论的局限性，比如没有考虑语义，语用，没有考虑信息的模糊性和事件之间的相似性，没有考虑事件划分可能存在包含关系等。笔者则指出，目前信息的定义都没有考虑信息的可靠性这一因素，则导致了信息论无法应用在众多的信息技术领域，比如人工智能，信息融合等领域。
1 信息定义的局限
关于信息的定义据笔者搜索超过60种，香农的信息定义是比较流行的一个，他定义如下：信息是用以消除随机不确定性的东西。还有许多学者对这个定义有所修改，但是这些定义都是考虑到消除的随机不确定性，并没有考虑到信息的可靠性。还有一类定义，比如信息是被反映的物质的属性，信息是结构的表达等，都明显蕴含一个意思，信息是可靠的，是对物质、事物或者结构的一种正确的反映或者表达。在所有的信息定义中，都没有发现它们对于可靠性以及类似的属性的考虑。
然而，信息之所以能够被利用，信息之所以被重视，它的可靠性是前提。一旦信息足够的不可靠，信息的价值完全丧失，而且可能起反作用。
香农对信息的定义，对信息的度量，以及它的信息论，基本上都是考虑的是用熵来计算的随机不确定性，并没有考虑信息的可靠度，对信息的可靠度的考虑最多是从信息传递过程中的失真进行了考虑。当然香农也对冗余有所考虑，但是他的冗余度是一个整体的，平均的量。为什么信息论在通信领域非常适用，因为在通信中，无需考虑信息的可靠性。那是发送者在发送之前或者是接受者在接受之后考虑的，在通信的过程中，一切的目的是如此快速，可靠地发送信息。接受信息的可靠与否，失真与否，与被发送的信息的可靠性，完备程度和真实程度没有关系，它只需要与发送的信息相比较是可靠真实的就达到了通信的目的。
在香农信息论中，信息是不变的，它不考虑信息的不一致性，乃至信息的互相矛盾，因此不需要接受反馈和进行折衷调整。信息论中，还没有考虑到信息往往是不完全的片面的，需要进行融合，人们往往可以由已知的信息得出新的信息，但是香农信息论并没有涉及到如何利用已知的信息推理衍生新的信息。这些问题显然是信息技术所需要的，也是现实生活中广泛存在的问题。当然目前的知识工程、人工智能、信息融合技术已经开始研究这些问题[5]。
由于香农定义的平均互信息量非负，因此，就产生了如下想法：已知某一信息，一定可以减少另外一个事件的随机不确定性。因此，有人认为后验熵一定不大于先验熵。实际上香农定义的平均互信息量是有问题的。
下面分析香农对条件熵的定义，已知条件（X ，Y ）∽p(x,y)。香农首先将条件熵H(X | Y ）定义为：在不同的y 的取值下的x 的熵的（加权）平均
()()()()()()j i m j n i j i j
m j j y x p y x p y p y X H y p Y X H l o g 111j ∑∑∑===-== （1）
香农除了给出前面的定义和公式以外，还随后指出条件熵H(X |Y ）是度量当已知Y 的时候，X 平均的不确定度。
根据后面的描述，H(X|Y ）应该等于在Y 发生情况下X 的熵。实际上的公式应该是 H(X|Y ）＝－()()()()∑∑∑∑====-=m
j j
i n i m j i i i n j i y x p y x p Y x p Y x p 1111,log ,log （2） 根据公式（2），H(X|Y ）与H(X ）的大小并无固定的关系。而根据公式（1），则可以得出H(X|Y ）≤H(X ）。
公式（1）的问题在于，把不同的事件yj 发生的情况下X 的熵进行了简单的加权平均，这一做法并不符合熵的定义，只能说是熵的加权平均，不能说是熵。且这里的事件yj 本身并不代表Y ，而是Y 的可能事件之一。这个加权平均熵不大于H(X ），并不代表任何情况下条件熵都是不大于H(X ）。在已知条件下完全可以计算条件熵，因此将这些熵进行加权平均是不合理的。 正确的条件熵的公式应该是先求出Y 发生的情况下，各个xi 的概率，然后根据熵的公式来求解此时X 的熵，即可以得出公式（2）。
关于平均互信息量的定义，也存在类似的问题。
当然条件熵仅仅是一个定义，或许有人会认为是香农有自己不同的看法，但是香农正是利用这个条件熵小于等于先验熵的不等式作出这样的结论：得到关于Y 的知识以后，X 的不确定性绝对不会增加。根据这一点可以认为香农认为的条件熵的定义是我们所认为的，但是香农却在前面给出了一个错误的定义和公式。
这一问题并没有在很大程度上影响信息论在通信领域的应用，因为通信中研究的问题具有特殊的情况，这使得信息论并不出现纰漏，比如由于先验概率未知或者是均匀分布，先验熵可能本身就到了最大值。通信中的噪声是随机的。
除了分析对条件熵和平均互信息量的定义可以看出来问题症结所在以外，还可以举两个反例说明：
例子一：由于某学校纪律严明，一般学生来学校上课的时间都比较确定，都能提前到校，迟到概率为0.01。但是甲从乙处得到消息：“某同学丙是最不遵守纪律的（包括迟到）”。此消息对应甲从乙处得到了什么消息而言，或者乙告诉甲关于丙同学的什么情况而言，是消除了不确定性。但是本来根据前面已知的学校纪律严明的理由来推测，丙同学很可能是上课的时间是比较确定的，丙不迟到的先验概率可能有0.99，迟到概率可能只有0.01，但是知道从乙处得到消息以后，丙不迟到的后验概率减少了（假设后验的丙不迟到的概率大于0.01）。根据信息量的计算方法，甲得到乙的消息以后，我们以乙的消息为条件，关于丙到校时间的信息量不仅没有增加，反而信息量减少了，后验熵大于先验熵。
例子二：明文空间为M ＝{0,1}。根据当时的通信语境，已知明文是0的先验概率为0.9，明文是1的先验概率为0.1。现在在这个基础上另外知道一些新的信息，这些信息包括：密文空间为C ＝{0,1}，密钥空间为K ＝{ 0,1}，密钥随机分布，采用一次一密体制进行加密，且知道密文是0。我们仅仅考虑这些新的信息情况下明文的概率分布，由于密文无论是0，根据
密钥随机分布的特点，可以反推出明文在已知密码体制，已知密文是确定的，而且密钥是随机等概率分布的条件，可以得出明文是0的概率为0.5，明文是1的概率为0.5。我们以这些新的信息为条件，来计算后验概率，由于前面我们得出的概率与先验概率不一致，因此需要折衷，经过折衷以后的后验概率，明文是0的概率在0.9至0.5之间，可以看出此时明文的值更加不确定了，后验熵大于先验熵[5]。
以上分析说明香农的信息是消除随机不确定性的东西的定义是局限的，信息不能对任何事件都是消除随机不确定性，只能从平均意义上消除随机不确定性，或者信息只能对自己本身任何时候都消除不确定性。
实际上即使我们得出的后验概率和先验概率一样，也不能完全否认我们没有得到任何信息，好比听到甲说某一事情，又听到乙说同样的事情，虽然事情的随机不确定性没有改变，但是事情的可靠性增加了，不能因为不确定性没有改变就认为没有得到信息，可见有必要引入新的度量指标。
2信息的新定义及信息的相对性
现实中的信息往往不是绝对可靠的，而且信息还有不完全等特点，那么生活中，如何来让信息更加可靠，让信息更加完备，就是人们对信息技术的一种需求。
考虑到可靠性是人们对信息的一种非常重要的需求，而且人工智能，信息融合技术都试图来解决这些问题。笔者在这里提出信息的定义如下：信息是在受限制的条件下（比如编码长度限制，分析计算能力限制，分辨率限制等）和考虑各种代价的情况下，尽力追求更高的准确性和可靠性的前提下，通过各种被认可的条件、因素、事实和知识等，以各种被认为精确的或者近似的算法，理论等，采用在一定程度可信的方式直接或间接获得的（被信息处理者认为）对事物更加可靠的，可以消除、增加或者不改变不确定性的东西。
在这里的定义中，我们还强调了信息的产生的方式，产生信息的基础，信息的处理方式。这为进行各种信息的获取，信息的处理，信息的融合，信息的运用奠定了一个基础，为信息论的推广应用做好了必要的准备。
在此还需要说明追求准确性、完备性和可靠性应该是信息论的目标，是前提，而不确定性的消除是一种瓜熟蒂落的自然结果，可以说是一种副产品，不过有时候也可能是不确定性增加或者不变。
3 新信息定义的适用性分析
我们提出的新的信息定义，除了让信息的定义更加符合实际情况，还是要将信息论与其他的信息技术融合起来，让信息定义适用于信息技术。同时，以信息的新定义促进“信息－知识－智能”的转换和融合，让该定义促进人工智能、信息融合等技术的发展。
为了区别于以往的信息论（包括广义信息论）中存在的不考虑信息的可靠性和完备性或者认为信息就是完全可靠完备的局限性，我们在这里以相对信息论区别于其他已有的信息论。物理中物体运动的相对性是它的参照系，而这里信息的相对性针对的是我们认定的条件，包括那些信息的可靠的，那些信息是不可信的，它们的可靠程度如何等等。我们建立一个信息产生的模型：首先，信息处理者从各方收集信息，比如可以从不同的人或者资料来获取信息，这许多的信息需要进行相关的处理，处理者可以根据各种已知的知识，规律等等来进一步衍生新的信息，好比机械设备在获得一定的作用的时候，它会根据机械设备的机制来作用于其他的物体，从而衍生了新的作用。衍生的信息以及最初获得的各种信息之间本身还可能不一致，有些是相互补充的，有些则是不一致的，因此需要整合和折衷，这好比机械设备产生的一些作用导致一些被作用的物体相互发生碰撞，产生反作用，或者由于力的作用在同一个物体上，力的作用不一致的时候，最终对物体的作用是这些力的综合。折衷整合的时候需要以我们认定的条件为基础，包括各个信息的可靠程度。
图1 相对信息论的信息产生模型
目前，国内学者钟义信提出一种信息－知识－智能转换理论[6-7]，并且做了一定的工作。可以认为，知识也是一种信息，知识是由信息提炼出来的，压缩的，具有概括性的信息。知识可以衍生许多新的信息。智能则是对知识和信息的利用的一种信息作用机制。普通的信息可以通过归纳转换为压缩形式的信息－知识，同时可以被提炼为智能，且为智能所利用，而知识和信息也可以为智能所利用。而智能又可以产生新的知识以及新的信息。以下是一个信息－知识－智能的相互作用模型，当然在现实中，信息，知识，智能总是融合在一起，互相作用，互相反馈的。
图2 信息－知识－智能相互作用模型
结束语
本文从新的角度指出了香农信息论的局限性，指出了它没有考虑信息的可靠性，完备性等特点，指出条件熵的问题，并且举例证明了熵不增并不是绝对的，进而指出香农信息定义中的不确定性的减少也不是绝对的，在这些分析的基础上给出了信息的新定义以及与信息相关的一些模型。针对本文提出的信息折衷融合问题，我们也提出了一些算法。新的定义将会大大拓展信息论的研究领域，与人工智能和信息融合等技术接轨[8-9]，同时也促进概率论等其他学科发展。
参考文献
［1］陈远。信息论与编码，电子工业出版社，2009
［2］王勇，朱芳来，一次一密体制的安全性分析与改进，四川大学学报（工程科学版），2007，39（5）增刊
《信息论与编码》课程论文 ——通过信息论对已有知识产生的新认识 马赛 1143031014 《信息论与编码》课程是通信专业的一门基础课。其讲述的理论——香农信息论是当今信息科学的基础，可以说没有信息论的理论支持，就没有当今的信息化社会。 通过对于信息论的学习，我认识到，信息论的贡献就是解释了什么是“信息”，同时使用数学工具，对信息及伴随它产生的各种事物概念进行了解析。近代科学的重大飞跃往往都是因人类对于一个事物有了强有力的分析工具而产生的。有了信息论这一近乎完备（存在一些缺陷）的解析理论，人类才得以驾驭信息，社会才有了长足的进步。 在学习时，我习惯于把正在学习的知识和自己已经掌握的知识进行联系。通过这种方法，可以增进对正在学习知识的理解，同时对已掌握的知识也有新的认识。下文中，列举了两个问题，同时使用信息论的角度去进行解释。 一、计算机的存储容量与信息量的联系 当今的计算机已经十分普及。存储容量，无论内存还是外存，都是判定一台计算机性能的重要指标。现在的个人计算机硬盘容量已经达到了TB级别，而在20年前，几百MB的硬盘都十分罕见。在追求更高的存储容量时，我们是否思考过存储的东西是什么？KB、MB、GB等单位究竟代表的含义是什么？ 这是计算机科学的基本知识：“8 bit = 1 byte”。bit即“位”，这是计算机存储单元最基本的单位；而信息论中也将信息量——用于衡量信息的量的单位称为bit，这两个概念有什么联系吗？ 在课程讲解时提到过这个问题，幻灯片上的答案如是解释：两者代表着不同的概念，信息论中的bit代表着信息量；而计算机中的bit代表着计算机中的二元数字1和0。 我认为两者是同一种概念，都代表信息量，而计算机中的bit是更为细化的概念，单指计算机中的信息量。信息的一种解释是：对于不确定性的消除。信息量是对信息的一种衡量手段，描述对事件不确定性消除的程度。而描述事件不确定性的量就是这个事件发生的概率，因此一个事件发生的概率与事件包含的信息量具有对应的关系。这是香农信息论对于信息量的定义。 计算机存储的依然是信息，只是信息的存储形式是01二进制数字。如果说计算机中的bit只是二元数字的话，那么这个单位就丧失了“信息”这个定义了。 用户通过互联网下载各种资料，下载的资料需要占用本地的存储空间，这是一个众所周知的例子。其实这个过程就是一个消除不确定性的过程。我们一般常识中的“空”硬盘，实际上是没有存储信息，而空间就在那里，空间中的信息有不确定，有不确定度；写入信息，实际上就是在消除不确定性，让空间中的信息确定，让其有序。这就是一种典型的信息传递过程。 计算机是2元存储结构，一个二进制符号代表1bit，根据实际计算，一个二进制符号的最大信息量即H0(X) = log22 = 1bit，这是一个将符号等同于无记忆的，每个符号之间没有联系，达到了信息量的最大值。这是最为简化的处理结果，也是最为可行的处理结果。如果严格按照信息论的角度去分析，其实每个符号之间是有联系的——各种编码、指令，如果01只是随机出现，那么只是一盘散沙。当然这是严格的理论解释，如果实际应用到存储信息的计量，那么将是不可行，计算机界的先驱是非常有远见的。 二、关于称硬币问题的思考
1、有一个二元对称信道，其信道矩阵如下图所示。设该信道以1500个二元符号/秒的速度传输输入符号。现有一消息序列共有14000个二元符号，并设在这消息中P(0)=P(1)=1/2。问从信息传输的角度来考虑，10秒钟内能否将这消息序列无失真地传送完？ 解答：消息是一个二元序列，且为等概率分布，即P(0)=P(1)=1/2，故信源的熵为H(X)=1(bit/symbol)。则该消息序列含有的信息量＝14000(bit/symbol)。 下面计算该二元对称信道能传输的最大的信息传输速率： 信道传递矩阵为： 信道容量（最大信息传输率）为： C=1-H(P)=1-H(0.98)≈0.8586bit/symbol 得最大信息传输速率为： Rt ≈1500符号/秒× 0.8586比特/符号 ≈1287.9比特/秒 ≈1.288×103比特/秒 此信道10秒钟内能无失真传输得最大信息量＝10× Rt ≈ 1.288×104比特 可见，此信道10秒内能无失真传输得最大信息量小于这消息序列所含有的信息量，故从信息传输的角度来考虑，不可能在10秒钟内将这消息无失真的传送完。 2、若已知信道输入分布为等概率分布，且有如下两个信道，其转移概率矩阵分别为： 试求这两个信道的信道容量，并问这两个信道是否有噪声？ 3 、已知随即变量X 和Y 的联合分布如下所示： 01100.980.020.020.98P ?? =?? ??11112222 1111222212111122221111222200000000000000000000000000000000P P ???????? ????==???? ????????11 2222111 22222log 4(00)1/()log 42/log 8(000000)2/(),H bit symbol H X bit symbol C C H bit symbol H X C =-===>=-==1解答：(1)由信道1的信道矩阵可知为对称信道故C 有熵损失，有噪声。(2)为对称信道，输入为等概率分布时达到信道容量无噪声
第二章 信息量和熵 2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的 信息速率。 解：同步信息均相同，不含信息，因此 每个码字的信息量为 2?8log =2?3=6 bit 因此，信息速率为 6?1000=6000 bit/s 2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信 息量。 解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} )(a p =366=6 1 得到的信息量 =) (1 log a p =6log =2.585 bit (2) 可能的唯一，为 {6，6} )(b p =361 得到的信息量=) (1 log b p =36log =5.17 bit 2.4 经过充分洗牌后的一副扑克（52张），问： (a) 任何一种特定的排列所给出的信息量是多少？ (b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？ 解：(a) )(a p =! 521 信息量=) (1 log a p =!52log =225.58 bit (b) ???????花色任选 种点数任意排列 13413!13 )(b p =13 52134!13A ?=1352 13 4C 信息量=1313 52 4log log -C =13.208 bit
2.9 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的 点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、 ),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。 解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立， 则1x X =，21x x Y +=，321x x x Z ++= )|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H =2?( 361log 36+362log 18+363log 12+364log 9+365log 536)+36 6 log 6 =3.2744 bit )|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ] 而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H =1.8955 bit 或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H 而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H =1.8955 bit ),|(Y X Z H =)|(Y Z H =)(X H =2.585 bit )|,(Y Z X H =)|(Y X H +)|(XY Z H =1.8955+2.585=4.4805 bit 2.10 设一个系统传送10个数字，0，1，…，9。奇数在传送过程中以0.5的概 率错成另外一个奇数，其余正确接收，求收到一个数字平均得到的信息量。 解： 8,6,4,2,0=i √ );(Y X I =)(Y H -)|(X Y H 因为输入等概，由信道条件可知，
1． 有一个马尔可夫信源，已知p(x 1|x 1)=2/3，p(x 2|x 1)=1/3，p(x 1|x 2)=1，p(x 2|x 2)=0，试画出该信源的香农线图，并求出信源熵。 解：该信源的香农线图为： 1/3 ○ ○ 2/3 (x 1) 1 (x 2) 在计算信源熵之前，先用转移概率求稳定状态下二个状态x 1和 x 2 的概率)(1x p 和)(2x p 立方程：)()()(1111x p x x p x p =+)()(221x p x x p =)()(2132x p x p + )()()(1122x p x x p x p =+)()(222x p x x p =)(0)(2131x p x p + )()(21x p x p +=1 得4 3 1)(=x p 4 12)(=x p 马尔可夫信源熵H = ∑∑- I J i j i j i x x p x x p x p )(log )()( 得 H=0.689bit/符号 2．设有一个无记忆信源发出符号A 和B ，已知4 341)(.)(= =B p A p 。求： ①计算该信源熵； ②设该信源改为发出二重符号序列消息的信源，采用费诺编码方法，求其平均信息传输速率； ③又设该信源改为发三重序列消息的信源，采用霍夫曼编码方法，求其平均信息传输速率。 解：①∑- =X i i x p x p X H )(log )()( =0.812 bit/符号 ②发出二重符号序列消息的信源,发出四种消息的概率分别为 用费诺编码方法 代码组 b i BB 0 1 BA 10 2 AB 110 3 AA 111 3 无记忆信源 624.1)(2)(2 ==X H X H bit/双符号 平均代码组长度 2B =1.687 bit/双符号 B X H R )(22==0.963 bit/码元时间 ③三重符号序列消息有8个,它们的概率分别为 用霍夫曼编码方法 代码组 b i BBB 64 27 0 0 1 BBA 64 9 0 )(6419 1 110 3
香农信息论的基本理论探究 制作者：陈喆指导老师：杜奕 【内容摘要】：信息是自从人类出现以来就存在于这个世界上了，天地万物，飞禽走兽，以及人类的生存方式都离不开信息的产生和传播。人类每时每刻都在不停的接受信息，传播信息，以及利用信息。从原来的西汉时期的造纸，到近代西方的印刷术，以及现在的计算机，信息技术在人类历史的进程当中随着生产力的进步而发展。而信息理论的提出却远远落后于信息的出现，它是在近代才被提出来而形成一套完整的理论体系。信息论的主要基本理论包括：信息的定义和度量；各类离散信源和连续信源的信息熵；有记忆、无记忆离散和连续信道的信道容量；无失真信源编码定理。 【关键词】：平均自信息信道容量信源编码霍夫曼码
1211()()log()q q i j i j i j H X X P a a a a ===-∑∑ 此联合熵表明原来信源X 输出任意一对可能的消息的共熵，即描述信源X 输出长度为2的序列的平均不确定性，或者说所含有的信息量。可以用1122() H X X 作为二维离散平稳信源X 的信息熵的近视值。 除了平稳离散信源之外，还存在着非平稳离散信源。在非平稳离散信源中有一类特殊的信源。这种信源输出的符号序列中符号之间的依赖关系是有限的，这种关系满足我们在随机过程中讲到的马尔可夫链的性质，因此可用马尔可夫链来处理。马尔可夫信源是一种非常重要的非平稳离散信源。那么马尔可夫信源需要满足一下两个条件： （1） 某一时刻信源符号的输出只与此刻信源所出的状态有关，而与以前的状态及以前的输出符号都无关。 （2） 信源某l 时刻所处的状态由当前的输出符号和前一时刻（l -1）信源的状态唯一决定。 马尔可夫信源的输出的符号是非平稳的随机序列，它们的各维概率分布随时间的推移可能会改变。第l 时间信源输出什么符号，不但与前一（l -1）时刻信源所处的状态和所输出的符号有关，而且一直延续到与信源初始所处的状态和所输出的符号有关。一般马尔可夫信源的信息熵是其平均符号熵的极限值，它的表达式就是： 121()lim ()N N H H X H X X X N ∞∞→∞== . 二．平均互信息 信道的任务是以信号方式传输信息和存储信息的。我们知道信源输出的是携带着信息的消息。消息必须要转换成能在信道中传输或存储的信号，然后通过信道传送到收信者。并且认为噪声或干扰主要从信道中引入。信道根据用户的多少，可以分为两端信道，多端信道。 根据信道输入端和输出端的关联，可以分为无反馈信道，反馈信道。根据信道的参数与时间的关系信道可以分为固定参数信道，时变参数信道。根据输入和输出信号的统计特性可以分为离散信道，连续信道，半离散或半连续信道和波形信道。 为了能够引入平均互信息量的定义，首先要看一下单符号离散信道的数学模型，在这种信道中，输出变量和输入变量的传递概率关系： (|)(|)(|)(1,2,,;1,2,,)j i j i P y x P y b x a P b a i r j s ====== 传递概率所表达的意思是，在信道当输入符号为a ，信道的输出端收到b 的概率。 我们知道，信道输入信源X 的熵是表明接收端收到符号之前信源的平均不确定性，可以称为先验熵。如果信道中无干扰噪声，信道输出符号与输出符号一一对应，那么，接受到传送过来的符号就消除了对发送符号的先验不确定性。但是我们实际的生活中一般信道中有干扰存在，接收到输出后对发送的是什么符号仍有不确定性。表示在输出端收到输出变量Y 的符号后，对于输入端的变量X 尚存在的平均不确定性。即信道疑义度： ,1(|)()log (|)X Y H X Y P xy P x y =∑ 这个信道的疑义度是由于干扰噪声引起的。前面我们看到了输出端接收到输出符号前关于变量X 的先验熵，以及接收到输出符号后关于输入变量X 的平均不确定性，通过信道传输消除了一定的不确定性，获得了一定的信息。那么定义单符号信道的平均互信息量 (;)()(|)I X Y H X H X Y =-
1. 在无失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。 2. 要使通信系统做到传输信息有效、可靠和保密，必须首先 信源 编码， 然后_____加密____编码，再______信道_____编码，最后送入信道。 3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)C W SNR =+；当归一化信道容量C/W 趋近于零时，也即信道完全丧失了通信能力，此时E b /N 0为 -1.6 dB ，我们将它称作香农限，是一切编码方式所能达到的理论极限。 4. 保密系统的密钥量越小，密钥熵H (K )就越 小 ，其密文中含有的关于明文的信息量I (M ；C )就越 大 。 5. 已知n ＝7的循环码4 2 ()1g x x x x =+++，则信息位长度k 为 3 ，校验多项式 h(x)= 3 1x x ++ 。 6. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001?? ???? ；D max ＝ 0.5 ，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010?? ? ??? 。 7. 已知用户A 的RSA 公开密钥(e,n )=(3,55)，5,11p q ==,则()φn = 40 ，他的秘密密钥(d,n )＝(27,55) 。若用户B 向用户A 发送m =2的加密消息，则该加密后的消息为 8 。 二、判断题 1. 可以用克劳夫特不等式作为唯一可译码存在的判据。 （√ ） 2. 线性码一定包含全零码。 （√ ） 3. 算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的 编码，是以另外一种形式实现的最佳统计匹配编码。 （×） 4. 某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，就有信息量。 （×） 5. 离散平稳有记忆信源符号序列的平均符号熵随着序列长度L 的增大而增大。 （×） 6. 限平均功率最大熵定理指出对于相关矩阵一定的随机矢量X ，当它是正态分布时具 有最大熵。 （√ ） 7. 循环码的码集中的任何一个码字的循环移位仍是码字。 （√ ） 8. 信道容量是信道中能够传输的最小信息量。 （×） 9. 香农信源编码方法在进行编码时不需要预先计算每个码字的长度。 （×） 10. 在已知收码R 的条件下找出可能性最大的发码i C 作为译码估计值，这种译码方 法叫做最佳译码。 （√ ）
信息论与编码理论习题解 第二章-信息量和熵 解: 平均每个符号长为:154 4.0312.032= ?+?秒 每个符号的熵为9183.03log 3 1 23log 32=?+?比特/符号 所以信息速率为444.34 15 9183.0=?比特/秒 解: 同步信号均相同不含信息,其余认为等概, 每个码字的信息量为 3*2=6 比特； 所以信息速率为600010006=?比特/秒 解:(a)一对骰子总点数为7的概率是 36 6 所以得到的信息量为 585.2)366(log 2= 比特 (b) 一对骰子总点数为12的概率是36 1 所以得到的信息量为 17.536 1 log 2= 比特 解: (a)任一特定排列的概率为 ! 521 ,所以给出的信息量为 58.225! 521 log 2 =- 比特 (b) 从中任取13张牌,所给出的点数都不相同的概率为 1352 13 13 521344!13C A =? 所以得到的信息量为 21.134 log 1313 52 2=C 比特. 解:易证每次出现i 点的概率为 21 i ,所以
比特比特比特比特比特比特比特398.221 log 21)(807.1)6(070.2)5(392.2)4(807.2)3(392.3)2(392.4)1(6,5,4,3,2,1,21 log )(26 12=-==============-==∑ =i i X H x I x I x I x I x I x I i i i x I i 解: 可能有的排列总数为 27720! 5!4!3! 12= 没有两棵梧桐树相邻的排列数可如下图求得， Y X Y X Y X Y X Y X Y X Y X Y 图中X 表示白杨或白桦，它有???? ??37种排法，Y 表示梧桐树可以栽 种的位置，它有???? ??58种排法，所以共有???? ??58*???? ??37=1960种排法保证没有 两棵梧桐树相邻，因此若告诉你没有两棵梧桐树相邻时，得到关于树排列的信息为1960log 27720log 22-= 比特 解: X=0表示未录取，X=1表示录取； Y=0表示本市，Y=1表示外地； Z=0表示学过英语，Z=1表示未学过英语，由此得
香农信息论对现代社会的影响 摘要：1948年香农在Bell System Technical Journal上发表了《A Mathematical Theory of Communication 》。论文由香农和威沃共同署名。这篇奠基性的论文是建立在香农对通信的观察上，即“通信的根本问题是报文的再生，在某一点与另外选择的一点上报文应该精确地或者近似地重现”。这篇论文建立了信息论这一学科，给出了通信系统的线性示意模型，即信息源、发送者、信道、接收者、信息宿，这是一个新思想。此后，通信就考虑为把电磁波发送到信道中，通过发送1和0的比特流，人们可以传输图像、文字、声音等等。今天这已司空见惯，但在当时是相当新鲜的。他建立的信息理论框架和术语已经成为技术标准。他的理论在通信工程师中立即获得成功，并刺激了今天信息时代所需要的技术发展。 关键词：香农、通信、编码 Abstract: In 1948, Shannon Bell System Technical Journal published "A Mathematical Theory of Communication". Paper co-signed by the Hong farmers. This ground-breaking paper is based on Shannon's observation of the communication that "the fundamental problem of communication is the message of regeneration, at some point with another point to report the selected text should be reproduced exactly or approximately." This paper established the discipline of information theory, given the linear signal model of communication system, that information source, sender, channel, receiver, message places, this is a new idea. Since then, the communication to consider the electromagnetic waves sent to the channel, by sending a stream of bits 1 and 0, one can transfer images, text, and so on. It has become commonplace today, but was very fresh. He established the theoretical framework and terminology of information technology has become the standard. His theory in communications engineer in immediate success, and stimulate the need for the information age of today's technology. Keywords:Shannon、Communications、Coding 信息论的理论定义是由当代伟大的数学家美国贝尔实验室杰出的科学家香农在他1948年的著名论文《通信的数学理论》所定义的，它为信息论奠定了理论基础。后来其他科学家，如哈特莱、维纳、朗格等人又对信息理论作出了更加深入的探讨。使得信息论到现在形成了一套比较完整的理论体系。 上个世纪四十年代，半导体三极管还未发明，电子计算机也尚在襁褓之中。但是通信技术已经有了相当的发展。从十九世纪中叶，电报就已经很普遍了。电报所用的摩斯码（Morse Code），就是通信技术的一项杰作。摩斯码用点和线（不同长度的电脉冲）来代表字母，而用空格来代表字母的边界。但是每个字母的码不是一样长的。常用的字母E只有一个点。而
一填空题（本题20分，每小题2分） 1、平均自信息为 表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。 平均互信息 表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。 2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。 3、最大熵值为。 4、通信系统模型如下： 5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。 6、只要，当N足够长时，一定存在一种无失真编码。 7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。 8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。 9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。 按照信息的地位，可以把信息分成客观信息和主观信息。 人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。 信息的可度量性是建立信息论的基础。 统计度量是信息度量最常用的方法。 熵是香农信息论最基本最重要的概念。 事物的不确定度是用时间统计发生概率的对数来描述的。 10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。 11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对数的负值。 12、自信息量的单位一般有比特、奈特和哈特。 13、必然事件的自信息是 0 。 14、不可能事件的自信息量是∞。 15、两个相互独立的随机变量的联合自信息量等于两个自信息量之和。 16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。 17、离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N倍。 18、离散平稳有记忆信源的极限熵，。 19、对于n元m阶马尔可夫信源，其状态空间共有 nm 个不同的状态。 20、一维连续随即变量X在[a，b]区间内均匀分布时，其信源熵为 log2（b-a）。
信息论与编码期中试题答案 一、（10’）填空题 （1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 （2）必然事件的自信息是0 。 （3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。 （4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。 （5）若一离散无记忆信源的信源熵H（X）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。 二、（10?）判断题 （1）信息就是一种消息。（? ） （2）信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。（? ） （3）概率大的事件自信息量大。（? ） （4）互信息量可正、可负亦可为零。（? ） （5）信源剩余度用来衡量信源的相关性程度，信源剩余度大说明信源符号间的依赖关系较小。 （? ） （6）对于固定的信源分布，平均互信息量是信道传递概率的下凸函数。（? ） （7）非奇异码一定是唯一可译码，唯一可译码不一定是非奇异码。（? ） （8）信源变长编码的核心问题是寻找紧致码（或最佳码）。 （? ） （9）信息率失真函数R(D)是关于平均失真度D的上凸函数. ( ? ) 三、（10?）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。 假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？ 解：设A表示“大学生”这一事件，B表示“身高1.60以上”这一事件，则 P(A)=0.25 p(B)=0.5 p(B|A)=0.75 （5分） 故p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 （4分） I(A|B)=-log0.375=1.42bit （1分）
一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =，()21|1/2p u u =， ()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。 解：状态图如下 状态转移矩阵为： 1/21/2 01/302/31/32/30p ?? ?= ? ??? 设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3 由1231WP W W W W =??++=?得1231132231231 112331223 231W W W W W W W W W W W W ?++=???+=???=???++=? 计算可得1231025925625W W W ?=??? =?? ?=?? 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =，(0|11)p =，(1|00)p =， (1|11)p =，(0|01)p =，(0|10)p =，(1|01)p =，(1|10)p =。画出状态图，并计算各状态 的稳态概率。 解：(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p == (0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p ==
信息论与编码课程论文 电子邮件安全与密码学的应用 刘畅，200900840179 山东大学威海分校机电与信息工程学院，威海 264209 摘要：本文分析了传统电子邮件系统存在的安全性问题，探讨应用密码技术采弥补这些安全漏洞，并且绍了在安全电子邮件系统中使用的密码技术。 关键词：RSA；PGB；PEM 1、概述 随着计算机技术和网络技术的迅速发展，电子邮件的应用也越来越广泛．成为网络牛活中重要的组成部分，大有取代传统邮件之势。作为一种新的信息传递技术，电子邮件以其简单、快捷、方便的优势被人们所接受和喜爱。但是也存在一些问题妨碍了它的推广。其中关键之一就是电子邮件的信息安全。由于电子邮件技术在设计之初是为了科学家之间的通信方便，所以并来考虑信息安全因素。但是髓着时代的发展。尤其是电子商务的速成长。作为其沟通手段的电子邮件的安全性问题就不得不受到高度重视。人们很自然的想到把已经成熟的密码技术商用于电子邮件系统。密码技术就是对信息进行重新编码。从而达到隐藏信息内容使非法用户无法获取真实信息内容的一种手段。本文就浅述一下密码技术安全电子邮件中的应用。 2、密码学简介 2.1、加密的历史 作为保障数据安全的一种方式，数据加密起源于公元前2000年。埃及人是最先使用特别的象形文字作为信息编码的人。随着时间推移，巴比伦，希腊等都开始使用一些方法来保护他们的书面信息。对信息进行编码曾被Julias Caesar（恺撒大帝）使用，也曾用于历次战争中，包括美国独立战争，美国内战和两次世界大战。最广为人知的编码机器是German Enigma机，在第二次世界大战中德国人利用它创建了加密信息。此后，由于Alan Turing 和Ultra计划及其他人的努力，终于对德国人的密码进行了破解。当初，计算机的研究就是为了破解德国人的密码，当时人们并没有想到计算机给今天带来的信息革命。随着计算机的发展，运算能力的增强，过去的密码都变的十分简单了。于是人们又不断地研究出了新的数据加密方式，如私有密钥算法和公有密钥算法。可以说，是计算机推动了数据加密技术的发展。 2.2、密码学的发展 密码学的发展可以分为两个阶段。第一个阶段是计算机出现之前的四千年（早在四千年前，古埃及就开始使用密码传递消息），这是传统密码学阶段，基本上靠人工对消息加密、传输和防破译。第二阶段是计算机密码学阶段，包括： ①传统方法的计算机密码学阶段。解密是加密的简单逆过程，两者所用的密钥是可以简单地互相推导的，因此无论加密密钥还是解密密钥都必须严格保密。这种方案用于集中式系统是行之有效的。 ②包括两个方向：一个方向是公用密钥密码（RSA），另一个方向是传统方法的计算机密码体制——数据加密标准（DES）。
上海大学2011～2012学年度冬季学期试卷（A卷） 课程名:信息论与编码课程号: 07276033学分: 4 应试人声明： 我保证遵守《上海大学学生手册》中的《上海大学考场规则》，如有考试违纪、作弊行为，愿意接受《上海大学学生考试违纪、作弊行为界定及处分规定》的纪律处分。 应试人应试人学号应试人所在院系 题号 1 2 3 4 得分——————————————————————————————————————一：填空题(每空2分，共40分) 1：掷一个正常的骰子，出现‘5’这一事件的自信息量为________,同时掷两个正常的骰子，‘点数之和为5’这一事件的自信息量为___________.（注明物理单位） 2：某信源包含16个不同的离散消息，则信源熵的最大值为___________,最小值为_____________. 3：信源X经过宥噪信道后，在接收端获得的平均信息量称为______________. 4：一个离散无记忆信源输出符号的概率分别为p(0)=0.5,p(1)=0.25,p(2)=0.25,则由60个符号构成的消息的平均自信息量为__________. 5：信源编码可提高信息传输的___有效___性，信道编码可提高信息传输的___可靠_性. 6:若某信道的信道矩阵为 ? ? ? ? ? ? ? ? ? ? ? ? 001 100 010 100 ，则该信道为具有____归并____性能的信道 7：根据香农第一定理（定长编码定理）若一个离散无记忆信源X的信源熵为H(X)，对其n个符号进行二元无失真编码时，其码字的平均长度必须大于____________ 8：若某二元序列是一阶马尔科夫链，P(0/0)=0.8，P(1/1)=0.7，则‘0’游程长度为4的概率为____________,若游程序列为312314，则原始的二元序列为_________. 9:若循环码的生成多项式为1 ) (2 3+ + =x x x g，则接收向量为（1111011）的伴随多项式为_______________ 10:对有32个符号的信源编4进制HUFFMAN码，第一次取_______个信源进行编码. 11:若一个线性分组码的所有码字为：00000,10101,01111,11010，则该码为（____,_____）,该码最多可以纠正_______位错误，共有________陪集. 12：码长为10的线性分组码若可以纠正2个差错,其监督吗至少有__5____位. 13：（7,4）汉明码的一致校验矩阵为 ? ? ? ? ? ? ? ? ? ? 1,0,1,0,1, ,1 0,1,1,0,0, ,1 0,0,0,1,1, ,1 3 2 1 r r r ，则3 2 1 r r r 为__________. _______________________________________________________________ 草稿纸 成绩
2011-2012 信息论与编码理论1 B 卷答案 一、 单项选择题（每题3分，总计15分） 1．当底为e 时，熵的单位为（ C ）。 A 奈特 B 哈特 C 奈特/符号 D 哈特/符号 2．下列关系式中( B )正确。 A )();(X I Y X I ≥ B );(),(Y X I Y X H ≥ C )|()|(X Y H Y X H ≥ D );();(Y X H Y X I ≤ 3．下列（ D ）陈述是正确的。 A Shannon 编码是最优码 B LZ 编码是异字头码 C Huffman 编码可以不需要知道信源的分布 D 典型序列的数目不一定比非典型的多 ) 4．下列数组中（ A ）不满足二个字母上的Kraft 不等式。 A (1，1，1) B (2,2,2,2) C (3,3,3) D （4，4，4） 5．下列（ D ）是只对输出对称的。 A ????? ? ??316 12121613 1 B ????? ??2.04.04.04.02.04.04.04.02.0 C ??????? ? ??32313132 3231 D ??? ? ??2.04.04.04.02.02.0 二、填空题（每空2分，总计20分） 1．若二元离散无记忆中25.0)0(=p ，75.0)1(=p ，则当给出100比特的信源序列，其中有5个1，则其自信息为3log 52002-比特，整个序列的熵为)3log 4 3 2(1002- 比特/符号. 2．若某离散信道信道转移概率矩阵为?? ????????5.025.025.025.05.025.025.025.05.0，则其信道容量为5.13log 2-比 特/符号；转移概率矩阵为???? ? ?????25.05.025.05.025.025.025.025.05.0，则其信道容量为5.13log 2-比特/符号。 3. 两个相同的BSC 做级联信道，其信道转移矩阵分别为??? ? ??--p p p p 11 ， 则级联信道的信道转移矩阵为??????+---+-22222212222221p p p p p p p p ，无穷多个级联后的矩阵为??? ???5.05.05.05.0。 4．若一个信道的输入熵为6.2)(=X H 比特/符号，输出熵为3.2)(=Y H 比特/符号，
一、（11’）填空题 （1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 （2）必然事件的自信息是0 。 （3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。 （4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。 （5）若一离散无记忆信源的信源熵H（X）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。 （6）对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码。（7）已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。 （8）设有一离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率R__小于___C（大于、小于或者等于），则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。（9）平均错误概率不仅与信道本身的统计特性有关，还与___译码规则____________和___编码方法___有关 三、（5'）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。 假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？ 解：设A表示“大学生”这一事件，B表示“身高1.60以上”这一事件，则 P(A)=0.25 p(B)=0.5 p(B|A)=0.75 （2分） 故 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 （2分） I(A|B)=-log0.375=1.42bit （1分） 四、（5'）证明：平均互信息量同信息熵之间满足 I(X;Y)=H(X)+H(Y)-H(XY) 证明：
信息论与编码理论习题答案全解
第二章 信息量和熵 2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的 信息速率。 解：同步信息均相同，不含信息，因此 每个码字的信息量为 2?8log =2?3=6 bit 因此，信息速率为 6?1000=6000 bit/s 2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少 信息量。 解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} )(a p =366=6 1 得到的信息量 =) (1 log a p =6log =2.585 bit (2) 可能的唯一，为 {6，6} )(b p =361 得到的信息量=) (1 log b p =36log =5.17 bit 2.4 经过充分洗牌后的一副扑克（52张），问： (a) 任何一种特定的排列所给出的信息量是多少？ (b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？ 解：(a) )(a p =! 521 信息量=) (1 log a p =!52log =225.58 bit (b) ???????花色任选 种点数任意排列 13413!13 )(b p =13 52134!13A ?=1352 13 4C 信息量=1313 52 4log log -C =13.208 bit
2.9 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的 点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、 ),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。 解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立， 则1x X =，21x x Y +=，321x x x Z ++= )|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H =2?( 361log 36+362log 18+363log 12+364log 9+365log 536)+36 6 log 6 =3.2744 bit )|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ] 而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H =1.8955 bit 或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H 而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H =1.8955 bit ),|(Y X Z H =)|(Y Z H =)(X H =2.585 bit )|,(Y Z X H =)|(Y X H +)|(XY Z H =1.8955+2.585=4.4805 bit 2.10 设一个系统传送10个数字，0，1，…，9。奇数在传送过程中以0.5的概 率错成另外一个奇数，其余正确接收，求收到一个数字平均得到的信息量。 解： 信道 X Y 9,7,5,3,1=i 8,6,4,2,0=i √Χ );(Y X I =)(Y H -)|(X Y H 因为输入等概，由信道条件可知，