信息论大作业

信息论习题集第一章、判断题1、信息论主要研究目的是找到信息传输过程的共同规律，提高信息传输的可靠性、有效性、保密性和认证性，以达到信息传输系统的最优化。

（√）2、同一信息，可以采用不同的信号形式来载荷；同一信号形式可以表达不同形式的信息。

（√）3、通信中的可靠性是指使信源发出的消息准确不失真地在信道中传输；（√）4、有效性是指用尽量短的时间和尽量少的设备来传送一定量的信息。

（√）5、保密性是指隐蔽和保护通信系统中传送的消息，使它只能被授权接收者获取，而不能被未授权者接收和理解。

（√）6、认证性是指接收者能正确判断所接收的消息的正确性，验证消息的完整性，而不是伪造的和被窜改的。

（√）7、在香农信息的定义中，信息的大小与事件发生的概率成正比，概率越大事件所包含的信息量越大。

（×）第二章一、判断题1、通信中获得的信息量等于通信过程中不确定性的消除或者减少量。

（√）2、离散信道的信道容量与信源的概率分布有关，与信道的统计特性也有关。

（×）3、连续信道的信道容量与信道带宽成正比，带宽越宽，信道容量越大。

（×）4、信源熵是信号符号集合中，所有符号的自信息的算术平均值。

（×）5、信源熵具有极值性，是信源概率分布P的下凸函数，当信源概率分布为等概率分布时取得最大值。

（×）6、离散无记忆信源的N次扩展信源，其熵值为扩展前信源熵值的N倍。

（√）7、互信息的统计平均为平均互信息量，都具有非负性。

（×）8、信源剩余度越大，通信效率越高，抗干扰能力越强。

（×）9、信道剩余度越大，信道利用率越低，信道的信息传输速率越低。

（×）10、信道输入与输出之间的平均互信息是输入概率分布的下凸函数。

（×）11、在信息处理过程中，熵是不会增加的。

（√）12、熵函数是严格上凸的。

（√）13、信道疑义度永远是非负的。

（√）14、对于离散平稳信源，其极限熵等于最小平均符号熵。

《信息论与编码》课程期末大作业题目及评分标准
1、以下面方向为题，写一份论文报告：
a) 信息理论方法的应用
b) 信息率失真函数与有损数据压缩技术
c) 信源编码及其发展动态
d) 论信源编码与信道编码
e) 论现代密码体制
f) 论通信与香农三大定理的关系
2、论文格式要求
a)按题目、名字学号、摘要、关键词、正文、结论、参考文献进行书写，
格式要统一规范，图表要完备；
b)字体小四、宋体、1.5行距；
c)任意两个同学的论文不能相同，如相同20%以上则视为零分；
3、论文内容要求
1）论文不能写成综述性文章，必须是对技术的探讨与分析，研究并提出自己的论点；
2）论文中要有图形、框图等。

4、大作业分数评定标准
1）符合选题要求10分；
2）格式规范10分；
3）内容论述正确、图表完备、分析深入60分；
4）有自己见解及技术上的创新性20分。

5、期末总成绩评分标准
1）平时成绩30% （由4次考勤、1次实验成绩综合构成）；
2）期末大作业成绩70%。

广西科技大学大作业课程名称：信息论与编码题目：信道编码对通信系统性能的影响学院：电气与信息工程学院专业：电子信息工程班级：学号：成绩：姓名：电话号码：信道编码对通信系统性能的影响[摘要] 简述信道编码理论，详细说明分组码的编译原理、实现方法及检错纠错能力，用MATLAB仿真有无信道编码条件下对通信系统性能的影响及信道编码在不同信道下对通信系统性能的影响，如AWGN信道和深衰落信道。

[关键词] 信道编码、分组码、MATLAB仿真、性能一、引言提高信息传输的有效性和可靠性始终是通信技术所追求的目标，而信道编码能够显著的提升信息传输的可靠性。

1948年,信息论的奠基人C.E.Shannon在他的开创性论文“通信的数学理论”中,提出了著名的有噪信道编码定理.他指出：对任何信道,只要信息传输速率R不大于信道容量C, 就一定存在这样的编码方法：在采用最大似然译码时,其误码率可以任意小.该定理在理论上给出了对给定信道通过编码所能达到的编码增益的上限,并指出了为达到理论极限应采用的译码方法.在信道编码定理中,香农提出了实现最佳编码的三个基本条件：(1 )采用随机编译码方式；(2 )编码长度Ｌ→∞ , 即分组的码组长度无限；(3)译码采用最佳的最大似然译码算法。

二、信道编码理论1、信道编码的概念与目的进行信道编码是为了提高信号传输的可靠性，改善通信系统的传输质量，研究信道编码的目标是寻找具体构造编码的理论与方法。

从原理上，构造信道码的基本思路是根据一定的规律在待发送的信息码元中人为的加入一定的多余码元，以引入最小的多余度为代价来换取最好的抗干扰性能。

信道编码是通过信道编码器和译码器实现的用于提高信道可靠性的理论和方法，是信息论的内容之一。

信道编码大致分为两类：①信道编码定理，从理论上解决理想编码器、译码器的存在性问题，也就是解决信道能传送的最大信息率的可能性和超过这个最大值时的传输问题。

②构造性的编码方法以及这些方法能达到的性能界限。

信息论作业答案第二章1 ■一阶齐次马尔柯夫信源消息集X ∈{321,,a a a }，状态集S ∈{321,,S S S }。

且令3,2,1,==i a S i i , 符号条件转移概率为[]=21414141214113131)/(i j S a P(1) 画出该信源的状态转移图；(2)解：（1）[]111333111424111442(|)jip SS =??（2）1111231344111123232411112333421231w w w w w w w w w w w w w w w ++=??++=??++=??++=?311142114311w w w =??=??=?H(X|S 1)=H (1/3,1/3,1/3)=1.58bit/符号H(X|S 2)=H (1/4,1/2,1/4)=1.5bit/符号= H(X|S 3)33411111()(|) 1.58 1.52 1.52i i i H X w H X S ∞===?+??=∑bit/符号2 如果你确定你的朋友是6月的生日，但是不知道具体是哪一天。

那么你问你的朋友“你的生日是6月哪一天?”，则答案中含有的信息量为4.91bit ；3p42 2-12 4 p42 2-13 5 p43 2-19 6 p44 2-29第三章1. ■设信道的转移概率矩阵为P ＝0.90.10.10.9??（1）若p(x 0)=0.4，p(x 1)=0.6，求H(X ），H(Y ），H(Y|X ）和I(X ；Y ）；（2）求该信道的信道容量及其达到信道容量时输入符号的概率分布。

（3）设该信道以1800个二元符号/秒的速度传输输入符号。

现有一消息序列共有10000个二元符号，在p(x 0)=1/2，p(x 1)=1/2情况下，从信息传输的角度来考虑，10秒内能否将这消息序列无失真地传送完？解：(1)[]0.360.04(,)0.060.54p x y ??=?, [p(y)]=[0.42 0.58] H(X)(0.4,0.6)0.97H ==bit/符号H(Y)(0.42,0.58)0.98H ==bit/符号 H(Y|X)(0.9,0.1)0.47H ==bit/符号I(X;Y)= H(Y)－H(Y|X)=0.51bit/符号(2)C=1－H(ε)=1－H(Y|X)=0.53bit/符号 p 0=p 1=0.5（3）H(X)×104＝104 bit1800×C ×10＝9540 bit < 104 所以不能无失真传送完。

信息论大作业信息论大作业电子工程学院班号编码1．Huffman 编码原理：①将信源符号按概率从大到小的顺序排列，令p(x1)≥ p(x2)≥?≥ p(xn) ②给两个概率最小的信源符号p(xn-1)和p(xn)各分配一个码位“0”和“1”，将这两个信源符号合并成一个新符号，并用这两个最小的概率之和作为新符号的概率，结果得到一个只包含(n－1)个信源符号的新信源。

称为信源的第一次缩减信源，用S1表示。

③将缩减信源S1的符号仍按概率从大到小顺序排列，重复步骤2，得到只含(n －2)个符号的缩减信源S2。

④重复上述步骤，直至缩减信源只剩两个符号为止，此时所剩两个符号的概率之和必为1。

然后从最后一级缩减信源开始，依编码路径向前返回，就得到各信源符号所对应的码字。

2. 霍夫曼编码优缺点：1) 编出来的码都是异字头码，保证了码的唯一可译性。

2) 于编码长度可变。

因此译码时间较长，使得霍夫曼编码的压缩与还原相当费时。

3) 编码长度不统一，硬件实现有难度。

4) 对不同信号源的编码效率不同，当信号源的符号概率为2的负幂次方时，达到100％的编码效率；若信号源符号的概率相等，则编码效率最低。

5) 于0与1的指定是任意的，故上述过程编出的最佳码不是唯一的，但其平均码长是一样的，故不影响编码效率与数据压缩性能。

3.编码流程：读入一幅图像的灰度值; 1. 将矩阵的不同数统计在数组c的第一列中; 2. 将相同的数占站整个数组总数的比例统计在数组p中; 3. 找到最小的概率,相加直到等于1,把最小概率的序号存在tree第一列中,次小放在第二列,和放在p像素比例之后; 4. C数组第一维表示值,第二维表示代码数值大小,第三维表示代码的位数； 5. 把概率小的值为1标识，概率大的值为0标识； 6. 计算信源的熵；7. 计算平均码长；8. 计算编码效率’；9. 计算冗余度。

源程序：p=input(‘请输入数据:’); n=length(p); for i=1:n if p(i) fprintf(‘\\n 提示：概率值不能小于0!\\n’); p=input(‘请重新输入数据:’);end end if abs(sum(p))>1 fprintf(‘\\n 哈弗曼码中概率总和不能大于1!\\n’); p=input(‘请重新输入数据:’);end q=p; a=zeros(n-1,n); %生成一个n-1 行n 列的数组for i=1:n-1[q,l]=sort(q); a(i,:)=[l(1:n-i+1),zeros(1,i-1)];q=[q(1)+q(2),q(3:n),1];end for i=1:n-1 c(i,1:n*n)=blanks(n*n); end c(n-1,n)=‘0’;c(n-1,2*n)=‘1’; for i=2:n-1 c(n-i,1:n-1)=c(n-i+1,n*(find(a(n-i+1,:)==1 ))-(n-2):n*(find(a(n-i+1,:)==1))) ; c(n-i,n)=‘0’ ; c(n-i,n+1:2*n-1)=c(n-i,1:n-1) ; c(n-i,2*n)=‘1’ ;for j=1:i-1c(n-i,(j+1)*n+1:(j+2)*n)=c(n-i+1,n*(find( a(n-i+1,:)==j+1)-1)+1:n*find(a(n-i+1,:)==j +1)); end end%完成huffman 码字的分配for i=1:n h(i,1:n)=c(1,n*(find(a(1,:)==i)-1)+1:find(a (1,:)==i)*n);ll(i)=length(find(abs(h(i,:))~=32)); %计算每一个huffman 编码的长度end l=sum(p.*ll);%计算平均码长fprintf(‘\\n Huffman编码结果为:\\n’);h fprintf(‘\\n 编码的平均码长为:\\n’); l hh=sum(p.*(-log2(p))); %计算信源熵fprintf(‘\\n 信源熵为:\\n’);hh fprintf(‘\\n 编码效率为:\\n’); t=hh/l%计算编码效率运行结果为：请输入数据:[,,,,,,,] Huffman编码结果为: h = 1100 1101010111011 00010001 编码的平均码长为: l = 3 信源熵为: hh = 编码效率为: t = 编码：Fano 码: 费诺编码属于概率匹配编码，但它不是最佳的编码方法。

熵1. 从大量统计资料知道，男性中红绿色盲的发病率为7％，女性发病率为0.5 ％，如果你问一位男同志：“你是否是红绿色盲？”他的回答可能是“是”，可 能是“否”，问这二个答案中各含多少信息量？平均每个回答中含有多少信息 量？如果你问一位女同志，则答案中含有的平均自信息量是多少？2.. 设有一概率空间，其概率分布为{1p ,2p ,…,q p }，并有1p >2p 。

若取'1p =1p ε-，'2p =2p ε+，其中1202p p ε<≤-，其他概率不变。

试证明由此所得新的概率空间的熵是增加的，并用熵的物理意义加以解释。

3.（1）为了使电视图像获得良好的清晰度和规定的适当的对比度，需要用5×105个像素和10个不同的亮度电平，求传递此图像所需的信息率（比特/秒）。

并设每秒要传送30帧图像，所有像素独立变化，且所有亮度电平等概率出现。

（2）设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有30个不同的色彩度，试证明传输这彩色系统的信息率约是黑白系统的信息率的2.5倍。

4. 为了传输一个由字母A 、B 、C 、D 组成的符号集，把每个字母编码成两个二元码脉冲序列，以00代表A ，01代表B ，10代表C ，11代表D 。

每个二元脉冲宽度为5ms 。

（1）不同字母等概率出现时，计算传输的平均信息速率； （2）若每个字母出现的概率分别为1111,,,2488A B C D p p p p ====，试计算传输的平均信息速率。

5. 证明：1212()()()()N N H X X X H X H X H X ⋅⋅⋅≤++⋅⋅⋅+6 设有扰离散信道的输入端是以等概率出现的A 、B 、C 、D 四个字母。

该信道的正确传输概率为0.5，错误传输概率平均分布在其他三个字母上。

验证在该信道上每个字母传输的平均信息量为0.21比特。

压缩编码1. 有一信源，它有六种可能的输出，其概率分布如下表所示，表中给出了对应的六种编码12345C C C C C 、、、、和6C 。

信息论与编码课程大作业
一、信源与信源编码
1、若信源包含N 个符号，在什么情况下熵最大？（10分）
最大的熵值是多少？（10分）
2、简述信源编码的两个作用。

（10分）
3、已知离散无记忆信源中各符号的概率空间为
X = 符号u1 u2 u3 u4
概率：1/2 1/4 1/8 1/8
(1)求信源的熵(10分)；
(2)对其进行哈夫曼编码(要求码方差较小)，写出过程(10分)；
(3)求出平均码长和编码效率(10分)。

4、举出学过的无失真与限失真编码方法，各1种。

（10分）
并选择一种，阐述其在实际中的应用（不少于200字）。

（10分）
5、编程题（20分）
二、信道与信道编码
1、 对称信道容量公式？（10分）
在信源如何分布时达到信道容量？（10分）
2、信道编码的基本原理是什么？（10分）
3、对一个（4，2）码，其生成矩阵为
(1)写出伴随式译码表(10分)；
(2)接收序列R=1100，估算发码(10分)；
(3)判断码的检错能力(10分)。

4、举出两种常用的纠错码，（10分）
并选择一种，阐述其在实际中的应用（不少于200字）。

（10分）
5、编程题（20分）
说明：（1）按学号排列前30名同学完成信源与信源编码方面的作业，其余同学
完成信道与信道编码方面的作业。

（2）第5题编程题另付题目与具体要求，可在20道编程题中任选一道；
自己编写课程相关的其他程序也可以。

（3）第4题和第5题，任意两个同学不能雷同，否则均不能通过。

10010111G ⎡⎤=⎢⎥⎣⎦。

2．居住在某地区的女孩中有25%是大学生,在大学生中有75%是身高1.6以上的，而女孩中身高1.6米以上的占总数一半.假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？
解：
信息量：比特
有一信源输出X∈{0,1,2}，其概率为p0=1/4，p1=1/4，p2=1/2。

设计两个独立实验去观察它，其结果为Y1∈{0,1}和Y2∈{0,1}。

已知条件概率为
P(Y1|X) 0 1 P(Y2|X) 0 1
0 1 0 0 1 0
1 0 1 1 1 0
2 1/2 1/2 2 0 1 求：
1)I(X;Y1)和I(X;Y2)，并判断哪一个实验好些。

2)I(X;Y1,Y2)，并计算做Y1和Y2两个实验比做Y1或Y2中的一个实验各可多得多少关
于X的信息。

3)I(X;Y1/Y2)和I(X;Y2/Y1)，并解释它们的含义。

H(X)=
．若有二个串接的离散信道，它们的信道矩阵都是
00
10001⎡⎤⎢⎥
11．有一个一阶平稳马尔可夫链X1，X2,……X r……，各X r取值于集合A={a1,a2,a3}。

已知起始概率p(X r)为p1=1/2，p2=p3=1/4，转移概率如下。

j
1 2 3
21.0585
.1251
.11100=-=-
=∞H H R。

《信息论与编码》课程大作业——正交多项式拟合的信息熵学院班级姓名学号阅读文献名称：Information entropy of orthogonal polynomials中文名称：正交多项式拟合的信息熵文章摘要：主要讲了Boltzmann–Shannon的经典正交多项式拟合的信息熵的定义式：以及从这个公式和雅克比行列式的推导出来的一个很明确的公式：文章的第一部分是介绍部分，主要介绍了熵的来历，熵的引入，熵的概念的解释：是一种种类性，同时带有组的概念，动态性不确定性等等的一种表征，是描述随机性、杂乱性和不确定性的一种标志。

同时文章的介绍部分引入了位置空间和动量空间的两个表达式，，并同时给出了它们与Boltzmann–Shannon 的关系即推导公式：以及由这些公式得到的一些结论和这些对这个学科的贡献和不足之处，在第一部分的最后介绍了一些基本的分析和推导要用到的公式和定理：1、第一类切比雪夫多项式：2、第二类切比雪夫多项式：3、盖根保多项式：4、厄密多项式：5、拉盖尔多项式：6、紧凑正交多项式拟合的间隔问题：其中：文章的第二部分是一些概念和符号的说明和介绍，其中包括：1、雅克比行列式简介：2、Zeta矩阵函数：以及泰勒分解后的表达式：3、权重的概念以及几何学的方程：权重定义：在推导过程中用到了微分方程：还有皮尔森方程：第三部分是正交信息熵的提出，同时也提出了一些辅助定理以及证明：1、2、其中：3、文章总结以及心得体会：这篇文章介绍的是一种信息熵的新的求解方法，就是基于正交拟合的方法，文章还介绍了要用到的一些矩阵以及在推导过程中的矩阵的变换和一些基本又经典的方程，比如泰勒级数的展开等等。

解决了以前求熵的复杂问题，提出了简明的计算公式，以及从基本的Boltzmann–Shannon熵的表达式推导出简明计算公式的方法和推导出来的理论依据和数学支持，最终达到了解决在摘要中提出的问题的目的。