信息论作业
信号与信息处理专业姚艳红（200511547）
要求：处理图像lena.bmp,并画出各图像的灰度层次的分布图，并对256位和16位信源数据进行霍夫曼编码
1．程序如下：
clear;
%提取原图像的数据
x=imread('lena.bmp');
% 一..显示原图像
figure;
subplot(2,2,1)
imshow(x);
x1=double(x);
%计算图像的熵
y=zeros(1,256);
for p=1:256*256;
y(x1(p)+1)=y(x1(p)+1)+1;
end
y1=y;
y=y/(256*256);
h=0;
for q=1:256
if y(q)>0
h=h-y(q)*log2(y(q));
end
end
%二...用四位来表示图像，即将后四位屏蔽掉，（变为零）
y2=zeros(1,256);
for p=1:256;
for q=1:256;
x2(p,q)=x1(p,q)-rem(x1(p,q),16);
end
end
for p=1:256*256;
y2(x2(p)+1)=y2(x2(p)+1)+1;%分布
end
subplot(2,2,2);
imshow(uint8(x2));
%三....也是四位表示
y3=zeros(1,256);
for p=1:256;
for q=1:256;
x3(p,q)=x2(p,q)/16;
end
end
for p=1:256*256;
y3(x3(p)+1)=y3(x3(p)+1)+1;%分布end
subplot(2,2,3)
imshow(uint8(x3));
%四....四位表示
y4=zeros(1,256);
for p=1:256;
for q=1:256;
x4(p,q)=255-x3(p,q);
end
end
for p=1:256*256;
y4(x4(p)+1)=y4(x4(p)+1)+1;%分布end
subplot(2,2,4)
imshow(uint8(x4));
%画出四个图象中灰度层次的分布图figure;
subplot(2,2,1)
stem(y1,'.');
subplot(2,2,2)
stem(y2,'.');
subplot(2,2,3)
stem(y3,'.');
subplot(2,2,4)
stem(y4,'.');
%霍夫曼编码
%对256个灰度层次的信源数据进行编码map1 = huffman(double(y1))
%对16个灰度层次的信源数据进行编码y5=zeros(1,16);
j=1;
for i=1:256
if y2(i)>0;
y5(j)=y2(i);
j=j+1;
end
end
map2 = huffman(double(y5))
2．运行结果：
（1）计算原图像的熵为：h=7.3482
（2）所显示的图像：
（3）各图像中各个灰度层次的概率分布图
)霍夫曼编码：
2.3 一副充分洗乱的牌（含52张），试问： （1）任一特定排列所给出的不确定性是多少？ （2）随机抽取13张牌，13张牌的点数互不相同时的不确定性是多少？ 解：（1）52张扑克牌可以按不同的顺序排列，所有可能的不同排列数就是全排列种数，为 526752528.06610P =!≈? 因为扑克牌充分洗乱，任一特定排列出现的概率相等，设事件A 为任一特定排列，则其发 生概率为 ()681 1.241052P A -=≈?! 可得，该排列发生所给出的信息量为 ()()22log log 52225.58I A P A =-=!≈ bit 67.91≈ dit （2）设事件B 为从中抽取13张牌，所给出的点数互不相同。 扑克牌52张中抽取13张，不考虑排列顺序，共有13 52C 种可能的组合。13张牌点数 互不相同意味着点数包括A ，2，…，K ，而每一种点数有4种不同的花色意味着每个点数可以取4中花色。所以13张牌中所有的点数都不相同的组合数为13 4。因为每种组合都是等概率发生的，所以 ()131341352441339 1.05681052P B C -?!! ==≈?! 则发生事件B 所得到的信息量为 ()()13 21352 4log log 13.208I B P B C =-=-≈ bit 3.976≈ dit 2.5 设在一只布袋中装有100只对人手的感觉完全相同的木球，每只上涂有1种颜色。100只球的颜色有下列三种情况： (1) 红色球和白色球各50只； (2) 红色球99只，白色球1只； (3) 红，黄，蓝，白色各25只。 求从布袋中随意取出一只球时，猜测其颜色所需要的信息量。 解：猜测木球颜色所需要的信息量等于木球颜色的不确定性。令 R ——“取到的是红球”，W ——“取到的是白球”， Y ——“取到的是黄球”，B ——“取到的是蓝球”。 （1）若布袋中有红色球和白色球各50只，即 ()()501 1002P R P W == = 则 ()()221 log log 212 I R I W ==-== bit （2）若布袋中红色球99只，白色球1只，即
香农编码--信息论大作业-标准化文件发布号：（9456-EUATWK-MWUB-WUNN-INNUL-DDQTY-KII
信息论与编码课程大作业 题目：香农编码 学生姓名： ****** 学号： &********** 专业班级： ******************* 2013 年 5 月 10 日
香农编码 1.香农编码的原理/步骤 香农第一定理指出了平均码长与信源之间的关系，同时也指出了可以通过编码使平均码长达到极限值，这是一个很重要的极限定理。如何构造这种码？香农第一定理指 出，选择每个码字的长度K i将满足式I(x i)≤K i＜I p(x i)+1就可以得到这种码。这种编码方法就是香农编码。 香农编码步骤如下: (1)将信源消息符按从大到小的顺序排列。 (2)计算p[i]累加概率； (3)确定满足自身要求的整数码长； (4)将累加概率变为二进制数； (5)取P[i]二进制数的小数点后Ki位即为该消息符号的二进制码字。 2. 用C语言实现 #include
信息论与编码习题参考答案 第一章 单符号离散信源 同时掷一对均匀的子，试求： (1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵； (5)“两个点数中至少有一个是1”的自信息量。 解： bit P a I N n P bit P a I N n P c c N 17.536log log )(36 1 )2(17.418log log )(362)1(36 662221111 616==-=∴====-=∴== =?==样本空间： * (3)信源空间： bit x H 32.436log 36 16236log 36215)(=??+?? =∴
bit x H 71.3636 log 366536log 3610 436log 368336log 366236log 36436log 362)(=??+?+?+??= ∴＋＋ (5) bit P a I N n P 17.111 36 log log )(3611333==-=∴== ? 如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格内，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格内。 （1） 若仅有质点A ，求A 落入任一方格的平均信息量； （2） 若已知A 已落入，求B 落入的平均信息量； （3） 若A ，B 是可辨认的，求A ，B 落入的平均信息量。 解： ！ bit a P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481 )(:)1(48 1 i i i i i ==-=∴=-=∴= ∑=落入任一格的概率 bit b P b P b b P b I b P A i 55.547log )(log )()(H 47 log )(log )(47 1 )(:B ,)2(48 1i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知 bit AB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()() (log )(47 1 481)()3(47481 =?=-=-=∴?=∑?=是同时落入某两格的概率 从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为%.如果你问一位男士：“你是否是红绿色盲”他的回答可能是：“是”，也可能“不是”。问这两个回答中各含有多少信息量平均每个回答中各含有多少信息量如果你问一位女士，则她的答案中含有多少平均信息量 解：
本科生实验报告 实验课程信息论与编码 学院名称信息科学与技术学院 专业名称通信工程 学生姓名 学生学号 指导教师谢振东 实验地点6C601 实验成绩 二〇一五年十一月二〇一五年十一月
实验一：香农（Shannon ）编码 一、实验目的 掌握通过计算机实现香农编码的方法。 二、实验要求 对于给定的信源的概率分布，按照香农编码的方法进行计算机实现。 三、实验基本原理 给定某个信源符号的概率分布，通过以下的步骤进行香农编码 1、将信源消息符号按其出现的概率大小排列 )()()(21n x p x p x p ≥≥≥ 2、确定满足下列不等式的整数码长K i ； 1)(l o g )(l o g 22+-<≤-i i i x p K x p 3、为了编成唯一可译码，计算第i 个消息的累加概率 ∑ -== 1 1 )(i k k i x p p 4、将累加概率P i 变换成二进制数。 5、取P i 二进制数的小数点后K i 位即为该消息符号的二进制码。 四、源程序： #include int i,j; for(i=0;i 信息论基础课程作业汇总 2015/03/23 作业1 1. 查资料了解香农的研究生涯及其信息论的主要内容和应用。 作业2 1. 用微分或者积分中值定理证明基本对数不等式。 2. 用Jessen 不等式证明对数和不等式。 作业3 1. 在伪币称量问题中，若用天平比较两枚金币的重量，则三种结果的信息量分别是多少？ 2. 在掷色子游戏中，当得知两个色子的点数之和为3时获得多少比特的信息？ 3. 已知平均100人中有2人患有某种疾病，为了查明病情，必须进行某项指标的化验。这 种化验的结果对于有病的人总是阳性的，对于健康的人来说有一半可能为阳性、一半可能为阴性。若x 表示有这种病，y 表示化验结果为阳性，试计算I (x |y )与I (x ;y )并说明其含义。 4. 试证明()()() ;|I x y I x I x y =- 作业4 1. 中科大杨孝先版教材第52页，习题 2.3。 2. 设一条电线上串联了8个灯泡，如图所示。假设其中有且只有一个灯泡坏了，并且各灯 泡的损坏概率相同，用万用电表通过测量断路找出坏灯泡。 （1）平均需要获得多少信息，才能找出其中的坏灯泡。 （2）一次测量所获得的信息的最大期望值是多少？ （3）试设计一个最佳测量方案，即测量次数的期望值最小的测量方案。 3. 伪币称量问题：今有12枚金币，其中1枚是伪币，其重量不同于真币。 （1） 要找出这枚伪币需获得多少信息？ （2） 确定伪币比真币重还是轻需多少信息？ （3） 用一台无砝码的天平称量一次，平均最多可获得多少信息？ （4） 试设计一个称量方案，用3次称量找出伪币。 4. 程序设计1：输入有限概率分布，输出该分布的熵。 作业5 1. 设一个信源有6种信号，先后输出的信号是独立同分布的，其概率分布为 (1/2, 1/4, 1/8, 1/16, 1/32, 1/32) （1）该信源输出1个符号所提供的平均信息量。 （2）该信源输出100个符号所提供的平均信息量。 2. 在一段时间内，某城市交通的忙闲天数按天气阴晴和气温冷暖进行分类统计如下： （1） 计算交通忙闲状态的无条件熵。 （2） 计算天气和气温状态下的条件熵。 （3） 计算从天气和气温状态所获得的关于交通状态的信息。 3. 世界职业棒球锦标赛为7场赛制，只要其中一队赢得4场，比赛就结束。设随机变量X 代表在比赛中A 队和B 队较量的可能结果（X 的可能取值如AAAA ，BABABAB 和BBBAAAA ，其中A,B 分别表示A 队和B 对获胜）。设Y 代表比赛的场数，取值范围为4到7。假设A 队和B 队是同等水平的，且每场比赛相互独立。试计算H(X)，H(Y), H(Y|X)和H(X|Y)。 作业6 1. 设二元对称信道的误码率为1%，当输入符号的概率分布为均匀分布时，计算该信道的 损失熵和信息传输率，并说明其意义。 作业7 1. 证明平均符号熵序列是单调递减的，即对于任何n ， 1212+1()() +1n n H X X X H X X X n n 晴 阴 暖 8天 忙 冷 27天 暖 16天 晴 阴 暖 15天 闲 冷 4天 暖 12天 冷 12天 冷 8天 第一章信息论与基础 1.1信息与消息的概念有何区别？ 信息存在于任何事物之中,有物质的地方就有信息，信息本身是看不见、摸不着的，它必须依附于一定的物质形式。一切物质都有可能成为信息的载体，信息充满着整个物质世界。信息是物质和能量在空间和时间中分布的不均匀程度。信息是表征事物的状态和运动形式。 在通信系统中其传输的形式是消息。但消息传递过程的一个最基本、最普遍却又十分引人注意的特点是：收信者在收到消息以前是不知道具体内容的；在收到消息之前，收信者无法判断发送者将发来描述何种事物运动状态的具体消息；再者，即使收到消息，由于信道干扰的存在，也不能断定得到的消息是否正确和可靠。 在通信系统中形式上传输的是消息,但实质上传输的是信息。消息只是表达信息的工具，载荷信息的载体。显然在通信中被利用的（亦即携带信息的）实际客体是不重要的，而重要的是信息。 信息载荷在消息之中，同一信息可以由不同形式的消息来载荷；同一个消息可能包含非常丰富的信息，也可能只包含很少的信息。可见，信息与消息既有区别又有联系的。 1.2 简述信息传输系统五个组成部分的作用。 信源：产生消息和消息序列的源。消息是随机发生的，也就是说在未收到这些消息之前不可能确切地知道它们的内容。信源研究主要内容是消息的统计特性和信源产生信息的速率。 信宿：信息传送过程中的接受者，亦即接受消息的人和物。 编码器：将信源发出的消息变换成适于信道传送的信号的设备。它包含下述三个部分：(1)信源编码器：在一定的准则下，信源编码器对信源输出的消息进行适当的变换和处理，其目的在于提高信息传输的效率。(2)纠错编码器：纠错编码器是对信源编码器的输出进行变换，用以提高对于信道干扰的抗击能力，也就是说提高信息传输的可靠性。(3)调制器：调制器是将纠错编码器的输出变换适合于信道传输要求的信号形式。纠错编码器和调制器的组合又称为信道编码器。 信道：把载荷消息的信号从发射端传到接受端的媒质或通道，包括收发设备在内的物理设施。信道除了传送信号外，还存储信号的作用。 译码器：编码的逆变换。它要从受干扰的信号中最大限度地提取出有关信源输出消息的信息，并尽可能地复现信源的输出。 1.3 同时掷一对骰子，要得知面朝上点数之和，描述这一信源的数学 模型。 解：设该信源符号集合为X 广西科技大学 大作业 课程名称：信息论与编码 题目：信道编码对通信系统性能的影响学院：电气与信息工程学院 专业：电子信息工程 班级： 学号： 成绩： 姓名： 电话号码： 信道编码对通信系统性能的影响 [摘要] 简述信道编码理论，详细说明分组码的编译原理、实现方法及检错纠错能力，用MATLAB仿真有无信道编码条件下对通信系统性能的影响及信道编码在不同信道下对通信系统性能的影响，如AWGN信道和深衰落信道。 [关键词] 信道编码、分组码、MATLAB仿真、性能 一、引言 提高信息传输的有效性和可靠性始终是通信技术所追求的目标，而信道编码能够显著的提升信息传输的可靠性。1948年,信息论的奠基人C.E.Shannon在他的开创性论文“通信的数学理论”中,提出了著名的有噪信道编码定理.他指出：对任何信道,只要信息传输速率R不大于信道容量C, 就一定存在这样的编码方法：在采用最大似然译码时,其误码率可以任意小.该定理在理论上给出了对给定信道通过编码所能达到的编码增益的上限,并指出了为达到理论极限应采用的译码方法.在信道编码定理中,香农提出了实现最佳编码的三个基本条件：(1 )采用随机编译码方式；(2 )编码长度Ｌ→∞ , 即分组的码组长度无限；(3)译码采用最佳的最大似然译码算法。 二、信道编码理论 1、信道编码的概念与目的 进行信道编码是为了提高信号传输的可靠性，改善通信系统的传输质量，研究信道编码的目标是寻找具体构造编码的理论与方法。从原理上，构造信道码的基本思路是根据一定的规律在待发送的信息码元中人为的加入一定的多余码元，以引入最小的多余度为代价来换取最好的抗干扰性能。信道编码是通过信道编码器和译码器实现的用于提高信道可靠性的理论和方法，是信息论的内容之一。信道编码大致分为两类：①信道编码定理，从理论上解决理想编码器、译码器的存在性问题，也就是解决信道能传送的最大信息率的可能性和超过这个最大值时的传输问题。②构造性的编码方法以及这些方法能达到的性能界限。编码定理的证明，从离散信道发展到连续信道，从无记忆信道到有记忆信道，从单用户信道到多用户信道，从证明差错概率可接近于零到以指数规律逼近于零，正在不断完善。编码方法，在离散信道中一般用代数码形式，其类型有较大发展，各种界限也不断有人提出，但尚未达到编码定理所启示的限度。在连续信道中常采用正交函数系来代表消息，这在极限情况下可达到编码定理的限度，不是所有信道的编码定理都已被证明。 2、信道编码的分类 信息论大作业 电子工程学院 班 号 1.Huffman编码 1． Huffman 编码原理： ①将信源符号按概率从大到小的顺序排列，令p(x1)≥ p(x2)≥…≥ p(xn) ②给两个概率最小的信源符号p(xn-1)和p(xn)各分配一个码位“0”和“1”，将这两个信源符号合并成一个新符号，并用这两个最小的概率之和作为新符号的概率，结果得到一个只包含(n－1)个信源符号的新信源。称为信源的第一次缩减信源，用S1表示。 ③将缩减信源S1的符号仍按概率从大到小顺序排列，重复步骤2，得到只含(n －2)个符号的缩减信源S2。 ④重复上述步骤，直至缩减信源只剩两个符号为止，此时所剩两个符号的概率之和必为1。然后从最后一级缩减信源开始，依编码路径向前返回，就得到各信源符号所对应的码字。 2. 霍夫曼编码优缺点： 1)编出来的码都是异字头码，保证了码的唯一可译性。 2) 由于编码长度可变。因此译码时间较长，使得霍夫曼编码的压缩与还原相当费时。 3) 编码长度不统一，硬件实现有难度。 4) 对不同信号源的编码效率不同，当信号源的符号概率为2的负幂次方时，达到100％的编码效率；若信号源符号的概率相等，则编码效率最低。 5) 由于0与1的指定是任意的，故由上述过程编出的最佳码不是唯一的，但其平均码长是一样的，故不影响编码效率与数据压缩性能。 3.编码流程： 读入一幅图像的灰度值; 1.将矩阵的不同数统计在数组c的第一列中; 2.将相同的数占站整个数组总数的比例统计在数组p中; 3.找到最小的概率,相加直到等于1,把最小概率的序号存在tree第一列中,次 小放在第二列,和放在p像素比例之后; 4.C数组第一维表示值,第二维表示代码数值大小,第三维表示代码的位数； 5.把概率小的值为1标识，概率大的值为0标识； 6.计算信源的熵； 7.计算平均码长； 8.计算编码效率'； 9.计算冗余度。 源程序： p=input('请输入数据:'); n=length(p); for i=1:n if p(i)<0 fprintf('\n 提示：概率值不能小于0!\n'); 实验报告 课程名称：信息论与编码姓名： 系：专 业：年 级：学 号：指导教 师：职 称： 年月日 目录 实验一信源熵值的计算 (1) 实验二Huffman 信源编码. (5) 实验三Shannon 编码 (9) 实验四信道容量的迭代算法 (12) 实验五率失真函数 (15) 实验六差错控制方法 (20) 实验七汉明编码 (22) 实验一信源熵值的计算 、实验目的 1 进一步熟悉信源熵值的计算 2 熟悉Matlab 编程 、实验原理 熵(平均自信息)的计算公式 q q 1 H(x) p i log2 p i log2 p i i 1 p i i 1 MATLAB实现：HX sum( x.* log2( x))；或者h h x(i)* log 2 (x(i )) 流程：第一步：打开一个名为“ nan311”的TXT文档，读入一篇英文文章存入一个数组temp，为了程序准确性将所读内容转存到另一个数组S，计算该数组中每个字母与空格的出现次数( 遇到小写字母都将其转化为大写字母进行计数) ，每出现一次该字符的计数器+1；第二步：计算信源总大小计算出每个字母和空格出现的概率；最后，通过统计数据和信息熵公式计算出所求信源熵值(本程序中单位为奈特nat )。 程序流程图： 三、实验内容 1、写出计算自信息量的Matlab 程序 2、已知：信源符号为英文字母(不区分大小写)和空格输入：一篇英文的信源文档。输出：给出该信源文档的中各个字母与空格的概率分布，以及该信源的熵。 四、实验环境 Microsoft Windows 7 五、编码程序 #include"stdio.h" #include 信息论与编码课程大作业 题目：信道容量的迭代算法 学生姓名： 学号：2010020200 专业班级：10电子信息工程 2013 年5 月18 日 信道容量的迭代算法 1信道容量的迭代算法的步骤 一、用了matlab 实现DMC 容量迭代的算法如下： 第一步：首先要初始化信源分布：.0deta 10,1,0,1 ) (>>=?==，选置，，k r i r P k i 即选取一个精度，本次中我选deta=0.000001。 第二步：}{,) ()()() (k ij i ji k i ji k i k ij t p p p p t 得到反向转移概率矩阵根据式子∑= 。 第三步： ()()()()(){} 111] log exp[] log exp[+++== ∑∑∑k i k i j ij k ji j ij k ji k i p P t p t p p 计算由式。 第四步： () ()() ()()()。 C t p t P I C k r i s j k ij ji k k k 10011log exp log ,+==++????? ???????????==∑∑计算由式 第五步： 若 a C C C k k k det ) 1() ()1(>-++，则执行k=k+1，然后转第二步。直至转移条件不成立，接着 执行下面的程序。 第六步：输出迭代次数k 和()1+k C 和1+k P ，程序终止。 2. Matlab 实现 clear; r=input('输入信源个数：'); s=input('输入信宿个数：'); deta=input('输入信道容量的精度： '); Q=rand(r,s); %形成r 行s 列随机矩阵Q 信息论习题集 第一章、判断题 1、信息论主要研究目的是找到信息传输过程的共同规律，提高信息传输的可靠性、有效性、保密性和认证性，以达到信息传输系统的最优化。（√） 2、同一信息，可以采用不同的信号形式来载荷；同一信号形式可以表达不同形式的信息。（√） 3、通信中的可靠性是指使信源发出的消息准确不失真地在信道中传输；（√） 4、有效性是指用尽量短的时间和尽量少的设备来传送一定量的信息。（√） 5、保密性是指隐蔽和保护通信系统中传送的消息，使它只能被授权接收者获取，而不能被未授权者接收和理解。（√） 6、认证性是指接收者能正确判断所接收的消息的正确性，验证消息的完整性，而不是伪造的和被窜改的。（√） 7、在香农信息的定义中，信息的大小与事件发生的概率成正比，概率越大事件所包含的信息量越大。（×） 第二章 { 一、判断题 1、通信中获得的信息量等于通信过程中不确定性的消除或者减少量。（√） 2、离散信道的信道容量与信源的概率分布有关，与信道的统计特性也有关。（×） 3、连续信道的信道容量与信道带宽成正比，带宽越宽，信道容量越大。（×） 4、信源熵是信号符号集合中，所有符号的自信息的算术平均值。（×） 5、信源熵具有极值性，是信源概率分布P的下凸函数，当信源概率分布为等概率分布时取得最大值。（×） 6、离散无记忆信源的N次扩展信源，其熵值为扩展前信源熵值的N倍。（√） 7、互信息的统计平均为平均互信息量，都具有非负性。（×） 8、信源剩余度越大，通信效率越高，抗干扰能力越强。（×） 9、信道剩余度越大，信道利用率越低，信道的信息传输速率越低。（×） | 10、信道输入与输出之间的平均互信息是输入概率分布的下凸函数。（×） 11、在信息处理过程中，熵是不会增加的。（√） 12、熵函数是严格上凸的。（√） 13、信道疑义度永远是非负的。（√） 14、对于离散平稳信源，其极限熵等于最小平均符号熵。（√） 2-1 同时掷两个正常的骰子，也就是各面呈现的概率都是l/6，求： (1) “3和5同时出现”事件的自信息量； (2)“两个1同时出现”事件的自信息量； (3)两个点数的各种组合（无序对）的熵或平均信息量； (4) 两个点数之和(即2，3，…，12构成的子集）的熵； ~ (5)两个点数中至少有一个是1的自信息。 2-2 居住某地区的女孩中有25％是大学生，在女大学生中有75％身高为以 上，而女孩中身高以上的占总数一半。假如得知“身高以上的某女孩是大学 生”的消息，问获得多少信息量、 第一章 1.通信系统的基本模型: 2.信息论研究内容：信源熵，信道容量，信息率失真函数，信源编码，信道编码，密码体制的安全性测度等等 第二章 １.自信息量：一个随机事件发生某一结果所带的信息量。 ２.平均互信息量：两个离散随机事件集合X 和Y ，若其任意两件的互信息量为 I （Xi;Yj ），则其联合概率加权的统计平均值，称为两集合的平均互信息量，用I （X;Y ）表示 ３.熵功率：与一个连续信源具有相同熵的高斯信源的平均功率定义为熵功率。如果熵功率等于信源平均功率，表示信源没有剩余；熵功率和信源的平均功率相差越大，说明信源的剩余越大。所以信源平均功率和熵功率之差称为连续信源的剩余度。信源熵的相对率(信源效率)：实际熵与最大熵的比值 信源冗余度： 0H H ∞=ηη ζ-=1 意义：针对最大熵而言，无用信息在其中所占的比例。 ３.极限熵： 平均符号熵的N 取极限值，即原始信源不断发符号，符号间的统计关系延伸到无穷。 ４. ５.离散信源和连续信源的最大熵定理。 离散无记忆信源，等概率分布时熵最大。 连续信源，峰值功率受限时，均匀分布的熵最大。 平均功率受限时，高斯分布的熵最大。 均值受限时，指数分布的熵最大 ６.限平均功率的连续信源的最大熵功率： 称为平均符号熵。 定义：即无记忆有记忆N X H H X H N X H X NH X H X H X H N N N N N N )() ()()()()()(=≤∴≤≤ 若一个连续信源输出信号的平均功率被限定为p ，则其输出信号幅度的概率密度分布是高斯分布时，信源有最大的熵，其值为 1log 22 ep π.对于N 维连续平稳信源来说，若其输出的N 维随机序列的协方差矩阵C 被限定，则N 维随机矢量为正态分布时信源 的熵最大，也就是N 维高斯信源的熵最大，其值为1log ||log 222N C e π+ 7.离散信源的无失真定长编码定理： 离散信源无失真编码的基本原理 原理图 说明： （1） 信源发出的消息：是多符号离散信源消息，长度为L,可以用L 次扩展信 源表示为： X L =(X 1X 2……X L ) 其中，每一位X i 都取自同一个原始信源符号集合（n 种符号）： X={x 1，x 2，…x n } 则最多可以对应n L 条消息。 （2）信源编码后，编成的码序列长度为k,可以用k 次扩展信宿符号表示为： Y k =(Y 1Y 2……Y k ) 称为码字/码组 其中，每一位Y i 都取自同一个原始信宿符号集合： Y={y 1，y 2，…y m } 又叫信道基本符号集合（称为码元，且是m 进制的） 则最多可编成m k 个码序列，对应m k 条消息 定长编码：信源消息编成的码字长度k 是固定的。对应的编码定理称为定长信源编码定理。 变长编码：信源消息编成的码字长度k 是可变的。 8.离散信源的最佳变长编码定理 最佳变长编码定理：若信源有n 条消息，第i 条消息出现的概率为p i ，且 p 1>=p 2>=…>=p n ，且第i 条消息对应的码长为k i ，并有k 1<=k 2<=…<=k n 3.5 AEP. Let ,,21X X be independent identically distributed random variables drawn according to the probability mass function {}m x x p ,2,1),(∈. Thus ∏==n i i n x p x x x p 1 21)(),,,( . We know that )(),,,(log 1 21X H X X X p n n →- in probability. Let ∏==n i i n x q x x x q 1 21)(),,,( , where q is another probability mass function on { }m ,2,1. (a) Evaluate ),,,(log 1 lim 21n X X X q n -, where ,,21X X are i.i.d. ~ )(x p . 8.1 Preprocessing the output. One is given a communication channel with transition probabilities )|(x y p and channel capacity );(max )(Y X I C x p =. A helpful statistician preprocesses the output by forming )(_ Y g Y =. He claims that this will strictly improve the capacity. (a) Show that he is wrong. (b) Under what condition does he not strictly decrease the capacity? 8.3 An addition noise channel. Find the channel capacity of the following discrete memoryless channel: Where {}{}2 1Pr 0Pr ====a Z Z . The alphabet for x is {}1,0=X . Assume that Z is independent of X . Observe that the channel capacity depends on the value of a . 实验一 绘制二进熵函数曲线（2个学时） 一、实验目的： 1. 掌握Excel 的数据填充、公式运算和图表制作 2. 掌握Matlab 绘图函数 3. 掌握、理解熵函数表达式及其性质 二、实验要求： 1. 提前预习实验，认真阅读实验原理以及相应的参考书。 2. 在实验报告中给出二进制熵函数曲线图 三、实验原理： 1. Excel 的图表功能 2. 信源熵的概念及性质 ()()[] ()[]())(1)(1 .log )( .) ( 1log 1log ) (log )()(10 , 110)(21Q H P H Q P H b n X H a p H p p p p x p x p X H p p p x x X P X i i i λλλλ-+≥-+≤=--+-=-=≤≤? ?????-===??????∑ 单位为 比特/符号 或 比特/符号序列。 当某一符号xi 的概率p(xi)为零时，p(xi)log p(xi) 在熵公式中无意义，为此规定这时的 p(xi)log p(xi) 也为零。当信源X 中只含有一个符号x 时，必有p(x)=1，此时信源熵H （X ）为零。 四、实验内容： 用Excel 和Matlab 软件制作二进熵函数曲线。根据曲线说明信源熵的物理意义。 （一） Excel 具体步骤如下： 1、启动Excel 应用程序。 2、准备一组数据p 。在Excel 的一个工作表的A 列（或其它列）输入一组p ，取步长为0.01，从0至100产生101个p （利用Excel 填充功能）。 3、取定对数底c，在B列计算H(x) ,注意对p=0与p=1两处，在B列对应位置直接输入0。Excel中提供了三种对数函数LN(x),LOG10(x)和LOG(x,c)，其中LN(x)是求自然对数，LOG10(x)是求以10为底的对数，LOG(x,c)表示求对数。选用c=2,则应用函数LOG(x,2)。 在单元格B2中输入公式：=-A2*LOG(A2,2)-(1-A2)*LOG(1-A2,2) 双击B2的填充柄，即可完成H(p)的计算。 4、使用Excel的图表向导，图表类型选“XY散点图”，子图表类型选“无数据点平滑散点图”，数据区域用计算出的H(p)数据所在列范围，即$B$1:$B$101。在“系列”中输入X值(即p值)范围，即$A$1:$A$101。在X轴输入标题概率，在Y轴输入标题信源熵。 （二）用matlab软件绘制二源信源熵函数曲线 p = 0.0001:0.0001:0.9999; h = -p.*log2(p)-(1-p).*log2(1-p); plot(p,h) 五、实验结果 第2章作业 1． 同时扔一对均匀的骰子，当得知“两骰子面朝上点数之和为2”或“面朝上点数之和为 8”或“两骰子面朝上点数是3和4”时，试问这三种情况分别获得多少信息量？ 2． 居住在某地区的女孩中有25%是大学生,在大学生中有75%是身高1.6以上的，而女孩中 身高1.6米以上的占总数一半。假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？ 3． 设离散无记忆信源123401233/81/41/41/8X a a a a P ====????=???????? ，其发出的消息为（202 120 130 213 001 203 210 110 321 010 021 032 011 223 210）。 （1） 求每个符号的自信息量； （2） 求消息序列的自信息量及平均每个符号携带的信息量。 4． 有一信源输出X ∈{0,1,2}，其概率为p 0=1/4，p 1=1/4，p 2=1/2。设计两个独立实验去观察它，其结果为Y 1∈{0,1}和Y 2∈{0,1}。已知条件概率为 P(Y 1|X) 0 1 P(Y 2|X) 0 1 1 0 0 1 0 1 0 1 1 1 0 2 1/2 1/2 2 0 1 求： （1） I (X ;Y 1)和I (X ;Y 2)，并判断哪一个实验好些。 （2） I (X ;Y 1,Y 2)，并计算做Y 1和Y 2两个实验比做Y 1或Y 2中的一个实验各可多得多 少关于X 的信息。 （3） I (X ;Y 1/Y 2)和I (X ;Y 2/Y 1)，并解释它们的含义。 5． 为了传输一个由字母A 、B 、C 、D 组成的符号集，把每个字母编码成两个二元码脉冲序 列，以00代表A,01代表B,10代表C,11代表D 。每个二元码脉冲宽度为5ms 。 （1） 不同字母等概率出现时，计算传输的平均信息速率？ （2） 若每个字母出现的概率分别为p A =1/5，p B =1/4，p C =1/4，p D =3/10，试计算传输 的平均信息速率？ 6． （1）为了使电视图像获得良好的清晰度和规定的适当的对比度，需要用5×105个像素和 10个不同亮度电平，设每秒要传送30帧图像，所有像素是独立变化的，且所有亮度电平等概率出现，求传送此图像所需的信息率（bit/s ）。 （2）设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有30个不同的色彩度，试证明传输这彩色系统的信息率要比黑白系统的信息率大约2.5倍。 7． 设有一个信源，它产生0、1序列的消息。它在任意时间而且不论以前发生过什么符号， 均按P(0)=0.4，P(1)=0.6概率发出符号。 （1）试问这个信源是否平稳的？ （2）试计算H (2 X )，H (X 3/ X 1 X 2)及∞→N lim H N (X )。 （3）试计算H (4X )并写出4X 信源中可能有的所有符号。 8． 给定语声样值X 的概率密度为1(),2 x X p x e x λλ?=?∞<<∞ 求H C (X )，并证明它小于同样方差的正态变量的微分熵。 信息论与编码课程大作业 题目：香农编码 学生姓名： ****** 学号： &********** 专业班级： ******************* 2013 年 5 月 10 日 香农编码 1.香农编码的原理/步骤 香农第一定理指出了平均码长与信源之间的关系，同时也指出了可以通过编码使平均码长达到极限值，这是一个很重要的极限定理。如何构造这种码香农第一定理指出， 选择每个码字的长度K i 将满足式 I(x i )≤K i ＜Ip(x i )+1就可以得到这种码。这种编码方 法就是香农编码。 香农编码步骤如下: (1)将信源消息符按从大到小的顺序排列。 (2)计算p[i]累加概率； (3)确定满足自身要求的整数码长； (4)将累加概率变为二进制数； (5)取P[i]二进制数的小数点后Ki位即为该消息符号的二进制码字。 2. 用C语言实现 #include <> #include <> #include <> #define max_CL 10 /*maxsize of length of code*/ #define max_PN 6 /*输入序列的个数*/ typedef float datatype; typedef struct SHNODE { datatype pb; /*第i个消息符号出现的概率*/ datatype p_sum; /*第i个消息符号累加概率*/ int kl; /*第i个消息符号对应的码长*/ int code[max_CL]; /*第i个消息符号的码字*/ struct SHNODE *next; }shnolist; datatype sym_arry[max_PN]; /*序列的概率*/ void pb_scan(); /*得到序列概率*/ void pb_sort(); /*序列概率排序*/ void valuelist(shnolist *L); /*计算累加概率，码长，码字*/ void codedisp(shnolist *L); void pb_scan() { int i; datatype sum=0; printf("input %d possible!\n",max_PN); for(i=0;i 信息论与编码习题参考答案 第一章 单符号离散信源 同时掷一对均匀的子，试求： (1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵； (5)“两个点数中至少有一个是1”的自信息量。 解： bit P a I N n P bit P a I N n P c c N 17.536log log )(361 )2(17.418log log )(362)1(36 662221111 616==-=∴====-=∴== =?==样本空间： (3)信源空间： bit x H 32.436log 36 16236log 36215)(=??+?? =∴ (4)信源空间： bit x H 71.3636 log 366536log 3610 436log 368336log 366236log 36436log 362)(=??+?+?+??= ∴＋＋ (5) bit P a I N n P 17.111 36 log log )(3611333==-=∴== 如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格内，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格内。 （1） 若仅有质点A ，求A 落入任一方格的平均信息量； （2） 若已知A 已落入，求B 落入的平均信息量； （3） 若A ，B 是可辨认的，求A ，B 落入的平均信息量。 解： bit a P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481 )(:)1(48 1 i i i i i ==-=∴=-=∴= ∑=落入任一格的概率Θ bit b P b P b b P b I b P A i 55.547log )(log )()(H 47 log )(log )(47 1 )(:B ,)2(48 1i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知Θ信息论基础课程作业汇总
信息论与编码第一章答案
信息论与编码大作业
信息论大作业
信息论与编码实验报告材料
信息论与编码课程大作业信道容量的迭代算法
信息论习题集
(完整版)信息论与编码概念总结
信息论第二次作业
信息论与编码实验报告
信息论 研究生练习题
香农编码--信息论大作业
信息论与编码习题参考答案(全)
相关主题
文本预览