下载文档原格式
信息论习题集1.有一离散无记忆信源12,31,44s s ??(1)构造出一个即时码,求出信息传输率和编码效率；(2)对其二次扩展信源编码,并求出信息传输率及编码效率,并与(1)的结果相比较。
解：（1）其信源熵为21()()log ()0.75log 0.750.25log 0.250.81127i i i H X P x P x ==-=--=∑比特现利用二进制符号（0，1）进行编码，令s1=0，s2=1，这时平均码长 211(/i i i L p l ===∑码元信源符号）信息传输率为：()0.811(/H S R bit L==码元符号）编码的效率为2()0.811log rH S L η==（2）为了提高传输效率，根据香农第一定理得物理概念，利用霍夫曼编码方法信源中每一个信源符号的码长信息传输率为：()0.811=0.961(/27/32H S R bit L==码元符号）编码的效率为2()0.961log rH S L η==。
结论：二次扩展信源编码复杂一些，但信息传输率和编码效率提高了。
2.设有一离散信道，其信道传递矩阵为0.50.30.20.20.30.50.30.30.4?并设123()0.4,()()0.3P x P x P x ===，分别按最小错误概率准则和最大似然译码准则确定译码规则，并计算相应的平均错误概率。
2*23/16*31/16*327/16/=＋＋（码元两个信源符号）227/32(/2L L ==码元信源符号）3.二元对称信道如图。
1）若32(0),(1)55p p ==，，求；2）求该信道的信道容量和最佳输入分布。
4. 信源空间为试构造二元最佳编码，计算其编码效率。
解：二元码的码字依序为：10，11，010，011，1010，1011，1000，1001（注必须要有编码过程）平均码长，编码效率5.设有一离散信道，其信道矩阵为，求：当，时，求平均互信息信道疑义度解：当，时，有则6.设有一个马尔可夫信源，其状态图如图所示：（1）求平稳状态下各状态极限概率Q(E （i ）)。
信息论习题集信息论习题集第⼆章2.1 同时掷2颗骰⼦，事件A 、B 、C 分别表⽰：（A ）仅有⼀个骰⼦是3；（B ）⾄少有⼀个骰⼦是4；（C ）骰⼦上点数的总和为偶数。
试计算A 、B 、C 发⽣后所提供的信息量。
2.3 ⼀信源有4种输出符号i x ，i =0，1，2，3，且p(i x )=1/4。
设信源向信宿发出3x ，但由于传输中的⼲扰，接收者收到3x 后，认为其可信度为0.9。
于是信源再次向信宿发送该符号（3x ），信宿准确⽆误收到。
问信源在两次发送中发送的信息量各是多少？信宿在两次接收中得到的信息量⼜各是多少？ 2.5 ⼀信源有6种输出状态，概率分别为()p A =0.5， ()p B =0.25， ()p C =0.125， ()p D = ()p E =0.05， ()p F =0.025试计算()H X 。
然后求消息ABABBA 和FDDFDF 的信息量（设信源先后发出的符号相互独⽴），并将之与长度为6的消息序列信息量的期望值相⽐较。
2.6 中国国家标准局所规定的⼆级汉字共6763个。
设每字使⽤的频度相等，求⼀个汉字所含的信息量。
设每个汉字⽤⼀个16? 16的⼆元点阵显⽰，试计算显⽰⽅阵所能表⽰的最⼤信息量。
显⽰⽅阵的利⽤率是多少？2.7 已知信源发出1a 和2a 两种消息，且12 ()()1/2p a p a ==。
此消息在⼆进制对称信道上传输，信道传输特性为1122(|)(|)1p ba pb a ε==-，1221(|)(|)p b a p b a ε==。
求互信息量11(;)I a b 和12(;)I a b 。
2.8 已知⼆维随机变量XY 的联合概率分布()i j p x y 为：(0,0)(1,1)1/8p p ==，(0,1)(1,0)3/8p p ==，求(|)H X Y 。
2.13 有两个⼆元随机变量X 和Y ，它们的联合概率分布如表2.5所列，同时定义另⼀随机变量Z X Y =（⼀般乘积）。
· 1 ·2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？解：四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3}八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量symbol bit n X H / 24log log )(1=== 八进制脉冲的平均信息量symbol bit n X H / 38log log )(2=== 二进制脉冲的平均信息量symbol bit n X H / 12log log )(0=== 所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。
2.2 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。
假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？解：设随机变量X 代表女孩子学历X x 1（是大学生） x 2（不是大学生） P(X) 0.25 0.75设随机变量Y 代表女孩子身高Y y 1（身高>160cm ） y 2（身高<160cm ） P(Y) 0.5 0.5已知：在女大学生中有75%是身高160厘米以上的 即：bit x y p 75.0)/(11=求：身高160厘米以上的某女孩是大学生的信息量 即：bit y p x y p x p y x p y x I 415.15.075.025.0log )()/()(log )/(log )/(11111111=⨯-=-=-=2.3 一副充分洗乱了的牌（含52张牌），试问(1) 任一特定排列所给出的信息量是多少？(2) 若从中抽取13张牌，所给出的点数都不相同能得到多少信息量？解：(1) 52张牌共有52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是：!521)(=i x p bit x p x I i i 581.225!52log )(log )(==-=(2) 52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下：· 2 ·bit C x p x I C x p i i i 208.134log)(log )(4)(135213135213=-=-==2.4 设离散无记忆信源⎭⎬⎫⎩⎨⎧=====⎥⎦⎤⎢⎣⎡8/14/1324/18/310)(4321x x x x X P X ，其发出的信息为(202120130213001203210110321010021032011223210)，求 (1) 此消息的自信息量是多少？(2) 此消息中平均每符号携带的信息量是多少？解：(1) 此消息总共有14个0、13个1、12个2、6个3，因此此消息发出的概率是：62514814183⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛=p此消息的信息量是：bit p I 811.87log =-=(2) 此消息中平均每符号携带的信息量是：bit n I 951.145/811.87/==2.5 从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，问这两个回答中各含多少信息量，平均每个回答中含有多少信息量？如果问一位女士，则答案中含有的平均自信息量是多少？解： 男士：symbolbit x p x p X H bitx p x I x p bit x p x I x p i i i N N N Y Y Y / 366.0)93.0log 93.007.0log 07.0()(log )()( 105.093.0log )(log )(%93)( 837.307.0log )(log )(%7)(2=+-=-==-=-===-=-==∑女士：symbol bit x p x p X H ii i / 045.0)995.0log 995.0005.0log 005.0()(log )()(2=+-=-=∑2.6 设信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡17.016.017.018.019.02.0)(654321x x x x x x X P X ，求这个信源的熵，并解释为什么H(X) > log6不满足信源熵的极值性。
信息论习题集一、名词解释（20道）1、“本体论”的信息（P2）2、“认识论”信息（P2）3、离散信源（P7）4、自信息量（P9）5、离散平稳无记忆信源（P39）6、信源冗余度 （P51）7、连续信源 （P52） 8、信道容量 （P73） 9、强对称信道 （P75-76）10、对称信道 （P78） 11、多符号离散信道（P83） 12、连续信道 （P95）13、平均失真度 （P105） 14、实验信道 （P107） 15、率失真函数 （P107）16、信息价值率 （P127） 17、BSC 信道 （P171） 18、码的最小距离 （P174）19、线性分组码 （P175） 20、循环码 （P188）二、填空（84道）1、 在认识论层次上研究信息的时候，必须同时考虑到 形式、含义和效用 三个方面的因素。
2、 1948年，美国数学家 香农 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
3、 按照信息的性质，可以把信息分成 语法信息、语义信息和语用信息 。
4、 按照信息的地位，可以把信息分成 客观信息和主观信息 。
5、 人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息。
6、 信息的 可度量性 是建立信息论的基础。
7、 统计度量 是信息度量最常用的方法。
8、 熵 是香农信息论最基本最重要的概念。
9、 事物的不确定度是用时间统计发生 概率的对数 来描述的。
10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。
12、自信息量的单位一般有 比特、奈特和哈特 。
13、必然事件的自信息是 0 。
14、不可能事件的自信息量是 ∞ 。
15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。
16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。
信息论与编码(第二版)习题答案,陈运,主编篇一：信息论与编码复习资料重点陈运第二版 2.3 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。
假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？解：设随机变量X代表女孩子学历 X P(X) x1（是大学生） 0.25 x2（不是大学生） 0.75 设随机变量Y代表女孩子身高 Y P(Y) y1（身高 160cm） 0.5 y2（身高 160cm） 0.5 已知：在女大学生中有75%是身高160厘米以上的即：p(y1/x1)?0.75 bit 求：身高160厘米以上的某女孩是大学生的信息量即：I(x1/y1)??logp(x1/y1)??log p(x1)p(y1/x1) p(y1) ??log 0.25?0.75 0.5 ?1.415 bit 2.4 设离散无记忆信源? ??x1?0??? ?P(X)??3/8? X x2?1x3?21/4 1/4 x4?3? ?，其发出的信息1/8? 为(202120130213001203210110321010021032011223210)，求 (1) 此消息的自信息量是多少？ (2) 此消息中平均每符号携带的信息量是多少？解： (1) 此消息总共有14个0、13个1、12个2、6个3，因此此消息发出的概率是： ?3?p??? ?8?14 ?1?????4? 25 ?1???? ?8? 6 此消息的信息量是：I??logp?87.811 bit (2) 此消息中平均每符号携带的信息量是：I/n?87.811/45?1.951 bit 2.5 从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，问这两个回答中各含多少信息量，平均每个回答中含有多少信息量？如果问一位女士，则中含有的平均自信息量是多少？解：男士：p(xY)?7% I(xY)??logp(xY)??log0.07?3.837 bitp(xN)?93% I(xN)??logp(xN)??log0.93?0.105 bit 2 H(X)???p(xi)logp(xi)??(0.07log0.07?0.93log0.93)?0.366 bit/symbol i 女士： 2 H(X)???p(xi)logp(xi)??(0.005log0.005?0.995log0.995)?0.045 bit/symbol i 2.7 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：(1) “3和5同时出现”这事件的自信息；(2) “两个1同时出现”这事件的自信息； (3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, ? , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。
信息论习题集信息论习题集⼀、填空题1、⼈们研究信息论的⽬的是为了⾼效、可靠安全地交换和利⽤各种各样的信息。
2、单符号离散信源输出的消息⼀般⽤随机变量描述，⽽符号序列离散信源输出的消息⼀般⽤随机⽮量描述。
3、两个相互独⽴的随机变量的联合⾃信息量等于两个⾃信息量之和。
4、连续信源或模拟信号的信源编码的理论基础是限失真信源编码定理。
5、必然事件的⾃信息是 0 ，不可能事件的⾃信息量是 00 。
6、信道的输出仅与信道当前的输⼊有关，⽽与过去输⼊⽆关的信道称为⽆记忆信道。
7、若纠错码的最⼩距离为min d ，则可以纠正任意⼩于等于t= 个差错。
8、必然事件的⾃信息量是 0 ，不可能事件的⾃信息量是 00 。
9、⼀信源有五种符号{a ， b ， c ， d ， e}，先验概率分别为 a P =0.5， b P =0.25， c P =0.125，d P =e P =0.0625。
符号“a ”的⾃信息量为____1____bit ，此信源的熵为____1.875____bit/符号。
10、已知某线性分组码的最⼩汉明距离为3，那么这组码最多能检测出 2 个码元错误，最多能纠正 1 个码元错误。
11、克劳夫特不等式是唯⼀可译码存在与否的充要条件。
{00，01，10，11}是否是唯⼀可译码？。
12、离散平稳⽆记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍。
13、对于离散⽆记忆信源，当信源熵有最⼤值时，满⾜条件为信源符号等概分布_ 。
⼆、选择题1、下⾯哪⼀项不属于最简单的通信系统模型：（ B ）A ．信源B ．加密C ．信道D ．信宿 2、信道编码的⽬的是（ A ）。
A 提⾼通信系统的可靠性B 提⾼通信系统的有效性C 提⾼通信系统的保密性D 提⾼通信系统的实时性3、给定x i 条件下随机事件y j 所包含的不确定度和条件⾃信息量I (y j /x i )，（C ）A 数量上不等，含义不同B 数量上不等，含义相同C 数量上相等，含义不同D 数量上相等，含义相同4、下⾯哪⼀项不是增加信道容量的途径：（C ）A 减⼩信道噪声功率B 增⼤信号功率C 增加码长D 增加带宽5、平均互信息量 I(X;Y)与信源熵和条件熵之间的关系是（ A ）。
· 1 ·2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？ 四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3}八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量symbol bit n X H / 24log log )(1=== 八进制脉冲的平均信息量symbol bit n X H / 38log log )(2=== 二进制脉冲的平均信息量symbol bit n X H / 12log log )(0=== 所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。
2.2 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。
假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？设随机变量X 代表女孩子学历X x 1（是大学生） x 2（不是大学生）P(X)0.250.75设随机变量Y 代表女孩子身高 Y y 1（身高>160cm ）y 2（身高<160cm ）P(Y)0.50.5已知：在女大学生中有75%是身高160厘米以上的 即：bit x y p 75.0)/(11=求：身高160厘米以上的某女孩是大学生的信息量 即：bit y p x y p x p y x p y x I 415.15.075.025.0log)()/()(log )/(log )/(11111111=⨯-=-=-=2.3 一副充分洗乱了的牌（含52张牌），试问 (1) 任一特定排列所给出的信息量是多少？(2) 若从中抽取13张牌，所给出的点数都不相同能得到多少信息量？(1) 52张牌共有52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是：!521)(=i x pbit x p x I i i 581.225!52log )(log )(==-=(2) 52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下： bitCx p x I C x p i i i 208.134log)(log )(4)(135213135213=-=-==· 2 ·2.4 设离散无记忆信源⎭⎬⎫⎩⎨⎧=====⎥⎦⎤⎢⎣⎡8/14/1324/18/310)(4321x x x x X P X，其发出的信息为(202120130213001203210110321010021032011223210)，求 (1) 此消息的自信息量是多少？(2) 此消息中平均每符号携带的信息量是多少？(1) 此消息总共有14个0、13个1、12个2、6个3，因此此消息发出的概率是： 62514814183⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛=p 此消息的信息量是：bit p I 811.87log =-=(2) 此消息中平均每符号携带的信息量是：bit n I 951.145/811.87/==2.5 从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，问这两个回答中各含多少信息量，平均每个回答中含有多少信息量？如果问一位女士，则答案中含有的平均自信息量是多少？男士： symbolbit x p x p X H bitx p x I x p bit x p x I x p ii i N N N Y Y Y / 366.0)93.0log 93.007.0log 07.0()(log )()( 105.093.0log )(log )(%93)( 837.307.0log )(log )(%7)(2=+-=-==-=-===-=-==∑女士：symbol bit x p x p X H ii i / 045.0)995.0log 995.0005.0log 005.0()(log )()(2=+-=-=∑2.6 设信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡17.016.017.018.019.02.0)(654321x x x x x x X P X，求这个信源的熵，并解释为什么H(X) >log6不满足信源熵的极值性。
信息论习题集第一章、判断题1、信息论主要研究目的是找到信息传输过程的共同规律，提高信息传输的可靠性、有效性、保密性和认证性，以达到信息传输系统的最优化。
（“2、同一信息，可以采用不同的信号形式来载荷；同一信号形式可以表达不同形式的信息。
（“3、通信中的可靠性是指使信源发出的消息准确不失真地在信道中传输；（W4、有效性是指用尽量短的时间和尽量少的设备来传送一定量的信息。
（M5、保密性是指隐蔽和保护通信系统中传送的消息，使它只能被授权接收者获取，而不能被未授权者接收和理解。
（V）6、认证性是指接收者能正确判断所接收的消息的正确性，验证消息的完整性，而不是伪造的和被窜改的。
（V7、在香农信息的定义中，信息的大小与事件发生的概率成正比，概率越大事件所包含的信息量越大。
（X第二章一、判断题1、通信中获得的信息量等于通信过程中不确定性的消除或者减少量。
（V2、离散信道的信道容量与信源的概率分布有关，与信道的统计特性也有关。
（X）3、连续信道的信道容量与信道带宽成正比，带宽越宽，信道容量越大。
（X4、信源熵是信号符号集合中，所有符号的自信息的算术平均值。
（X）5、信源熵具有极值性，是信源概率分布P的下凸函数，当信源概率分布为等概率分布时取得最大值。
（X6、离散无记忆信源的N次扩展信源，其熵值为扩展前信源熵值的N倍。
（V7、互信息的统计平均为平均互信息量，都具有非负性。
（X）8、信源剩余度越大，通信效率越高，抗干扰能力越强。
（X）9、信道剩余度越大，信道利用率越低，信道的信息传输速率越低。
（X）10、信道输入与输出之间的平均互信息是输入概率分布的下凸函数。
（X）11、在信息处理过程中，熵是不会增加的。
（V12、熵函数是严格上凸的。
（V13、信道疑义度永远是非负的。
（V14、对于离散平稳信源，其极限熵等于最小平均符号熵。
（V2-1同时掷两个正常的骰子，也就是各面呈现的概率都是1/6，求：（1）“3和5同时出现”事件的自信息量；（2）“两个1同时出现”事件的自信息量；（3）两个点数的各种组合（无序对）的熵或平均信息量；（4）两个点数之和（即2, 3,…，12构成的子集）的熵；（5）两个点数中至少有一个是1的自信息。
信息论习题集一、名词解释（25道）1、“本体论”的信息（P2）2、“认识论”信息（P2）3、离散信源（P7）4、自信息量（P9）5、离散平稳无记忆信源（P39）6、马尔可夫信源（P46）7、信源冗余度 （P51） 8、连续信源 （P52） 9、信道容量 （P73）10、强对称信道 （P75-76） 11、对称信道 （P78）12、多符号离散信道（P83）13、连续信道 （P95） 14、平均失真度 （P105） 15、实验信道 （P107）16、率失真函数 （P107） 17、信息价值率 （P127） 18、游程序列 （P143）19、游程变换 （P143） 20、L-D 编码（P146）、 21、冗余变换 （P146）22、BSC 信道 （P171） 23、码的最小距离 （P174）24、线性分组码 （P175）25、循环码 （P188）二、填空（100道）1、 在认识论层次上研究信息的时候，必须同时考虑到 形式、含义和效用 三个方面的因素。
2、 1948年，美国数学家 香农 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
3、 按照信息的性质，可以把信息分成 语法信息、语义信息和语用信息 。
4、 按照信息的地位，可以把信息分成 客观信息和主观信息 。
5、 人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息。
6、 信息的 可度量性 是建立信息论的基础。
7、 统计度量 是信息度量最常用的方法。
8、 熵 是香农信息论最基本最重要的概念。
9、 事物的不确定度是用时间统计发生 概率的对数 来描述的。
10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。
12、自信息量的单位一般有 比特、奈特和哈特 。
13、必然事件的自信息是 0 。
14、不可能事件的自信息量是 ∞ 。
15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。
16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。
17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。
18、离散平稳有记忆信源的极限熵，=∞H )/(lim 121-∞→N N N X X X X H Λ。
19、对于n 元m 阶马尔可夫信源，其状态空间共有 n m 个不同的状态。
20、一维连续随即变量X 在[a ，b]区间内均匀分布时，其信源熵为 log 2（b-a ） 。
21、平均功率为P 的高斯分布的连续信源，其信源熵，H c （X ）=eP π2log 212。
22、对于限峰值功率的N 维连续信源，当概率密度 均匀分布 时连续信源熵具有最大值。
23、对于限平均功率的一维连续信源，当概率密度 高斯分布 时，信源熵有最大值。
24、对于均值为0，平均功率受限的连续信源，信源的冗余度决定于平均功率的限定值P 和信源的熵功率P 之比 。
25、若一离散无记忆信源的信源熵H （X ）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。
26、m 元长度为k i ，i=1，2，···n 的异前置码存在的充要条件是：∑=-≤n i k i m 11。
27、若把掷骰子的结果作为一离散信源，则其信源熵为log26 。
28、同时掷两个正常的骰子，各面呈现的概率都为1/6，则“3和5同时出现”这件事的自信息量是log218（1+2 log23）。
29、若一维随即变量X的取值区间是[0，∞]，其概率密度函数为mxemxp-=1)(，其中：0≥x，m是X的数学期望，则X的信源熵=)(XHCme2log。
30、一副充分洗乱的扑克牌（52张），从中任意抽取1张，然后放回，若把这一过程看作离散无记忆信源，则其信源熵为52log2。
31、根据输入输出信号的特点，可将信道分成离散信道、连续信道、半离散或半连续信道。
32、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为无记忆信道。
33、具有一一对应关系的无噪信道的信道容量C= log2n 。
34、强对称信道的信道容量C= log2n-H ni 。
35、对称信道的信道容量C= log2m-H mi 。
36、对于离散无记忆信道和信源的N次扩展，其信道容量C N= NC 。
37、对于N个对立并联信道，其信道容量C N = ∑=NkkC1。
38*、多用户信道的信道容量用多维空间的一个区域的界限来表示。
39*、多用户信道可以分成几种最基本的类型：多址接入信道、广播信道和相关信源信道。
40*、广播信道是只有一个输入端和多个输出端的信道。
41、当信道的噪声对输入的干扰作用表现为噪声和输入的线性叠加时，此信道称为加性连续信道。
42、高斯加性信道的信道容量C=)1(log212NXPP+。
43、信道编码定理是一个理想编码的存在性定理，即：信道无失真传递信息的条件是信息率小于信道容量。
44、信道矩阵⎥⎦⎤⎢⎣⎡12/12/1代表的信道的信道容量C= 1 。
45、信道矩阵⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡111代表的信道的信道容量C= 1 。
46、高斯加性噪声信道中，信道带宽3kHz，信噪比为7，则该信道的最大信息传输速率C t= 9 kHz 。
47、对于具有归并性能的无燥信道，达到信道容量的条件是p（y j）=1/m）。
48、信道矩阵⎥⎦⎤⎢⎣⎡11代表的信道，若每分钟可以传递6*105个符号，则该信道的最大信息传输速率C t= 10kHz 。
49、信息率失真理论是量化、数模转换、频带压缩和数据压缩的理论基础。
50、求解率失真函数的问题，即：在给定失真度的情况下，求信息率的极小值。
51、信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确定性就越大，获得的信息量就越小。
52、信源的消息通过信道传输后的误差或失真越大道传输消息所需的信息率也越小。
53、单符号的失真度或失真函数d（x i，y j）表示信源发出一个符号x i，信宿再现y j所引起的误差或失真。
54、汉明失真函数 d （x i ，y j ）=⎩⎨⎧≠=j i j i 10 。
55、平方误差失真函数d （x i ，y j ）=（y j - x i ）2。
56、平均失真度定义为失真函数的数学期望，即d （x i ，y j ）在X 和Y 的 联合概率空间P （XY ）中 的统计平均值。
57、如果信源和失真度一定，则平均失真度是 信道统计特性 的函数。
58、如果规定平均失真度D 不能超过某一限定的值D ，即：D D ≤。
我们把D D ≤称为 保真度准则 。
59、离散无记忆N 次扩展信源通过离散无记忆N 次扩展信道的平均失真度是单符号信源通过单符号信道的平均失真度的 N 倍。
60、试验信道的集合用P D 来表示，则P D = {}m j n i D D x y p i j ,,2,1,,,2,1;:)/(ΛΛ==≤ 。
61、信息率失真函数，简称为率失真函数，即：试验信道中的平均互信息量的 最小值 。
62、平均失真度的下限取0的条件是失真矩阵的 每一行至少有一个零元素 。
63、平均失真度的上限D max 取{D j ：j=1，2，···，m}中的 最小值 。
64、率失真函数对允许的平均失真度是 单调递减和连续的 。
65、对于离散无记忆信源的率失真函数的最大值是 log 2n 。
66、当失真度大于平均失真度的上限时D max 时，率失真函数R （D ）= 0 。
67、连续信源X 的率失真函数R （D ）= );()/(Y X I P x y p InfD ∈ 。
68、当2σ≤D 时，高斯信源在均方差失真度下的信息率失真函数为 =)(D RD 22log 21σ 。
69、保真度准则下的信源编码定理的条件是 信源的信息率R 大于率失真函数R （D ） 。
70、某二元信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡2/12/110)(X P X 其失真矩阵D=⎥⎦⎤⎢⎣⎡00a a ，则该信源的D max = a/2 。
71、某二元信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡2/12/110)(X P X 其失真矩阵D=⎥⎦⎤⎢⎣⎡00a a ，则该信源的D min = 0 。
72、某二元信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡2/12/110)(X P X 其失真矩阵D=⎥⎦⎤⎢⎣⎡00a a ，则该信源的R （D ）= 1-H（D/a ） 。
73、按照不同的编码目的，编码可以分为三类：分别是 信源编码、信道编码和安全编码 。
74、信源编码的目的是： 提高通信的有效性 。
75、一般情况下，信源编码可以分为 离散信源编码、连续信源编码和相关信源编码 。
76、连续信源或模拟信号的信源编码的理论基础是 限失真信源编码定理 。
77、在香农编码中，第i 个码字的长度k i 和p （x i ）之间有)(log 1)(log 22i i i x p k x p -<≤-关系。
78、对信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡16/116/116/116/18/18/14/14/1(87654321x x x x x x x x X P X ）进行二进制费诺编码，其编码效率为 1 。
79、对具有8个消息的单符号离散无记忆信源进行4进制哈夫曼编码时，为使平均码长最短，应增加 2 个概率为0的消息。
80、对于香农编码、费诺编码和哈夫曼编码，编码方法惟一的是 香农编码 。
81、对于二元序列0011100000011111001111000001111111，其相应的游程序列是 23652457 。
82、设无记忆二元序列中，“0”和“1”的概率分别是p 0和p 1，则“0”游程长度L （0）的概率为 11)0(0)]0([p p L p L -= 。
83、游程序列的熵 等于 原二元序列的熵。
84、若“0”游程的哈夫吗编码效率为η0，“1”游程的哈夫吗编码效率为η1，且η0>η1对应的二元序列的编码效率为η，则三者的关系是 η0>η>η1 。
85、在实际的游程编码过程中，对长码一般采取 截断 处理的方法。
86、“0”游程和“1”游程可以分别进行哈夫曼编码，两个码表中的码字可以重复，但 C 码必须不同。
87、在多符号的消息序列中，大量的重复出现的，只起占时作用的符号称为 冗余位 。
88、“冗余变换”即：将一个冗余序列转换成一个二元序列和一个 缩短了的多元序列 。
89、L-D 编码是一种 分帧传送冗余位序列 的方法。
90、L-D 编码适合于冗余位 较多或较少 的情况。
91、信道编码的最终目的是 提高信号传输的可靠性 。
