信息论第6章有噪信道编码

第六章 有噪信道编码6.1 R 为信息传输率，根据香农第二定理，当码长n->无穷大时，满足什么关系式，可使错误概率Pe->0。

答：Pe<exp{-nE(R)}->0，其中E(R)为可靠性函数，且在9<R<C 的范围为正。

信道容量C 是保证无差错传输时，信息传输率R 的权限值。

6.2 写出费诺不等式，其中哪一项表示是否判对的疑义度，log(k-1)又表示什么？答：H(X|Y)<=H2(Pe)+Pelog(k-1) ，H2(pe)是否判对的疑义度。

表示如果判决出错，错在k-1个符号中的一个，疑义度不会超过log(k-1)。

6.3 根据香农定理说明，（信息容量）是保证无差错传输时信息传输率R 的上限值，（平均错误概率）是信源可压缩信息的最低极限。

6.4 最大后验概率译码准则就是最小错误译码准则，对吗？错误。

()∑≠-==≠=k i k i k k e y x y xy x x y p )|(1)|()|(φφφ 这个公式可知最大后验概率与最小错误译码准则所得的最终结果是相等的。

但并非概念定义一致。

6.5 在信源等该分布时，则极大似然函数译码准则就是最小错误译码准则，对吗？ Proof: if ())|(|k k x y p x y p > m=1,2,……,MThen 信道等概率输入时，有),()(m k x q x q = 代入上式得)()|()()|(m m k k x q x y p x q x y p >So,it comes to )()(y x p y x p m k >所以说明全概率最大，对应最大联合概率译码准则。

1/2 1/6 1/36.6 离散无记忆信道DMC ，转移概率矩阵为 P= 1/3 1/2 1/61/6 1/3 1/2(1 )q(x1)=1/2 q(x2)=1/4 q(x3)=1/4. 求最佳判决译码及错误概率。

（2）若信源等概分布，求最佳判决译码及错误概率。

幻灯片1第6章有噪信道编码定理幻灯片2●在无噪无损信道上，只要对信源的输出进行适当的编码，总能以最大信息传输率C（信道容量）无差错地传输信息。

但一般信道中总存在噪声或干扰，信息传输会造成损失，那么在有噪信道中怎么能使消息通过传输后发生的错误最少？在有噪信道中无错误传输的可达的最大信息传输率是什么？●这就是本章所要研究的内容，即研究通信的可靠性问题。

这时香农在1948年的文章中提出并证明了的信道编码定理，也称香农第二定理。

幻灯片36.1 错误概率和译码规则●在有噪信道中传输消息时会发生错误的。

为了减少错误，提高可靠性，首先就要分析错误概率与哪些因素有关，有没有办法加以控制，能控制到什么程度等问题。

●错误概率与信道统计特性有关。

信道的统计特性可由信道的传递矩阵来描述。

当确定了输入和输出对应关系后，也就确定了信道矩阵中哪些是正确传递概率，哪些是错误传递概率。

●但通信过程一般并不是在信道输出端就结束了，还要经过译码过程（或判决过程）才到达消息的终端（收信者）。

因此译码过程和译码规则对系统的错误概率影响很大。

幻灯片4●错误概率既与信道的统计特性有关，也与译码的规则有关。

●定义译码规则：设离散单符号信道的输入符号集为A={ai}，i=1,2,…,r；输出符号集为B= {bj}，j=1,2,…,s。

制定译码规则就是设计一个函数F(bj)，它对于每一个输出符号bj 确定一个唯一的输入符号ai 与其对应（单值函数）。

即● F(bj)= ai （ i=1,2,…,r ） （ j=1,2,…,s ）幻灯片5● 译码规则的选择应该根据什么准则？一个很自然的准则当然就是要使平均错误概率为最小。

● 为了选择译码规则，首先必须计算平均错误概率。

●平均错误概率PE 表示经过译码后平均接收到一个符号所产生的错误大小。

应是条件错误概率P(e | bj)对Y 空间取平均值，e 表示除了F(bj)= ai 以外的所有输入符号的集合。

● PE =E[p(e| bj)]=● 收到符号bj 条件下译码的正确概率为● P[F(bj) | bj)]= P(ai | bj)● P(e | bj) =1- P(ai | bj) =1- P[F(bj) | bj)]()()∑=s1j jjb e p b p幻灯片6如何设计译码规则F(bj)= ai ，使PE 最小()()∑=s1j jjb e p b p● PE =E[p(e| bj)]=●由于上式PE 的表达式中右边是非负项之和，可以选择译码规则使每一项为最小，即得PE 最小。