章_有噪信道编码定理共37页文档

第7章有噪信道编码本章主要内容：√1.概述√2.最佳判决与译码准则3.信道编码与最佳译码√4.费诺（Fano）不等式√5.有噪信道编码定理6.纠错编码技术简介7.信道编码性能界限§7.1 概述信道编码：就是按一定的规则给信源输出序列增加某些冗余符号，使其变成满足一定数学规律的码序列（或码字），再经信道进行传输。

（提高传输的可靠性）信道译码：就是按与编码器同样的数学规律去掉接收序列中的冗余符号, 恢复信源消息序列。

一般地，所加的冗余符号越多，纠错能力就越强，但传输效率降低。

因此在信道编码中明显体现了传输有效性与可靠性的矛盾。

本节主要内容：1. 信道编码的基本概念2. 判决与译码规则3. 译码错误概率7.1.1 信道编码的基本概念简化的通信系统模型如图7.1.1所示。

图7.1.1 简化通信系统模型图信道译码信道编码信道码字（码长为n)等概消息{1,2,……，M}接收序列恢复的消息U Vn Y n X 设信源输出或信道编码器的输入消息集合为U，信道编码器采用分组编码，输出码字为的一个子集，其中每个码符号取自符号集；码字通过离散无记忆信道传输；信道输出或译码器的输入为，其中每个符号取自符号集；译码器输出是被恢复的消息，其集合用V表示。

n X i x X ∈12{,,,}r A a a a = n Y y Y ∈12{,,,}s B b b b =（1）消息产生：由信源发出M 个等概率消息：U ={1，2，…，M}；（2）信道编码：编码器将消息映射成码字，编码函数f ：{1，2，…，M}→C= ，其为码长为n 的码字，码符号集A 的大小为r ；（3）信道传输：为n 维矢量，取自码字集C ，作为n 次扩展信道的输入，，是n 维矢量，为信道输出，；（4）信道译码：译码器根据接收的完成译码功能，译码函数。

12{,,,}M c c c x n C A ∈y n Y ∈y y :{1,2,,}n g Y V M →=⋅⋅⋅信息传送过程衡量信道编码有效性的重要指标就是信息传输速率（也称码率）。

幻灯片1第6章有噪信道编码定理幻灯片2●在无噪无损信道上，只要对信源的输出进行适当的编码，总能以最大信息传输率C（信道容量）无差错地传输信息。

但一般信道中总存在噪声或干扰，信息传输会造成损失，那么在有噪信道中怎么能使消息通过传输后发生的错误最少？在有噪信道中无错误传输的可达的最大信息传输率是什么？●这就是本章所要研究的内容，即研究通信的可靠性问题。

这时香农在1948年的文章中提出并证明了的信道编码定理，也称香农第二定理。

幻灯片36.1 错误概率和译码规则●在有噪信道中传输消息时会发生错误的。

为了减少错误，提高可靠性，首先就要分析错误概率与哪些因素有关，有没有办法加以控制，能控制到什么程度等问题。

●错误概率与信道统计特性有关。

信道的统计特性可由信道的传递矩阵来描述。

当确定了输入和输出对应关系后，也就确定了信道矩阵中哪些是正确传递概率，哪些是错误传递概率。

●但通信过程一般并不是在信道输出端就结束了，还要经过译码过程（或判决过程）才到达消息的终端（收信者）。

因此译码过程和译码规则对系统的错误概率影响很大。

幻灯片4●错误概率既与信道的统计特性有关，也与译码的规则有关。

●定义译码规则：设离散单符号信道的输入符号集为A={ai}，i=1,2,…,r；输出符号集为B= {bj}，j=1,2,…,s。

制定译码规则就是设计一个函数F(bj)，它对于每一个输出符号bj 确定一个唯一的输入符号ai 与其对应（单值函数）。

即● F(bj)= ai （ i=1,2,…,r ） （ j=1,2,…,s ）幻灯片5● 译码规则的选择应该根据什么准则？一个很自然的准则当然就是要使平均错误概率为最小。

● 为了选择译码规则，首先必须计算平均错误概率。

●平均错误概率PE 表示经过译码后平均接收到一个符号所产生的错误大小。

应是条件错误概率P(e | bj)对Y 空间取平均值，e 表示除了F(bj)= ai 以外的所有输入符号的集合。

● PE =E[p(e| bj)]=● 收到符号bj 条件下译码的正确概率为● P[F(bj) | bj)]= P(ai | bj)● P(e | bj) =1- P(ai | bj) =1- P[F(bj) | bj)]()()∑=s1j jjb e p b p幻灯片6如何设计译码规则F(bj)= ai ，使PE 最小()()∑=s1j jjb e p b p● PE =E[p(e| bj)]=●由于上式PE 的表达式中右边是非负项之和，可以选择译码规则使每一项为最小，即得PE 最小。