错误概率、译码规则和有噪信道编码定理

通信过程的可靠性可以用传输的错误概率来衡量。

错误概率（误码率）：接收端收到错误码字的概率。

常用平均译码错误概率表示。

∑=j j j e y e p y p P )|()(译码规则： 设计一个函数F(y j )，该函数对于每一个输出符号y j 确定一个唯一的输入符号x j *与其对应，即：},,,{;,,2,1,)(21r j j j x x x x s j x y F ∈==**∑∑*-==j j j j j j j e y x p y p y e p y p P )]|(1)[()|()(平均错误概率为：最大后验概率译码准则（最佳译码准则）：把每个输出符号译成具有最大后验概率的那个输入符号，使得信道的平均错误概率最小。

即选择译码函数,)(*=j j x y F **≠≥ji j i j j x x y x p y x p ),|()|(使得最大似然译码准则：已知信道的前向传递概率的情况下，把每个输出符号译成具有最大前向传递概率的那个输入符号。

即选择译码函数,)(*=j j x y F **≠≥j i i j j j x x x y p x y p ),|()|(使得∑∑∑∑∑--*==-==Y x X i j i Y x X ji YjY X j i Yj j e x y p x p y x p y x p y x p y e p y p P *,*,,)|()()()()()|()(平均错误概率为：问题：如何降低错误概率？l改变译码规则；l改变输入符号的概率分布，也就是进行信道编码。

然而，信道编码降低了传输的错误概率，代价是信息传输率的降低。

给定信道容量为C的离散无记忆信道[X, P(y|x), Y]，其中P(y|x)为信道传递概率。

当信息传输率R<C时，只要码长n足够长，总可以在输入X n符号集中找到M（=2nR）个码字组成的一组码（2nR, n）和相应的译码规则，使译码的平均错误概率任意小（P E→0）。

有噪信道编码定理
噪声信道编码定理（Noise channel coding theorem）是通信理论中的一个重要定理，也被称为香农编码定理（Shannon's coding theorem）。

它说明了在有噪声的信道中，通过适当的编码和解码技术，可以实现任意小的误码率。

具体来说，噪声信道编码定理提供了用于传输信息的信道容量的上限，称为香农容量（Shannon capacity）。

香农容量表示了在给定的信道条件下，所能传输的最大有效数据速率。

根据该定理，如果某个编码方案的数据速率小于香农容量，则可以通过适当的编码和解码技术实现任意小的误码率。

噪声信道编码定理的核心思想是通过错误检测和纠正编码，将原始的输入符号转化为冗余的编码符号，这些编码符号可以对信道中的噪声进行纠正或者检测错误。

通过正确的编码和解码过程，接收端可以恢复出原始的输入符号，并降低误码率。

噪声信道编码定理的应用非常广泛，包括在无线通信、有线通信、光纤通信等各种通信系统中。

它为信道编码提供了理论指导，对于提高通信系统的可靠性和容量具有重要的意义。

第六章有噪声道编码定理与纠错码6．1．1 译码准则在有噪信道中传输消息是会发生错误的，而接收端引起错误的大小与选择的译码准则有关，也与信道编码所选码字有关。

3．最小距离译码准则(1)汉明距离码字αi和输出序列βj之间对应位置上不同码元的个数，记为D(αi，βj)，称汉明距离。

对于二元信道(二元码)汉明距离为在二元对称信道中最小距离译码准则等于最大似然译码准则。

而在其他信道中，它们不一定相等。

6．1．2 平均错误概率最小错误概率译码准则使P E最小。

最大似然译码准则本身只与信道传递概率有关，不再依赖先验概率P(αi)(或P(a i))，但不一定能使P E最小。

最大似然译码准则只有在输入符号等概率分布时P E才达最小，此时他与最小错误概率译码准则是等价的。

6．1．3 费诺不等式6．1．4 信道编码的编、译基本原则主要讨论二元对称无记忆信道。

1．编码原则在n次扩展信道输入符号αi中选取M个码字组成一组码书C，应尽量使选取的M个码字中任意两不同码字的汉明距离尽可能地大。

2．译码原则采用最大似然译码准则，即当收到βj后，译成与之汉明距离为最近的那个码字α*。

遵照上述编、译码原则，可做到保持一定信道信息传输速率(码率)R，而使PE尽可能地小。

6．1．5 联合ε典型序列6．1．6 有噪信道编码定理及其逆定理1．定理及其逆定理有噪信道的信道容量为C，若信息传输率R<C，只要码长n足够长，必存在一种信道编码和相应的译码规则，使译码平均错误概率P E为任意小。

反之，若R>C则不存在以R传输信息而P E为任意小的码。

此定理可推广到有记忆信道、连续信道、波形信道中。

只是与研究信道容量一样，在连续情况下需对输入信源加入某些限制条件。

2．有噪信道编码与抗干扰能力有噪信道编码定理及其逆定理论证了，任何信道的信道容量是一个明确的分界点。

当R<C并接近C时，总能克服和消除信道中干扰和噪声引起的错误，达到可靠地传输信息。

信息论有噪信道编码定理
信息论中的噪声信道编码定理是一项基本定理，它表明在存在噪声的通信信道中，可以通过适当的编码方式来实现任意小的错误率。

具体而言，噪声信道编码定理指出，对于具有离散输入和输出的信道模型，存在一种编码模式，使得在传输信息时，可以通过增加冗余信息，使得接收端可以正确地恢复发送端的信息。

这种编码方式称为通道编码。

噪声信道编码定理主要包括两个方面的内容：
1. 容量定理：对于给定的噪声信道，存在一种编码方式，使得传输速率不超过信道的容量时，可以实现任意小的错误概率。

2. 可靠性定理：对于给定的噪声信道和错误概率要求，存在一种编码方式，使得传输速率足够接近信道的容量时，可以实现所需的错误概率。

噪声信道编码定理的重要性在于它给出了在有限带宽和有限功率条件下，如何通过适当的编码方式来克服通信信道中的噪声，并实现可靠的信息传输。

这一定理为现代通信系统的设计和优化提供了重要的理论依据。

幻灯片1第6章有噪信道编码定理幻灯片2●在无噪无损信道上，只要对信源的输出进行适当的编码，总能以最大信息传输率C（信道容量）无差错地传输信息。

但一般信道中总存在噪声或干扰，信息传输会造成损失，那么在有噪信道中怎么能使消息通过传输后发生的错误最少？在有噪信道中无错误传输的可达的最大信息传输率是什么？●这就是本章所要研究的内容，即研究通信的可靠性问题。

这时香农在1948年的文章中提出并证明了的信道编码定理，也称香农第二定理。

幻灯片36.1 错误概率和译码规则●在有噪信道中传输消息时会发生错误的。

为了减少错误，提高可靠性，首先就要分析错误概率与哪些因素有关，有没有办法加以控制，能控制到什么程度等问题。

●错误概率与信道统计特性有关。

信道的统计特性可由信道的传递矩阵来描述。

当确定了输入和输出对应关系后，也就确定了信道矩阵中哪些是正确传递概率，哪些是错误传递概率。

●但通信过程一般并不是在信道输出端就结束了，还要经过译码过程（或判决过程）才到达消息的终端（收信者）。

因此译码过程和译码规则对系统的错误概率影响很大。

幻灯片4●错误概率既与信道的统计特性有关，也与译码的规则有关。

●定义译码规则：设离散单符号信道的输入符号集为A={ai}，i=1,2,…,r；输出符号集为B= {bj}，j=1,2,…,s。

制定译码规则就是设计一个函数F(bj)，它对于每一个输出符号bj 确定一个唯一的输入符号ai 与其对应（单值函数）。

即● F(bj)= ai （ i=1,2,…,r ） （ j=1,2,…,s ）幻灯片5● 译码规则的选择应该根据什么准则？一个很自然的准则当然就是要使平均错误概率为最小。

● 为了选择译码规则，首先必须计算平均错误概率。

●平均错误概率PE 表示经过译码后平均接收到一个符号所产生的错误大小。

应是条件错误概率P(e | bj)对Y 空间取平均值，e 表示除了F(bj)= ai 以外的所有输入符号的集合。

● PE =E[p(e| bj)]=● 收到符号bj 条件下译码的正确概率为● P[F(bj) | bj)]= P(ai | bj)● P(e | bj) =1- P(ai | bj) =1- P[F(bj) | bj)]()()∑=s1j jjb e p b p幻灯片6如何设计译码规则F(bj)= ai ，使PE 最小()()∑=s1j jjb e p b p● PE =E[p(e| bj)]=●由于上式PE 的表达式中右边是非负项之和，可以选择译码规则使每一项为最小，即得PE 最小。

第5章 有噪信道编码5.1 基本要求通过本章学习，了解信道编码的目的，了解译码规则对错误概率的影响，掌握两种典型的译码规则：最佳译码规则和极大似然译码规则。

掌握信息率与平均差错率的关系，掌握最小汉明距离译码规则，掌握有噪信道编码定理（香农第二定理）的基本思想，了解典型序列的概念，了解定理的证明方法，掌握线性分组码的生成和校验。

5.2 学习要点5.2.1 信道译码函数与平均差错率5.2.1.1 信道译码模型从数学角度讲，信道译码是一个变换或函数，称为译码函数，记为F 。

信道译码模型如图5.1所示。

5.2.1.2 信道译码函数信道译码函数F 是从输出符号集合B 到输入符号集合A 的映射：*()j j F b a A =∈，1,2,...j s =其含义是：将接收符号j b B ∈译为某个输入符号*j a A ∈。

译码函数又称译码规则。

5.2.1.3 平均差错率在信道输出端接收到符号j b 时，按译码规则*()j j F b a A =∈将j b 译为*j a ，若此时信道输入刚好是*j a ，则称为译码正确，否则称为译码错误。

j b 的译码正确概率是后验概率：*(|)()|j j j j P X a Y b P F b b ⎡⎤===⎣⎦ （5.1）j b 的译码错误概率：(|)()|1()|j j j j j P e b P X F b Y b P F b b ⎡⎤⎡⎤=≠==-⎣⎦⎣⎦ （5.2）平均差错率是译码错误概率的统计平均，记为e P ：{}1111()(|)()1()|1(),1()|()s se j j j j j j j ssj j j j j j j P P b P e b P b P F b b P F b b P F b P b F b ====⎡⎤==-⎣⎦⎡⎤⎡⎤⎡⎤=-=-⎣⎦⎣⎦⎣⎦∑∑∑∑ （5.3）5.2.2 两种典型的译码规则两种典型的译码规则是最佳译码规则和极大似然译码规则。