信源编码的基本原理及其应用
课程名称通信原理Ⅱ
专业通信工程
班级*******
学号******
学生姓名*****
论文成绩
指导教师*****
******
信源编码的基本原理及其应用
信息论的理论定义是由当代伟大的数学家美国贝尔实验室杰出的科学家香农在他1948 年的著名论文《通信的数学理论》所定义的，它为信息论奠定了理论基础。后来其他科学家，如哈特莱、维纳、朗格等人又对信息理论作出了更加深入的探讨。使得信息论到现在形成了一套比较完整的理论体系。
信息通过信道传输到信宿的过程即为通信，通信中的基本问题是如何快速、准确地传送信息。要做到既不失真又快速地通信，需要解决两个问题：一是不失真或允许一定的失真条件下，如何提高信息传输速度（如何用尽可能少的符号来传送信源信息）；二是在信道受到干扰的情况下，如何增加信号的抗干扰能力，同时又使得信息传输率最大（如何尽可能地提高信息传输的可靠性）。这样就对信源的编码有了要求，如何通过对信源的编码来实现呢？
通常对于一个数字通信系统而言，信源编码位于从信源到信宿的整个传输链路中的第一个环节，其基本目地就是压缩信源产生的冗余信息，降低传递这些不必要的信息的开销，从而提高整个传输链路的有效性。在这个过程中，对冗余信息的界定和处理是信源编码的核心问题，那么首先需要对这些冗余信息的来源进行分析，接下来才能够根据这些冗余信息的不同特点设计和采取相应的压缩处理技术进行高效的信源编码。简言之，信息的冗余来自两个主要的方面：首先是信源的相关性和记忆性。这类降低信源相关性和记忆性编码的典型例子有预测编码、变换编码等；其次是信宿对信源失真具有一定的容忍程度。这类编码的直接应用有很大一部分是在对模拟信源的量化上，或连续信源的限失真编码。可以把信源编码看成是在有效性和传递性的信息完整性（质量）之间的一种折中有段。 信源编码的基本原理：
信息论的创始人香农将信源输出的平均信息量定义为单消息（符号）离散信源的信息熵：
香农称信源输出的一个符号所含的平均信息量为 为信源的信息熵。 通信原理中对信源研究的内容包括3个方面：
(1)信源的建模
信源输出信号的数学描述已有成熟的理论——随机过程，一般的随机过程理∑=-=L
i i i x p x p x H 12)
(log )()()(x H
论并不涉及和讨论信号中所携带的信息，而通信原理所关心的中心内容则是信号中携带的信息。发射器发送1和发送0的概率是不相等的，因此需要讨论发送1和发送0的不同概率。
(2)信源输出信号中携带信息的效率的计算
在通信原理中，信源输出信号所携带信息的效率是用熵率或冗余度来表示的。
(3)信源输出信息的有效表示
一般地，信源输出信号中携带信息的效率并不很高，如何用适当的信号有效地表示信源输出的信息是人们感兴趣的问题，这就是信源编码的问题。 信源编码的方式：
一、模数转化：脉冲编码调制和增量编码调制PCM/DM
二、离散无记忆信源编码DMS ，包括有Huffman 编码和等长编码
三、线性预测编码LPC ，将信源等效地视为在一个适当输入信号激励下的线性系统输出。用线性系统的参数及伴随的输入激励信号进行编码。
一、脉冲编码调制
1.1低通信号的抽样定理——Nyquist 抽样定理（均匀采样定理）
一个带限于（0，fm ）Hz 内的连续时间信号f(t)，如果以Ts ≤1/2fm 秒的时间间隔进行抽样，则f(t)将由得到的抽样值f(kTt)完全确定。
Nyquist 抽样速率： Nyquist 最大时间间隔： 低通信号的抽样示意图：
m
s f f 2=m
s f T 21
=
1.2量化：
1.2.1均匀量化
在整个输入信号的幅度范围内各量化分级间隔相等的量化方式即为均匀量化。
其原理图为：
在满足信噪比要求的输入信号取值范围内进行均匀量化时，信号动态范围将受到较大的限制。因此均匀量化的缺陷十分明显。
1.2.2非均匀量化
为克服均匀量化的缺点，使小信号的量化台阶减小，大信号的量化台阶增大，而形成的量化方式为非均匀量化。即根据信号的不同区间确定间隔。
（1）方法：压扩处理，在发送端进行压缩，在接收端进行扩张。
（2）非均匀量化框图：
1.2.3优点
（1）当输入量化器的信号具有非均匀的概率密度时，非均匀量化器的输出端可以得到较高的平均信噪比；
（2）非均匀量化时，量化噪声功率的均方根值基本与信号抽样值成正比，从而改善了小信号的信噪比；可以做到在不增大量化级数N的条件下，使信号在较宽的动态范围内的(S/Nq)dB达到指标的要求。
1.3非均匀量化的生活中应用：A律13折线压扩技术（我国现在使用）
目前应用较多的是以数字电路方式实现的A律特性折线近似。
具体实现：
1.对x轴在0～1(归一化)范围内以1/2递减规律分成8个不均匀段，其分段点是1/2，1/4，1/8，1/16，1/32，1/64和1/128；
2.对y轴在0～1(归一化)范围内以均匀分段方式分成8个均匀段，其分段点是1/8，2/8，3/8，4/8，5/8，6/8，7/8和1。
3.将x轴和y轴对应的分段线在x-y平面上的相交点相连接的折线就是有8个线段的折线。
1.4DM增量编码调制
DM：把过去的信号样值作为预测值的单纯预测编码的方式。40年代提出的，是脉冲编码的一种特殊形式，是模拟信号数字化的另一种基本方法。它的编码设备比较简单。
二、离散无记忆信源编码DMS
在DMS编码中，我们给每个符号赋予一定长度的代码表示。因此假设，信源
的输出来自一个由有限个符号组成的集合，
表示符号出现的概率，则： 调整平均数据速率。
由此可以看出，在赋予一定长度的代码时，每个符号的二进制代码平均长度最短不应小于信源的熵。
我们对信源编码的要求是：不仅要使传递编码序列的信息速率尽量变小，还要从该编码序列能无失真的恢复出源信号的输出符号即能正确的进行反变换或者译码，称此信源编码为无失真离散信源编码。
2.1等长编码：
信源编码原理图为：
等长编码又称为均匀编码，即不管符号出现的概率如何，每个符号都用N 位二进制代码表示。码长为：
编码效率为：
它表示信源的平均每个符号的信息熵
与信源平均每个符号的编码长度R 之比值。
若信源编码器用不同长度的符号来表示信源的输出符号，则称为变长编码。 变长编码的思路是根据信源输出符号出现概率的不同来选择码字，出现概率大的用短码表示，出现概率小的用长码，使平均编码长度K 最短，因而可提高编码效率。变长编码可以无失真编码，无差错编码。使用变长编码可以达到相当高的编码效率。一般，变长码所要求的信源消息序列长度L 比等长编码的小得多。 其特点是：
1.当L 为2的整数次幂且等概出现时，编码效率为100%；
2.当符号等概出现，但L 不是2的整数次幂时，编码效率下降，符号平均信息量)(i x p ∑=≤-=L
i i i L
x p x p x H 122log )(log )()(??1log log 22+=L L N 或R
x H )(=η)(x H
与码长N 之间最多可相差1比特；
3.L 较小时，编码效率较低，因此，可以采用扩展编码的方法，即将连续J 个符号进行统一编码，则：
L J N 2log ≥取整??1log 2+=L J N
即：
也就是说，每个符号所增加的1比特下降到1/J 比特，编码效率增加。
2.2哈夫曼编码
在信源编码的变长编码中哈夫曼编码（Huffman ）是无前缀的变长编码，它没有一个码字是其他码字的前缀，以确保唯一可以码。它能够提供信源熵的编码序列，其编码效率高，且能无失真的编译码。
哈夫曼编码步骤：
（1）将信源消息符号按其出现的概率大小依次排列P 1 ≥ P 2 ≥ ??? ≥ P n 。
（2）取两个概率最小的字母分别配以0和1两个码元，并将这两个概率相 加作为一个新的字母的概率，与未分配的二进制符号的字母重新排队。
（3）对重排后的两个概率最小符号重复步骤（2）的过程。
（4）不断继续上述过程，直到最后两个符号配以0和1为止。
（5）从最后一级开始，向前返回得到各个信源符号所对应的码元序列，即 相应的码字
平均编码效率：
哈夫曼编码的主要特点：
1.哈夫曼编码构造的码字不唯一；
2.哈夫曼编码是变长编码，硬件实现比较困难；
3.采用哈夫曼编码，要传送编码表，占用传送时间；
4.哈夫曼编码是变长编码，出错时难以识别；
哈夫曼编码方法不唯一，因为编码时的0和1是任意给的，另外在两个符号有相同概率时的编码过程不唯一，造成编码结果不同，但平均码长相同。其次：??J
L J N N 1log 2+==N
x H )(=η
对信源进行缩减时两个概率最小的符号合并后的概率与其他信源符号的概率相同时，这两者在缩减信源中进行概率排序，其位置放置次序是可以任意的，故会得到不同的哈夫曼码此时将影响码字的长度，一般将合并的概率放在上面，这样可以获得较小的码方差。
对于多进制哈夫曼编码，为了提高编码效率，就要使长码的符号数量尽量少、概率尽量小，所以信源符号数最好满足()r n r m +-=1,其中r 为进制数，n 为缩减的次数。例如，要进行三进制编码，那么最好信源有7个符号，第1次合并后减少2个成为5个，第2次合并后又减少2个成为3个，这样给每一步赋予三进制符号就没有浪费了。但如果信源只有6个符号时，为了尽量减少最长码的数量，则应该在第1次合并时添置概率为零的虚拟符号1个，事实上只合并2个概率最小的符号，后面每次合并三个，就可以使得最长码的符号数量最少，也就是长码的概率最小，从而得到最高的编码效率。
哈夫曼编码现已广泛应用于各类图像编码中，然而应用最早、最为有效的则是在传真编码中。在传真编码中应用的是游程编码，它是一类基于哈夫曼编码的推广。
哈夫曼编码被称为最优的变长信源编码，但是这一最佳性能是建立在稳定、确知的概率统计特性的基础上，一旦统计特性不稳定或发生变化或不完全确知，变长编码将失去统计匹配的前提，其性能必然引起恶化，实际信源往往不可能提供很稳定、确知的概率特性，因此人们开始研究比较稳健、适应性比较强的准最佳信源编码。而且哈夫曼编码仍然存在一些分组码所具有的缺点。例如概率特性必须得到精确地测定，它若略有变化，还需要换码表，以及对于二元信源，常需要多个符号合起来编码，才能取得好的效果，但当合并的符号数不大时，编码效率提高不多，尤其对于相关信源，不能令人满意，而合并的符号数增大时，码表中的码字数很多，设备将越来越复杂。
当容量设定后，随着时间的增长，存储器溢出和取空的的概率都将增。当T 很大时，几乎一定会溢出或损失；由此可见，对于无线长的信息，很难采用变长码而不出现错误。一般来说，变长码只适用于有限码的传输；即送出一段信息后，信源就停止输出，例如传真机送出一张纸上的信息后停止。对于长信息在实际使用时可把长信息分段送出，也可通过检测存储器的状态调节信源输出即发现存储
器将要溢出就停止信源输出；发现存储器将要被取空就在信道上插上空闲标志，或加快信源输出。
变长码可以无失真的译码，这是理想情况。如果这种变长码是由信道输入的，一个码子前面有一个码元错了，就可能误认为是另一个码字而断点，结果后面一系列的码字也会译错，这常称为差错的扩散。当然也可以采用某些措施，使码元错了一段以后，能恢复正常的码字分离和译码，这一般要求在传输过程中差错很少，或者加纠错用的监督码位，但是这样一来又增加了信息率。
此外，当信源有记忆时，用单个符号编码不可能是编码效率接近于1，因此信息率只能接近一维熵H1，而H一定小于H1 。此时仍需要多个符号一起编码，才能提高编码效率。但导致码表长，存储器多。
三、线性预测编码LPC
预测编码：根据过去的信号样值预测下一个样值，并仅把预测值与当前样值之差（预测误差）加以量化编码再传输的方式。
3.1基本思想
用一个阶梯波逼近模拟信号，只用一位二进制编码表示抽样时刻波形的变化趋向。
3.2基本原理
首先根据信号的幅度大小和抽样频率(注意抽样频率大于等于2fm）去规定阶梯信号的台阶Δ，在抽样时刻ti把信号f(ti)与前一时刻的阶梯波形值进行比较，确定该时刻的输出码字。
经过预测编码就可以解除信源的相关性，然后对信源进行编码就不再是记忆的了。
以上就是信源编码的基本原理了，而在移动通信中的信源编码又是又是如何呢。其实，移动通信中的信源编码与有线通信不同，它不仅需要对信息传输有效性进行保障，还应该与其他一些系统指标密切相关，例如容量、覆盖和质量。以GSM为例说明。
以GSM系统中普通的全速率和版速率话音编码来说，其速率分别为9.6kbps 和4.8kbps，前者的话音质量好于后者，但占用的系统资源是后者的两倍左右。当系统的覆盖不是限制因素时，使用半速率编码可以牺牲质量换取倍增的容量，
即提高系统的有效性。而当系统的容量相对固定时，可以通过使用半速率编码牺牲质量换取覆盖的增加，因为半速率编码对于接收信号质量的要求降低了。
除此之外，移动通信中的信源编码的设计和实现还要考虑其他一些因素。由于移动终端是由电池供电，其运算处理能力悠闲，因此信源编码就要在保证质量的前提下尽可能地降低复杂度。另外考虑到信宿处理能力的差异，编码后的数据流量应该也包含不同质量的信息，以适应不同终端的需求。考虑到移动通信信道的差错特性和一些话音、多媒体业务的实时性，这类业务通常要求移动通信中的信源编码能够容忍一定的差错而无需复杂的传播。
2G/3G中的话音信源编码的基本原理是相同的，都采用了矢量量化和参数编码的方式。
1.IS-95中的变速率码激励线性预测编码（CELP）
IS-95中的CELP技术通过四个等级的变速率编码实现话音激活，即使用者发声时进行全速率（9.6kbps）编码，而不发声时仅仅传递八分之一（1.2kbps）的背景噪声，以降低功耗和对其他用户的干扰。
2.GPRS/WCDMA中的自适应多速率编码（AMR）
数字蜂窝系统自适应多码率语音传输解编码器（Adaptive MultiRate Speech Codec:AMR）是欧洲电信标准化协会（ETSI）下属的SMG11（Special Mobile Group11）制定的语音编解码标准，提供了一种自适应的解决方法来跟踪快速变化的无线信道情况和本地流量情况。AMR编码器实时根据信道类型（全速率或半速率）选择多种码率中的一种，从而达到语音编码和信道编码的最优组合以满足瞬时的无线信道条件和本地容量需求。AMR提供了从4.75kbits/s到12.2kbits/s 的多种码率选择。AMR凭借其优异的性能成为UMTS和ITU第三代系统的语音编码方案之一。
ARM语音编码器的原理：ARM编码器由多个固定速率的语音编码器、信源控制器的速率方式、能够有效克服传输错误和丢包的错误对消器组成。多速率的语音编码器是一种单个集成的，它有8个固定的信源速率模式，从4.75kbps 到12.2kbps, 此编码器能够根据命令在每20MS语音帧中改变它的速率.语音仍然是第三代移动通信系统中最重要的业务之一，问题在于:如何在优化频谱资源的同时增强灵活性和语音质量，尤其是在用户密集的区域。一个好的解决方案必须能
够在无噪信道条件下提供最好的质量，而且能够在干扰严重的信道条件下保持较好的质量。WCDMA采用的自适应多速率（AMR）语音编解码器，能够根据通信信道的改变而动态地在信源编码和信道编码之间调整比特分配。
3.CDMA2000演进系统中的可选择模式语音编码（SMV）
SMV用于CDMA2000演进系统中，其基本原理与前述两种基本相同，它也是可变速率的，从速率等级上看与IS-95中的CELP一样，有9.6kbps、4.8kbps、2.4kbps、1.2kbps四种，不同的是SMV允许有四种模式供系统侧选择，即MODE0（高品质模式）、MODE1（标准模式）、MODE2（经济模式）、MODE3（容量节省模式），不同的模式实现不同程度的话音质量和平均速率的折中，通过调整不同等级速率所占的比例实现不同的模式，从而调整平均数据速率。
4.3G系统中的视频信源编码H.264
在3GPP的R6、R7以及3GPP2的高演进版本中，视频通信业务采用了H.264/AVC（高级视频编码）视频压缩标准。H.264从某种程度上看是MPEG的扩展，在H.264中，一幅图像可编码成一个或者若干个片（slice，此处与帧的含义相同），每个slice包含整数个MB（macro block），相当于一个完整图像中的不同区域，编码片（slice）共有5种不同的类型，包括I片、B片、P片、SP 片、SI介于I与P之间，但考虑了更多数据片之间的相关性，进一步压缩了数据速率。
NAL的工作模式分为SSM（孤立片模式）和DPM（数据分区模式），在SSM模式中，属于同一数据片的所有编码信息在一个RTP数据包中通过网络进行传输、在DPM中，每个slice找那个的MB间彼此联系，利用相邻MB存在空间相关性来进行帧内预测编码。将图像数据分成动态矢量数据（即基本层，需要更好的差错保护）以及剩余的信息。每个数据片的编码视频信息首先被分割成三部分并分别放到A、B、C数据分区中，每个数据分区中包含的信息被分割封装到相应的RTP 数据包中通过网络进行传输。其中，part A中包含最重要的slice头信息，MB 头条信息，以及动态矢量信息；part B中包含帧内和SI片宏块的编码残差数据，能够阻止误码继续传播；part C中包含帧间宏块的编码残差数据，帧编码数据模块的编码方式信息和帧间变换系统。
信源编码的主要应用就是在移动通信系统中的使用。实现了模拟信号的数字
化传输即完成A/D变换，提高信号传输的有效性。即在保证一定传输质量的情况下，用尽可能少的数字脉冲来表示信源产生的信息。
指导教师签字：年月日
青岛农业大学 本科生课程论文 论文题目联合信源信道编码的原理及其在通信中的应用学生专业班级信息与计算科学09级1班 学生姓名（学号）董晨晨（20093991） 指导教师吴慧 完成时间 2012年6月27日 2012 年 6 月 27 日
课程论文任务书 学生姓名董晨晨指导教师吴慧 论文题目联合信源信道编码的原理及其在通信中的应用 论文内容（需明确列出研究的问题）：由于通信的根本目的是将消息有效而可靠地从信源传到信宿，信源编码的目的在于提高系统的有效性，信道编码理论核心是提高系统的可靠性，因此在编码时应在一定的传信率条件下，通过有规律的增加冗余度保证信息以尽可能小的差错概率从信源传到信宿，并且充分利用系统资源。基于这种情况下，提出了信源信道联合编码，可以跟随信道的变化充分利用通信系统的资源，达到最好的端对端的通信效果。本文主要研究了以下几个方面的问题：（1）信源信道联合编码的原理；（2）信源信道联合编码的研究方向；（3）信源信道联合编码的关键技术；（4）联合编码在通信系统方面的应用。 资料、数据、技术水平等方面的要求：通过书籍报刊杂志、网络等各种渠道广泛搜集资料，充分利用现有文献，借鉴他人的学术成果，做到了资料翔实，数据准确，引用规范，论证充分。论文符合一般学术论文的写作规范，具备学术性、科学性和一定的创造性。文字流畅、语言准确、要点清楚，有独立的观点和见解。内容理论联系实际，计算数据准确，涉及到他人的观点、统计数据或计算公式标明出处，结论写的概括简短。 发出任务书日期2012.6.20完成论文日期2012.6.27 教研室意见（签字） 院长意见（签字）
课程论文成绩评定表
信源编码的基本原理及其应用 课程名称通信原理Ⅱ 专业通信工程 班级******* 学号****** 学生姓名***** 论文成绩 指导教师***** ******
信源编码的基本原理及其应用 信息论的理论定义是由当代伟大的数学家美国贝尔实验室杰出的科学家香农在他1948 年的著名论文《通信的数学理论》所定义的，它为信息论奠定了理论基础。后来其他科学家，如哈特莱、维纳、朗格等人又对信息理论作出了更加深入的探讨。使得信息论到现在形成了一套比较完整的理论体系。 信息通过信道传输到信宿的过程即为通信，通信中的基本问题是如何快速、准确地传送信息。要做到既不失真又快速地通信，需要解决两个问题：一是不失真或允许一定的失真条件下，如何提高信息传输速度（如何用尽可能少的符号来传送信源信息）；二是在信道受到干扰的情况下，如何增加信号的抗干扰能力，同时又使得信息传输率最大（如何尽可能地提高信息传输的可靠性）。这样就对信源的编码有了要求，如何通过对信源的编码来实现呢？ 通常对于一个数字通信系统而言，信源编码位于从信源到信宿的整个传输链路中的第一个环节，其基本目地就是压缩信源产生的冗余信息，降低传递这些不必要的信息的开销，从而提高整个传输链路的有效性。在这个过程中，对冗余信息的界定和处理是信源编码的核心问题，那么首先需要对这些冗余信息的来源进行分析，接下来才能够根据这些冗余信息的不同特点设计和采取相应的压缩处理技术进行高效的信源编码。简言之，信息的冗余来自两个主要的方面：首先是信源的相关性和记忆性。这类降低信源相关性和记忆性编码的典型例子有预测编码、变换编码等；其次是信宿对信源失真具有一定的容忍程度。这类编码的直接应用有很大一部分是在对模拟信源的量化上，或连续信源的限失真编码。可以把信源编码看成是在有效性和传递性的信息完整性（质量）之间的一种折中有段。 信源编码的基本原理： 信息论的创始人香农将信源输出的平均信息量定义为单消息（符号）离散信源的信息熵： 香农称信源输出的一个符号所含的平均信息量为 为信源的信息熵。 通信原理中对信源研究的内容包括3个方面： (1)信源的建模 信源输出信号的数学描述已有成熟的理论——随机过程，一般的随机过程理∑=-=L i i i x p x p x H 12) (log )()()(x H
数字通信中的信源编码和信道编码 摘要：如今社会已经步入信息时代，在各种信息技术中，信息的传输及通信起着支撑作用。而对于信息的传输，数字通信已经成为重要的手段。本论文根据当今现代通信技术的发展，对信源编码和信道编码进行了概述性的介绍. 关键词：数字通信；通信系统；信源编码；信道编码 Abstract：Now it is an information society. In the all of information technologies, transmission and communication of information take an important effect. For the transmission of information, Digital communication has been an important means. In this thesis we will present an overview of source coding and channel coding depending on the development of today’s communica tion technologies. Key Words：digital communication; communication system; source coding; channel coding 1.前言 通常所谓的“编码”包括信源编码和信道编码。编码是数字通信的必要手段。使用数字信号进行传输有许多优点, 如不易受噪声干扰, 容易进行各种复杂处理, 便于存贮, 易集成化等。编码的目的就是为了优化通信系统。一般通信系统的性能指标主要是有效性和可靠性。所谓优化，就是使这些指标达到最佳。除了经济性外，这些指标正是信息论研究的对象。按照不同的编码目的，编码可主要分为信源编码和信道编码。在本文中对此做一个简单的介绍。 2.数字通信系统 通信的任务是由一整套技术设备和传输媒介所构成的总体——通信系统来完成的。电子通信根据信道上传输信号的种类可分为模拟通信和数字通信。最简单的数字通信系统模型由信源、信道和信宿三个基本部分组成。实际的数字通信系统模型要比简单的数字通信系统模型复杂得多。数字通信系统设备多种多样，综合各种数字通信系统，其构成如图2-l所示。 图2-1 数字通信系统模型 信源编码是以提高通信有效性为目的的编码。通常通过压缩信源的冗余度来实现。采用的一般方法是压缩每个信源符号的平均比特数或信源的码率。 信道，通俗地说是指以传输媒质为基础的信号通路。具体地说，信道是指由有线或无线电线路提供的信号通路。信道的作用是传输信号，它提供一段频带让信号通过，同时又给信号加以限制和损害。 信道编码是以提高信息传输的可靠性为目的的编码。通常通过增加信源的冗余度来实现。采用的一般方法是增大码率或带宽。与信源编码正好相反。在计算机科学领域，信道编
Joint Source-Channel Decoding of Huffman Codes with LDPC Codes Zhonghui Mei and Lenan Wu Abstract In this paper, we present a joint source-channel decoding algorithm (JSCD) for LDPC codes by exploiting the redundancy of the Huffman coded sources.When the number of Huffman codes increases, just a moderate complexity is added for our algorithm by increasing the size of the lookup table, which is used to estimate the information bit probability based on the source redundancy. Key words － LDPC, Variable length codes (VLC), Huffman code, sum-product algorithm (SPA), joint source-channel decoding (JSCD) I. INTRODUCTION Recently in [1]-[4] several joint source-channel decoding algorithms for variable length codes (VLC) have been proposed. All of these algorithms consider the overall sequence of variable length codeword to exploit the source redundancy. The drawback is that the symbols have to be synchronized in order to limit error propagating. Furthermore, when the number of VLC increases, the decoding complexity of these algorithms explodes. In this paper we present a JSCD algorithm for LDPC codes in combination with Huffman coded sources. The error correcting property of our JSCD algorithm mainly depends on channel codes rather than source redundancy. In order to exploit the source redundancy, we estimate the information bit probability with just some corresponding bits before it, which simplifies the decoding algorithm significantly. The rest of the paper is organized as follows. Section II presents the Huffman coded source model. The JSCD algorithm for LDPC codes is described in section III. Section IV provides the simulation results. Section V concludes this paper. II. HUFFNAN CODED SOURCE MODEL Let denotes a sequence of information bits coded by VLC (e.g. a Huffman code). In [1], [3] and [4], they consider the overall sequence and express the source redundancy with . In order to compute , [3] and [4] design a trellis to illustrate statistics of the source sequence. When the number of the trellis states increases, the computational complexity of will rise explosively. ],......,,,[321n s s s s S =),......,,,()(21n s s s s p S p =)(S p )(S p In this paper, we make use of the source redundancy with , as is illustrated in Fig.1 and table 1. k is chose to be larger than the maximum length of Huffman codes. When the number of VLC increases, we only need to expand the lookup table. In addition, for we just estimate one bit probability with a small part bit of the information sequence every time, the error propagation phenomenon has been avoided successfully. ]),......,,[|(11?+??i k i k i i s s s s p
第七章 信源编码 7-1已知某地天气预报状态分为六种：晴天、多云、阴天、小雨、中雨、大雨。 ① 若六种状态等概出现，求每种消息的平均信息量及等长二进制编码的码长N 。 ② 若六种状态出现的概率为：晴天—；多云—；阴天—；小雨—；中雨—；大雨—。试计算消息的平均信息量，若按Huffman 码进行最佳编码，试求各状态编码及平均码长N 。 解: ①每种状态出现的概率为 6,...,1,6 1 ==i P i 因此消息的平均信息量为 ∑=- ===6 1 22 /58.26log 1 log i i i bit P P I 消息 等长二进制编码的码长N ＝[][]316log 1log 22=+=+L 。 ②各种状态出现的概率如题所给，则消息的平均信息量为 6 2 1 2222221log 0.6log 0.60.22log 0.220.1log 0.10.06log 0.060.013log 0.0130.007log 0.0071.63/i i i I P P bit - == = ------ ≈ ∑消息 Huffman 编码树如下图所示： 由此可以得到各状态编码为：晴—0，多云—10，阴天—110，小雨—1110，中雨—11110， 大雨—11111。 平均码长为： 6 1 10.620.2230.140.0650.01350.0071.68 i i i N n P == =?+?+?+?+?+? =∑— 7-2某一离散无记忆信源（DMS ）由8个字母(1,2,,8)i X i =???组成，设每个字母出现的概率分别为：，，，，，，，。试求： ① Huffman 编码时产生的8个不等长码字； ② 平均二进制编码长度N ； ③ 信源的熵，并与N 比较。 解：①采用冒泡法画出Huffman 编码树如下图所示 可以得到按概率从大到小8个不等长码字依次为： 0100,0101,1110,1111,011,100,00,1087654321========X X X X X X X X
河南城建学院 马尔科夫过程在信源编码中的应用 信 息 论 基 础 姓名：王坤 专业名称：电子信息工程 专业班级：0934121 指导老师：贺伟 所在院系：电气与信息工程学院 2014年12月20日
摘要 首先主要讲述了马尔科夫过程，对马尔科夫过程进行了简介，介绍了马尔科夫过程的数学描述方法并对马尔科夫过程的发展历史进行了简述。 在第二章节对马尔科夫过程在信源编码中的应用进行了简单的论述及讲解。信息论中的编码主要包括信源编码和信道编码。信源编码的主要目的是提高有效性，通过压缩每个信源符号的平均比特数或降低信源的码率来提高编码效率；信道编码的主要目标是提高信息传输的可靠性，在信息传输率不超过信道容量的前提下，尽可能增加信源冗余度以减小错误译码概率。研究编码问题是为了设计出使通信系统优化的编译码设备 随机过程是与时间相关的随机变量，在确定的时刻它是随机变量。随机过程的具体取值称作其样本函数，所有样本函数构成的集合称作随机过程的样本函数空间，所有样本函数空间及其统计特性即构成了随机过程。
目录 1引言 (1) 2马尔科夫过程 (2) 3马尔科夫过程在信源编码中的应用 (4) 4参考文献 (13)
1 引言 随着现代科学技术的发展，特别是移动通信技术的发展，信息的传输在社会科学进步的地位越来越重要。因此如何更加高效的传输信息成了现代科技研究的重要目标。马尔可夫过程是一类非常重要的随机过程。很多在应用中出现的马氏过程模型的研究受到越来越多的重视。在现实世界中，有很多过程都是马尔可夫过程，马尔可夫过程在研究质点的随机运动、自动控制、通信技术、生物工程等领域中有着广泛的应用。我们可以通过对马尔可夫过程的研究来分析马尔可夫信源的特性。由于 研究马尔科夫过程在信源编码中的作用，可以利用马尔科夫模型减少信息传输的冗余，提高信息传输的效率。 马尔可夫信源是一类有限长度记忆的非平稳离散信源，信源输出的消息是非平稳的随机序列，它们的各维概率分布可能会随时间的平移而改变。由于马尔可夫信源的相关性及可压缩性，它已成为信息领域的热点问题。
信源编码与信道编码解析 摘要：衡量一个通信系统性能优劣的基本因素是有效性和可靠性，有效性是指信道传输信息的速度快慢，可靠性是指信道传输信息的准确程度。在数字通信系统中，信源编码是为了提高有效性，信道编码是为了提高可靠性，而在一个通信系统中，有效性和可靠性是互相矛盾的，也是可以互换的。我们可以用降低有效性的办法提高可靠性，也可以用用降低可靠性的办法提高有效性。本文对信源编码和信道编码的概念，作用，编码方式和类型进行了解析,以便于更好的理解数字通信系统的各个环节。 关键字：信源编码信道编码 Abstract: the measure of a communication system the basic factor is quality performance efficiency and reliability, effectiveness refers to channel to transfer information machine speed, reliability is to point to the accuracy of the information transmission channel. In digital communication system, the source coding is in order to improve the effectiveness, channel coding is in order to improve the reliability, and in a communication system, effectiveness and reliability is contradictory, is also can be interchanged. We can use to reduce the availability of improving the reliability, also can use to improve the effectiveness of reduces reliability. In this paper, the source coding and channel coding concept, function, coding mode and the types of analysis, in order to better understand all aspects of digital communication systems. Key words: the source coding channel coding 中图分类号：TN911.21 文献标识码：A 文章编号： 1引言 数字通信系统： 信源是把消息转化成电信号的设备，例如话筒、键盘、磁带等。 信源编码的基本部分是压缩编码。它用于减小数字信号的冗余度，提高数字信号的有效性，如果是模拟信源，则它还包括数模转换功能，在某些系统中，信源编码还包括加密功能。
目录 1 课程设计目的 (1) 2 课程设计正文 (1) 2.1 调制原理 (1) 2.2 解调原理 (3) 2.3 程序分析 (3) 3 课程设计总结 (9) 4 参考文献 (9)
1 课程设计目的 通过我们对这次CDIO 二级项目的学习和理解，综合运用课本中所学到的理论知识完成一个以香农编码为信源编码、（7,4）循环码为信道编码的2FSK 信号调制解调的课程设计。以及锻炼我们查阅资料、方案比较、团结合作的能力。学会了运用MA TLAB 编程来实现2FSK 调制解调过程，并且输出其调制及解调过程中的波形，并且讨论了其调制和解调效果，增强了我们的动手能力，为以后学习和工作打下了基础。 2 课程设计正文 本次课程设计我们所做的课题是一个以香农编码为信源编码、（7,4）循环码为信道编码的2FSK 信号调制解调的CDIO 项目，这就要求我们需要完成信源编码、信道编码、信号的调制解调以及误码率分析等问题。 图1 数字通信系统模型 数字信号的传输方式分为基带传输和带通传输，在实际应用中，大多数信道具有带通特性而不能直接传输基带信号。为了使数字信号在带通信道中传输，必须使用数字基带信号对载波进行调制，以使信号与信道的特性相匹配。这种用数字基带信号控制载波，把数字基带信号变换为数字带通信号的过程称为数字调制。 2.1 调制原理 用基带信号)(t f 对高频载波的瞬时频率进行控制的调制方式叫做调频，在数字调制系统中则称为频移键控(FSK)。频移键控在数字通信中是使用较早的一种调制方式，这种方式实现起来比较容易，抗干扰和抗衰落的性能也较强。其缺点是占用频带较宽，频带利用串不够高，因此，额移键控主要应用于低、中速数据的传输，以及衰落信道与频带较宽
信源编码和信源解码 字、符号、图形、图像、音频、视频、动画等各种数据本身的编码通常称为信源编码，信源编码标准是信息领域的基础性标准。无论是数字电视、激光视盘机，还是多媒体通信和各种视听消费电子产品，都需要音视频信源编码这个基础性标准。 大家用电脑打字一定很熟悉，当你用WORD编辑软件把文章（DOC文件）写完，存好盘后，再用PCTOOLS工具软件把你的DOC文件打开，你一定能看到你想象不到的东西，内容全是一些16进制的数字，这些数字叫代码，它与文章中的字符一一对应。现在我们换一种方法，用小画板软件来写同样内容的文章。你又会发现，用小画板软件写出来的BMP文件，占的内存（文件容量）是DOC文件的好几十倍，你知道这是为什么？原来WORD编辑软件使用的是字库和代码技术，而小画板软件使用的是点阵技术，即文字是由一些与坐标位置决定的点来组成，没有使用字库，因此，两者在工作效率上相差几十倍。[信源]->[信源编码]->[信道编码]->[信道传输+噪声]->[信道解码]->[信源解码]->[信宿] 目前模拟信号电视机图像信号处理技术就很类似小画板软件使用的点阵技术，而全数字电视机的图像信号处理技术就很类似WORD编辑软件使用的字库和代码技术。实际上这种代码传输技术在图文电视中很早就已用过，在图文电视机中一般都安装有一个带有图文字库的译码器，对方发送图文信号的时候只需发送图文代码信息，这样可以大大地提高数据传输效率。 对于电视机，显示内容是活动图像信息，它哪来的“字库”或“图库”呢？这个就是电视图像特有的“相关性”技术问题。原来在电视图像信号中，90%以上的图像信息是互相相关的，我们在模拟电视机中使用的Y/C（亮度信号/彩色信号）分离技术，就是利用两行图像信号的相关性，来进行Y/C分离。如果它们之间内容不相关，Y/C信号则无法进行分离。全数字信号电视也一样，如果图像内容不相关，则图像信号压缩也就要免谈。如果图像内容有相关性，那么上一幅图像的内容就相当于下一幅图像的“图形库”，或一幅图像中的某部分就是另一部分的“图形库”，因此，下一幅图像或图像中某一个与另一个相关的部分，在发送信号时，只需发送一个“代码”，而传送一个“代码”要比送一个“图形库”效率高很多，显示时也只需把内容从“图形库”中取出即可，这就是MPEG图像压缩的原理。 利用电视信号的相关性，可以进行图像信号压缩，这个原理大家已经明白，但要找出图像相关性的内容来，那就不是一件很容易的事情，这个技术真的是太复杂了。为了容易理解电视图像的相关性，我们不妨设想做一些试验，把图像平均分成几大块，然后每一块，每一块的进行比较，如果有相同的，我们就定义它们有相关性；如果没有相同的，我们继续细分下去，把每大块又分成几小块，一直比较下去，最后会发现，块分得越细，相同块的数目就越多，但分得太细需要的代码也增多，所以并不是分得越细越好。我们在看VCD的时候经常发现，如果VCD读光盘数据出错，就会在图像中看到“马赛克”，这些“马赛克”就是图像分区时的最小单位，或把数码相片进行放大，也可以看到类似“马赛克”的小区，这就是数码图像的最小“图形库”，每个小“图形库”都要对应一个“代码”。 在单幅图像中找出相关性的几率并不是很大的，所以对单幅图像的压缩率并不很大，这个通过观察数码相片的容量就很容易明白，如果把寻找相关性的范围扩大到两幅图像，你就会发现，具有相关性的内容太多了，这是因为运动物体对于人的眼睛感觉器官来说，是很慢
《信息论与信源编码》实验报告 1、实验目的 (1) 理解信源编码的基本原理； (2) 熟练掌握Huffman编码的方法； (3) 理解无失真信源编码和限失真编码方法在实际图像信源编码应用中的差异。 2、实验设备与软件 (1) PC计算机系统 (2) VC++6.0语言编程环境 (3) 基于VC++6.0的图像处理实验基本程序框架imageprocessing_S (4) 常用图像浏览编辑软件Acdsee和数据压缩软件winrar。 (5) 实验所需要的bmp格式图像（灰度图象若干幅） 3、实验内容与步骤 (1) 针对“图像1.bmp”、“图像2.bmp”和“图像3.bmp”进行灰度频率统计（即计算图像灰度直方图），在此基础上添加函数代码构造Huffman码表，针对图像数据进行Huffman编码，观察和分析不同图像信源的编码效率和压缩比。 (2) 利用图像处理软件Acdsee将“图像1.bmp”、“图像2.bmp”和“图像 3.bmp”转换为质量因子为10、50、90的JPG格式图像（共生成9幅JPG图像），比较图像格式转换前后数据量的差异，比较不同品质因素对图像质量的影响； (3) 数据压缩软件winrar将“图像1.bmp”、“图像2.bmp”和“图像3.bmp”分别生成压缩包文件，观察和分析压缩前后数据量的差异； (4) 针对任意一幅图像，比较原始BMP图像数据量、Huffman编码后的数据量（不含码表）、品质因素分别为10、50、90时的JPG文件数据量和rar压缩包的数据量，分析不同编码方案下图像数据量变化的原因。 4、实验结果及分析 (1)在VC环境下，添加代码构造Huffman编码表，对比试验结果如下： a.图像1.bmp：
第3章无失真信源编码 教学内容包括：信源编码概述、定长编码、变长编码常用的信源编码 3．1信源编码概述 讲课内容： 1、信源编码及分类 2、信源编码定义 3、信源编码基础 1、给出编码译码示意图 2、编码：信源编码、信道编码。 信源 = 信息 + 冗余 信源编码：针对信源的编码，能更加有效地传输、存储信息。编码后尽可能减少所需信息的损失，提高编码后携带信息的效率。 3、信源编码的主要任务 a、减少冗余 b、提高编码效率 4、信源编码的基本途径 a、解除相关性
b 、概率均匀化 4、信源编码的两个基本定理 a 、无失真编码定理（可逆编码的基础、只适用于离散信源） b 、限失真编码定理（连续信源） 5、信源编码的分类 a 、冗余度压缩编码，可逆压缩，经编译码后可以无失真地恢复。 统计特性：Huffman 编码，算术编码Arithmetic Coding b 、熵压缩编码，不可逆压缩 压缩超过一定限度，必然带来失真 允许的失真越大，压缩的比例越大 译码时能按一定的失真容许度恢复，保留尽可能多的信息 本章讨论离散信源无失真编码，包括定长、变长无失真编码定理和编码方法，以及几种实用的无失真信源编码，如香农编码、费诺编码、哈夫曼编码等。 6、信源编码的定义 首先给出信源编码的定义， 信源编码就是从信源符号到码符号的一种映射f ，它把信源输出的符号u i 变换成码元序列w i 。 f ：u i ——>w i ，i =1，2，…，q 译码是从码符号到信源符号的映射。若要实现无失真编码，这种映射必须是一一对应的、可逆的。 给出马元、码字、马块、二元编码的概念
结合P34例3.1.1给出编码的分类如下： 给出平均码长的定义和公式。 结合P34例3.1.1进行二进制信源的简单编码，并计算平均码长。 3．2克拉夫特（Kraft）不等式 讲课内容： 1、变长码的码字分离技术 2、即时码的引入和码树表示方法 3、即时码与克拉夫特不等式 1、变长码的码字分离技术 a、同步信号 b、可分离码字 2、即时码和码树表示法 即时码是一种实时的惟一可译码，这类码无需另加同步信息，就能在接收端被分离出来。在信源编码和数据压缩中，这类编码无论在理论还是在实际中都有很大意义，对较简单的信源，可以很方便地用码树法直接且直观地构造出可以分离码（异前缀码）。
第10讲 信源编码的性能指标 1. 无失真信源编码的冗余度压缩原理 为了压缩冗余度，必须改造信源输出符号的统计特性。一方面要尽量提高任一时刻输出符号的概率分布的均匀性，另一方面要尽量消除前后输出符号的统计相关性。因此，无失真信源编码的实质是将信源尽可能地改造为均匀分布的无记忆信源。这种信源的通信效率是最大的。改造后的新信源是由原信源和编码器共同组成的，称为编码后的信源。设f 是信源S 的一个编码，X 是编码后的信源，则三者之间的关系表示如下 f S X ??→ 信源编码f 所用的码元可以与信源S 的符号不同，一般是某个信道的输入符号。 从数据处理这个角度来看，编码f 是一个数据处理器，输入信源S 的数据，输出信源X 的数据。从通信的角度看，编码f 是一个信道，输入信源S 的数据，输出信源X 的数据。 无失真信源编码的目的是无损压缩，即用尽可能少的数据表示数据中的所有信息，不能破坏数据原有信息。这相当于提高信息传输效率，使之接近于1。因此，度量无失真编码的压缩性能可以看编码后信息传输效率，称为编码效率。编码效率越接近于1，无损压缩性能越好。下面介绍信源编码的5个性能指标，包括平均码长、码率、编码效率、编码冗余度和压缩率。 2. 平均码长 平均码长是信源编码的一个关键的性能指标。在已知信源熵的前提下，根据平均码长，可以计算出无损压缩编码的码率和编码效率。 定义2.1 设f 是一个N-分组码，各码字的码长分别记为,1i l i q ≤≤，对应的N 长分组的概率为i p ，则f 的平均码长定义为 11(/ q i i i L p l N ==∑码元信源) 注：在有的教材中，当平均码长的单位转化为“比特/信源”时，称为编码速率。本课程用不到这个概念。 讨论：用平均码长估计编码后的数据长度 设S 是一个离散无记忆信源，:f S C →是信源S 的一个编码，其平均码长为L 。令12n s s s s =?是一个信源序列。假设用f 对该数据进行编码，试估计编码后码元序列的长度。 对于信源数据12n s s s s =?，我们令L i 表示信源符号s i 所对应的码字f (s i )的长度，则编码后的数据长度为12+++n L L L 。我们把L i 视为随机变量，则对于任何i ，我们有[]i E L L =。 因为S 是离散无记忆的，所以{L i }是独立同分布随机序列。根据辛钦大数定理，我们有
WCDMA技术的信源编码和信道编码 WCDMA网络是全球商用时间最长，技术成熟、可演进性最好的，全球第一个3G商用网络就是采用WCDMA制式。我国采用了全球广泛应用的WCDMA 3G技术，目前已全面支持HSDPA/HSUPA，网络下载理论最高速率达到14.4Mbps。2G无线宽带的最高下载速度约为150Kbps，我国的WCDMA网络速度几乎是2G网络速度的100倍。支持业务最广泛，基于WCDMA成熟的网络和业务支撑平台，其所能实现的3G业务非常丰富。无线上网卡、手机上网、手机音乐、手机电视、手机搜索、可视电话、即时通讯、手机邮箱、手机报等业务应用可为用户的工作、生活带来更多的便利和美妙享受。终端种类最多，截至2008年底，支持WCDMA商用终端的款式数量超过2000款，全球主要手机厂商都推出了为数众多的WCDMA手机。国内覆盖广泛，截至2009年9月28日，联通3G网络已成功在中国大陆285个地市完成覆盖并正式商用，新覆盖的城镇数量还在不断增长中，联通3G网络和业务已经覆盖了中国绝大部分的人口和地域。开通国家最广，可漫游的国家和地区最多，截至2008年底，全球已有115个国家开通了264个WCDMA网络，占全球3G商用网络的71.3%。截至2009年9月28日，中国联通已与全球215个国家的395个运营商开通了。 WCDMA的优势明显，技术成熟，在WCDMA物理层来看，信源编码和信道编码是WCDMA技术的基础，信源编码是采用语音编码技术，AMR语音编码技术是由基于变速率多模式语音编码技术发展而来，主要原理在于：语音编码器模型由一系列能提供多种编码输出速率与合成质量的声码器构成AMR支持八种速率。鉴于不同信源比特对合成语音质量的影响不同AMR 语音编码器输出的话音比特在传输之前需要按照它们的主观重要性来排序分类，分别采用不同保护程度的信道编码对其进行编码保护。 信源编码AMR模式自适应选择编码器模式以更加智能的方式解决信源和信道编码的速率匹配问题，使得无线资源的配置和利用更加灵活和高效。实际的语音编码速率取决于信道条件，它是信道质量的函数。而这部分工作是解码器根据信道质量的测量参数协助基站来完成，选择编码模式，决定编码速率。原则上在信道质量差时采用低速率编码器，就能分配给信道编码更多的比特冗余位来实现纠错，实现更可靠的差错控制。在信道质量好、误比特率较低时采用高速率编码器，能够提高语音质量。在自适应过程中，基站是主要部分，决定上下行链路采用的速率模式。 信源编码AMR编码器原理，WCDMA系统的AMR声码器共有八种编码模式，它们的输出比特速率不同。为了降低成本和复杂度，八种模式都采用代数码本激励线性预测技术，它们编码的语音特征参量和参量提取方法相同，不同的是参量的量化码本和量化比特数。AMR语音编码器根据实现功能大致可分为LPC分析、基音搜索、代数码本搜索三大部分。其中LPC分析完成的主要功能是获得10阶LPC滤波器的-.个系数，并将它们转化为线谱对参数，并对LSF进行量化；基音搜索包括了开环基音分析和闭环基音分析两部分，以获得基音延迟和基音增益这两个参数；代数码本搜索则是为了获得代数码本索引和代数码本增益，还包括了码本增益的量化。
信源编码技术 为什么要进行信源编码 通信系统就是将产生的信息传输到目的地。信源有各种不同的形式，
如广播的信源是语音或音乐，电视的信源是活动图像，这些信源的输 出都是模拟信号，称为模拟信源。计算机和存储器件（磁盘或光盘） 输出的是离散信号，称为数字信源。在数字系统中传输的都是数字信 息，不论是模拟信源还是离散信源其输出都必须转化为可以传输的数 字信息，这种转化通常是由信源编码器来完成的。 信源编码在移动通信中也称语音编码。 ? 信源编码的作用是用信道能传输的符号来表示信源发出的信息，在不 失真或一定失真的条件下用尽可能少的符号传送信源消息，提高信息 传输率。信源编码（如语音）对数字传输非常重要，而且对无线通信
来说显得尤其重要。
PDF created with pdfFactory Pro trial version https://www.doczj.com/doc/af5581807.html,
?
随着数字电话和数据通信容量日益增长的迫切要求，而又 不希望明显降低传送话音信号的质量，除了提高通信带宽之外， 对话音信号进行压缩是提高通信容量的重要措施。
?在移动通信中，稀少而又昂贵的无线信道更一定要和必 须要对传输的各种信号源进行压缩，以提高通信容量。
PDF created with pdfFactory Pro trial version https://www.doczj.com/doc/af5581807.html,
模拟信源（语音）编码的种类
波形编码、参量编码、混合编码 一般来说，波形编码器的话音质量高，但数据率也很高；参量编码器的数据 率很低，产生的合成话音的音质有待提高；混合编码器同时使用参量编译码技 术和波形编译码技术，数据率和音质介于它们之间。 （1）波形编码 波形编码比较简单，编码前采样定理对模拟语音信号进行量化，然后进行 幅度量化，再进行二进制编码。解码器作数／模变换后再由低通滤波器恢复出现 原始的模拟语音波形，这就是最简单的脉冲编码调制（PCM），也称为线性 PCM。可以通过非线性量化，前后样值的差分、自适应预测等方法实现数据压 缩。波形编码的目标是让解码器恢复出的模拟信号在波形上尽量与编码前原始波 形相一致，也即失真要最小。波形编码的方法简单，数码率较高，在64kbit/s至 32kbit/s之间音质优良，当数码率低于32kbit/s的时候音质明显降低，16 kbit/s时 音质非常差。
PDF created with pdfFactory Pro trial version https://www.doczj.com/doc/af5581807.html,
关于相关信源的码率界限及其编码的评述 摘要 随着多媒体移动通信技术的快速发展，人们对信息可靠且有效的传输需求日益增长，但是由于受到无线带宽资源和多径衰落等因素的影响，很难实现高速可靠的数据传输。要解决这一矛盾我们必须采用全新的通信理论及技术。本文从信息论的角度对相关信源编码的相关理论进行了介绍，包括单符号信源编码的理论基础，相关信源的编码理论和码率界限和其编码。 关键字：信源编码，相关信源编码，分布式信源编码，Slepian-Wolf编码理论， Abstract With the development of multimedia mobile communication technologies, the demand for reliable and efficient transmission of information is growing. However, due to the impact of limited wireless bandwidth resources, multipath fading and other factors, it is difficult to achieve high-speed and reliable data transmission. To solve this problem we must adopt some new communication theories and technologies.This article makes an introduction to the related theories of correlated source coding fromthe perspective of information-theoretic security, including the basic theory of single symbol source coding and correlated source coding. KEYWORD：Source Coding，Correlated Source Coding，Distributed Source Coding，CodingTheory of Slepian-Wolf 1.引言 信源编码是一种以提高通信有效性为目的而对信源符号进行的变换，或者说为了减少或消除信源冗余度而进行的信源符号变换。具体说，就是针对信源输出符号序列的统计特性来寻找某种方法，把信源输出符号序列变换为最短的码字序列，使后者的各码元所载荷的平均信息量最大，同时又能保证无失真地恢复原来的符号序列。信源编码的作用之一是设法减少码元数目和降低码元速率，即通常所说的数据压缩；作用之二是将信源的模拟信号转化成数字信号，以实现模拟信号的数字化传输。最原始的信源编码就是莫尔斯电码，另外还有ASCII码和电报码都是信源编码。但现代通信应用中常见的信源编码方式有：Huffman编码、算术编码、L-Z编码，这三种都是无损编码，另外还有一些有损的编码方式。信源编码的目标就是使信源减少冗余，更加有效、经济地传输，最常见的应用形式就是压缩。 而相关信源编码与传统信源编码不同。它一般采用信道码编码技术得以实现，因而可以看作是一种联合信源-信道编码技术。虽然分布式编码理论早在二十多年前就已经提出，但Slepian-Wolf理论[1]和Wyner-Ziv理论[2]只给出了信源编码的理论根据，并没有给出一种具体的实现方法，因此这方面的进展并不显著。直到
信源编码 一种以提高通信有效性为目的而对信源符号进行的变换；为了减少或消除信源剩余度而进行的信源符号变换。为了减少信源输出符号序列中的剩余度、提高符号的平均信息量，对信源输出的符号序列所施行的变换。具体说，就是针对信源输出符号序列的统计特性来寻找某种方法，把信源输出符号序列变换为最短的码字序列，使后者的各码元所载荷的平均信息量最大，同时又能保证无失真地恢复原来的符号序列。 既然信源编码的基本目的是提高码字序列中码元的平均信息量，那么，一切旨在减少剩余度而对信源输出符号序列所施行的变换或处理，都可以在这种意义下归入信源编码的范畴，例如过滤、预测、域变换和数据压缩等。当然，这些都是广义的信源编码。 一般来说，减少信源输出符号序列中的剩余度、提高符号平均信息量的基本途径有两个：①使序列中的各个符号尽可能地互相独立；②使序列中各个符号的出现概率尽可能地相等。前者称为解除相关性，后者称为概率均匀化。 信源编码的一般问题可以表述如下： 若某信源的输出为长度等于M的符号序列集合式中符号A为信源符号表，它包含着K个不同的符号，A=｛ɑk|k=1,…,K｝，这个信源至多可以输出KM个不同的符号序列。记‖U‖=KM。所谓对这个信源的输出进行编码，就是用一个新的符号表B的符号序列集合V来表示信源输出的符号序列集合U。若V的各个序列的长度等于N，即式中新的符号表B共含L个符号，B=｛bl|l=1,…,L｝。它总共可以编出LN个不同的码字。类似地,记‖V‖＝LN。为了使信源的每个输出符号序列都能分配到一个独特的码字与之对应，至少应满足关系‖V‖＝LN≥‖U‖＝KM 或者N/M≥logK/logL 。 假若编码符号表B的符号数L与信源符号表A的符号数K相等，则编码后的码字序列的长度N必须大于或等于信源输出符号序列的长度M；反之，若有N＝M，则必须有L≥K。只有满足这些条件，才能保证无差错地还原出原来的信源输出符号序列(称为码字的唯一可译性)。可是，在这些条件下，码字序列的每个码元所载荷的平均信息量不但不能高于，反而会低于信源输出序列的每个符号所载荷的平均信息量。这与编码的基本目标是直接相矛盾的。下面的几个编码定理，提供了解决这个矛盾的方法。它们既能改善信息载荷效率，又能保证码字唯一可译。