下载文档原格式
书中： 1.信息科学，材料科学，能源科学仪器被称为当代的“三大支柱”。
2.带宽与数据传输速率 信道带宽与数据传输速率的关系可以奈奎斯特(Nyquist)准则与香农(Shanon)定律描述。
奈奎斯特准则指出：如果间隔为π/ω(ω=2πf),通过理想通信信道传输窄脉冲信号，则前后码元之间不产生相互窜扰。
因此，对于二进制数据信号的最大数据传输速率Rmax 与通信信道带宽B （B=f,单位Hz)的关系可以写为：Rmax ＝2.f(bps)；对于二进制数据若信道带宽B=f=3000Hz ，则最大数据传输速率为6000bps 。
香农定理则描述了有限带宽、有随机热噪声信道的最大传输速率与信道带宽、信噪比之间的关系。
香农定理指出：在有随机热噪声的信道上传输数据信号时，数据传输速率Rmax 与信道带宽B 、信噪比S/N 的关系为：Rmax ＝B.log2(1+S/N) 3.自信息量的性质：非负性、必然事件信息量为0、不可能事件信息量为无穷、信息量是概率的单调递减函数。
4.当X 和Y 相互独立时，互信息为0.5.信源熵表征信源的平均不确定度，平均自信息量是消除信源不确定度所需要的信息的量度。
6信源熵H(X)与信息率R 和信道容量C 的关系：不论何种信道，只要信息率R 小鱼信道容量C ，总能找到一种编码，能在信道上以任意小的错误概率和任意接近于C 的传输率来传送信息。
反之，若R>C,则传输总要产生失真。
又由无失真信源编码定理可知，要做到几乎无失真信源编码，信息率R 必须大于信源熵H （X ）。
故三者的关系为：H(x)<=R<=C7.保真度准则下的信源编码定理：即译码平均失真度大于允许失真度。
8.香农三个基本编码定理：无失真信源编码定理、信道编码定理和限失真信源编码定理。
三个基本概念：信源熵、信道容量和信息率失真函数。
9.信源编码、信道编码和安全编码信源编码是以提高通信有效性为目的的编码。
通常通过压缩信源的沉余度来实现。
第一章1.通信系统的基本模型:2.信息论研究内容：信源熵，信道容量，信息率失真函数，信源编码，信道编码，密码体制的安全性测度等等第二章１.自信息量：一个随机事件发生某一结果所带的信息量。
２.平均互信息量：两个离散随机事件集合X 和Y ，若其任意两件的互信息量为 I （Xi;Yj ），则其联合概率加权的统计平均值，称为两集合的平均互信息量，用I （X;Y ）表示３.熵功率：与一个连续信源具有相同熵的高斯信源的平均功率定义为熵功率。
如果熵功率等于信源平均功率，表示信源没有剩余；熵功率和信源的平均功率相差越大，说明信源的剩余越大。
所以信源平均功率和熵功率之差称为连续信源的剩余度。
信源熵的相对率(信源效率)：实际熵与最大熵的比值信源冗余度：0H H ∞=ηηζ-=1意义：针对最大熵而言，无用信息在其中所占的比例。
３.极限熵：平均符号熵的N 取极限值，即原始信源不断发符号，符号间的统计关系延伸到无穷。
４.５.离散信源和连续信源的最大熵定理。
离散无记忆信源，等概率分布时熵最大。
连续信源，峰值功率受限时，均匀分布的熵最大。
平均功率受限时，高斯分布的熵最大。
均值受限时，指数分布的熵最大６.限平均功率的连续信源的最大熵功率：称为平均符号熵。
定义：即无记忆有记忆N X H H X H N X H X NH X H X H X H N N N N N N )()()()()()()(=≤∴≤≤若一个连续信源输出信号的平均功率被限定为p ，则其输出信号幅度的概率密度分布是高斯分布时，信源有最大的熵，其值为1log 22ep π.对于N 维连续平稳信源来说，若其输出的N 维随机序列的协方差矩阵C 被限定，则N 维随机矢量为正态分布时信源的熵最大，也就是N 维高斯信源的熵最大，其值为1log ||log 222N C e π+ 7.离散信源的无失真定长编码定理：离散信源无失真编码的基本原理原理图说明： （1） 信源发出的消息：是多符号离散信源消息，长度为L,可以用L 次扩展信源表示为： X L =(X 1X 2……X L )其中，每一位X i 都取自同一个原始信源符号集合（n 种符号）： X={x 1，x 2，…x n } 则最多可以对应n L 条消息。
信息论与编码原理信源编码
信息论是一门涉及了信息处理的学科，它研究信息生成、传输、接收、存储、利用等过程的一般性理论。
它探讨涉及信息的一切问题，强调掌握
信息所必需的体系性的体系知识，其主要内容有：信息的定义、信息测度，信息的熵，信息编码，信息的可计量性，信息传输，信息和随机性，信息
编译，信息安全，信息认证，解码准确性，信息的保密，校验，系统复杂性，信息的加密等。
信源编码是一种在信息论中常用的编码技术，其目的是用最少的信息
量表示最多的信息内容，以提高信息发送效率。
它主要包括概率信息源编
码和确定性信息源编码两种。
概率信息源编码是根据一个信息源的发生概率来编码，是根据发出信
息的概率来决定编码方式的。
它根据一个消息源中发出的不同信息的概率
来决定信息的编码，并确定每种信息的编码长度。
在这种情况下，越高概
率的信息，编码长度越短。
确定性信息息源编码，是根据一个消息源中出现特定信息的概率确定
编码方式的。
在这种情况下，编码长度取决于消息源的熵，也就是期望的
信息量。
信源编码的基本思想是以最小的编码来传输最多的信息量。
一.填空题（每空1分，共20分）1.香农信息论的三个基本概念分别为_______________ 、_____________ 、 ____________ 。
2•对离散无记忆信源来说，当信源呈_______________ 分布情况下，信源熵取最大值。
3•写出平均互信息的三种表达公式________________ 、_____________ 、 ____________ 。
4.若连续信源输出的平均功率和均值被限定，则其输出信号幅度的概率密度函数为______________ 时，信源具有最大熵值；若连续信源输出非负信号的均值受限，则其输出信号幅度呈____________ 分布时，信源具有最大熵值。
5. ________________________________ 信道容量是为了解决通信的_________________________ 问题，而信息率失真函数是为了解决通信的___________ 问题。
6. ______________________________________________________ 费诺编码比较适合于的信源。
7•无记忆编码信道的每一个二元符号输出可以用多个比特表示，理想情况下为实数，此时的无记忆二进制信道又称为__________________________ 。
&差错控制的4种基本方式是：_________________ 、_____________ 、 ____________ 、______________ 。
9 . （n,k）线性码能纠t个错误，并能发现I个错误（l>t）,码的最小距离为：10.循环码码矢的i次循环移位等效于将码多项式乘___________________ 后再模______________ 。
二.简答题（每小题5分，共30分）1 •分别说明平均符号熵与极限熵的物理含义并写出它们的数学表达式。
2•写出二进制均匀信道的数学表达式，并画出信道容量C与信道转移概率 p的曲线图。
信源编码概述信源编码是信息论的一个重要概念，用于将源信号转换成一系列编码的比特流。
在通信系统中，信源编码被广泛用于提高信息的传输效率和可靠性。
本文将介绍信源编码的基本概念、常见的信源编码方法和应用。
基本概念信源在通信系统中，信源是指产生信息的原始源头。
信源可以是任何可以生成离散或连续信号的设备或系统，比如人的语音、文本、图像等等。
信源编码信源编码是指将信源产生的原始信号转换成一系列编码的比特流。
它的主要目的是通过消除冗余、提高信号的压缩率以及提高传输的可靠性。
码字信源编码中的最小单位被称为码字（codeword）。
码字由编码器根据特定规则生成，每个码字可以表示一个或多个原始信号。
码长码长是指每个码字中的比特数。
它决定了编码器产生的每个码字传输所需的比特数，码长越短，传输效率就越高。
码率码率是指信源编码中每秒传输的码字数量。
它可以用比特/秒（bps）来表示，码率越高表示每秒传输的信息量越大。
常见的信源编码方法均匀编码均匀编码是一种简单的信源编码方法，它将每个原始信源符号映射到固定长度的码字上。
均匀编码适用于信源符号概率分布均匀的情况，例如二进制信源。
霍夫曼编码霍夫曼编码是一种基于信源符号概率分布的编码方法。
它通过将频率较高的信源符号映射到较短的码字，频率较低的信源符号映射到较长的码字来实现压缩。
高斯混合模型编码高斯混合模型编码是一种适用于连续信源的编码方法。
它假设源信号是由多个高斯分布组成的，通过对这些高斯分布进行建模来实现有效的压缩。
游程编码游程编码是一种用于压缩离散信号的编码方法，它基于信源连续出现相同符号的特性。
游程编码将连续出现的相同符号替换为一个计数符号和一个重复符号，从而实现压缩。
信源编码的应用数据压缩信源编码在数据压缩中起着关键作用。
通过使用有效的信源编码方法，可以大大减少传输数据的比特数，从而提高数据传输的效率和速率。
影音编码在数字媒体领域，信源编码常用于音频和视频的压缩。
通过采用适当的信源编码方法，可以减小音频和视频文件的大小，从而节省存储空间和传输带宽。
信息论的旅程本章将着重讨论允许一定失真的条件下可把信源信 息压缩到什么程度。
第七章 限失真信源编码三、信源的输出中含 有多少信息？四、传输信息的最高速 率（信道容量）2009-12-22五、无失真信源编码 六、有噪信道编码 九、实际信道编码方法七、限失真信源编码2主要内容1.1 概述 失真产生的原因信道噪声的干扰使得信息传输过程会产生差错； 当信息传输率超过信道容量时，必然产生差错； 信源熵是信源无失真压缩的极限，若再继续压缩 则会带来失真。
基本概念1. 概述 1. 概述 2. 系统模型 2. 系统模型失真测度 信息率失真函数 限失真信源编码定理3失真存在的合理性信宿的灵敏度和分辨率是有限的，不要求绝对无 失真； 允许失真的存在，可以提高信息传输率，从而降 低通信成本。
41.1 概述（续）1.2 系统模型 – 只讨论信源编码问题信源 编码 信道 编码 信道 干扰 信道 译码 信源 译码无失真信源压缩的极限：信源的信息熵 本章的研究内容在允许一定程度失真的条件下，能够把信 源信息压缩到什么程度，即最少需要多少 比特才能描述信源。
研究方法用研究信道的方法，来研究有失真信源压 缩问题。
5信源X 试验信道P(Y | X )Y 失真信源无失真 信源编码信道 编码61主要内容失真函数 d (x, y )2.1 失真测度 – 失真函数基本概念非负函数；函数形式可根据需要定义 1. 失真函数 1. 失真函数 2. 平均失真 2. 平均失真 定量描述发出符号与接收符号之间的差异 （失真）x2 L ⎡ X ⎤ ⎡ x1 ⎢ P ⎥ = ⎢ p(x ) p(x ) L ⎣ ⎦ ⎣ 1 2 xn ⎤ p(xn )⎥ ⎦失真测度信息率失真函数 限失真信源编码定理7Y : {y1 , y 2 , L , y m }失真矩阵⎡ d (x1,y1 ) d ( x1,y2 ) L d ( x1,ym )⎤ ⎢d ( x ,y ) d ( x ,y ) L d ( x ,y )⎥ 2 2 2 m ⎥ D=⎢ 2 1 ⎢ M ⎥ M M ⎢ ⎥ d (xn ,y1 ) d ( xn ,y2 ) L d ( xn ,ym )⎦ ⎣82.1 失真测度 – 失真函数（续）常用的失真函数有： （1） 汉明失真2.1 失真测度 – 失真函数 – 例题例7.1 设信道输入 X = {0,1}，输出 Y = {0, ?,1} ，规定失 真函数 d(0, 0) = d(1, 1) = 0， d(0, 1) = d(1, 0) = 1， d(0, ?) = d(1, ?) = 0.5，求 D 。
1.信源编码信源编码包括无失真信源编码和有失真信源编码，其中，无失真信源编码就是我们所说的Shannon第一定理。
有失真信源编码对于模拟信号来说就是模拟信号的数字化过程，对于数字信号来说，就是一种“舍小放大”的过程。
1.1.Shannon第一定理（无失真）这种编码能达到压缩需要传输的码元总量的目的，但是，其本质是对信息冗余度的压缩，信息没有任何的损失，失真压缩（编码）就不是如此了，其信息是有损失的。
1.1.1.平均码长Vs编码效率对于等长编码，其平均码长就是等长编码的码长。
对于不等长编码，其平均码长就是每一个码字之码长的数学期望。
平均码长是衡量一个编码方案好坏的标尺。
1.1.2.Shannon第一定理无失真信源编码定理：对于一个信源S，我们要想对其实现无失真信源编码，则必须满足下面不等式：对于任何一个编码，都对应一个编码效率很明显，编码效率越高越好且编码效率永远小于或者等于1，我们希望编码效率在小于1的前提情况下，尽量的接近1。
Shannon第一定理包括了等长编码定理和不等长编码定理。
这个定理的证明过程相对简单。
1.1.3.Shannon编码1.1.4.Huffman编码％来源网络，调试通过 2009-4-22function [h,l]=huffman(p)if (length(find(p<0))~=0)error('Not a prob,negative component');endif (abs(sum(p)-1)>10e-10)error('Not a prob.vector,component do not add to 1')endn=length(p);q=p;m=zeros(n-1,n);for i=1:n-1[q,l]=sort(q);m(i,:)=[l(1:n-i+1),zeros(1,i-1)];q=[q(1)+q(2),q(3:n),1];endfor i=1:n-1c(i,:)=blanks(n*n);endc(n-1,n)='0';c(n-1,2*n)='1';for i=2:n-1c(n-i,1:n-1)=c(n-i+1,n*(find(m(n-i+1,:)==1))-(n-2):n*(find(m(n-i+1,:) ==1)));c(n-i,n)='0';c(n-i,n+1:2*n-1)=c(n-i,1:n-1);c(n-i,2*n)='1';for j=1:i-1c(n-i,(j+1)*n+1:(j+2)*n)=c(n-i+1,n*(find(m(n-i+1,:)==j+1)-1)+1:n*find (m(n-i+1,:)==j+1));endendfor i=1:nh(i,1:n)=c(1,n*(find(m(1,:)==i)-1)+1:find(m(1,:)==i)*n);ll(i)=length(find(abs(h(i,:))~=32));endl=sum(p.*ll);1.1.5.Fano编码％调制通过，但是代码太杂、太乱，需要发时间整理。
第七章保真度准则下的信源编码7．1．1 失真度(失真函数)与平均失真度1．离散信源单符号的失真度与平均失真度设离散无记忆信源输出随机变量U，U={u1，u2，…，u r}，概率分布为P(u)=[P(u1)，P(u2)，…，P(u r)]，其通过某信道传输到信宿，接收的随机变量为V，V={v1，v2，…，v s}。
(1)离散信源单个符号的失真度它是对应于每一对(u，v)所指定的一个非负函数3．连续信源的失真度和平均失真度设连续信源输出随机变量U，U取值于实数域R，其概率密度分布为p(u)。
通过某连续信道传输到信宿，接收的随机变量为V，V也取值于实数域R。
(1)连续信源的失真度7．1．2 信息率失真函数1．离散信源的信息率失真函数设离散信源输出随机变量U，其概率分布为P(u)，接收随机变量为V，失真测度为d(u，v)，则信息率失真函数7．1．3 信息率失真函数的特性7．1．4 R(D)函数的参量表述及其计算1．离散信源已知信源的概率分布P(u)和失真函数d(u，v)，离散信源的R(D)函数是选取试验信道P(v|u)满足斜率S必为非正的。
当D由D min增大到D max时，S的数值也随之S min= -∞增至S max=0。
除某些特例外，S在D=D max处是不连续的，从某一负值跳到零。
2．连续信源已知连续信源概率密度函数p(u)和失真函数d(u，v)，连续信源的R(D)函数是在概率密度函数p(v|u)满足3．差值失真度下连续信源的香农下界限连续信源U，u∈R，概率密度函数p U(u)。
其失真函数为差值量度的函数4．高斯波形信源信源输出的是一个均值为零的平稳高斯随机过程{U(t)，-∞<t<∞}。
在均方误差失真度下，信息率失真函数和平均失真度的参量表达式7．1．5 常见信源的R(D)函数1．二元离散对称信源U7．1．6 保真度准则下信源编码定理(香农第三定理)1．保真度准则下信源编码定理及其逆定理保真度准则下信源编码定理又称限失真信源编码定理：离散信源的信息率失真函数为R(D)，并有有限的失真函数。
