下载文档原格式
判断30名词解释4*5计算3道20分第一章1、自信息和互信息P6 公式2、信道P9 概念第二章1、离散平稳信源P18概念2、离散无记忆信源P19概念3、时齐马尔可夫信源P20概念4、自信息P22概念5、信息熵P25概念6、信息熵的基本性质P281)对称性2)确定性3)非负性4)扩展性5)可加性6)强可加性7)递增性8)极值性9)上凸性7、联合熵条件熵P42公式P43例题8、马尔克夫信源P54公式P55例题9、信源剩余度P5810、熵的相对率信源剩余度P5811、课后作业：2、4、13、21、22第三章1、有记忆信道P73概念2、二元对称信道BSC P743、前向概率、后向概率、先验概率、后验概率P764、条件熵信道疑义度、平均互信息P775、平均互信息、联合熵、信道疑义度、噪声熵计算公式P786、损失熵噪声熵 P797、平均互信息的特性P821)非负性2)极值性3)交互性4)凸状性8、信息传输率R P869、无噪无损信道P87概念10、有噪无损信道P88概念11、对称离散信道 P89概念12、对称离散信道的信道容量P90公式张亚威2012/06/20张亚威2012/06/2116、 数据处理定理 P113定理 17、 信道剩余度 P118公式 18、 课后作业：1、 3、 9第五章1、 编码：实质上是对信源的原始符号按一定的数学规则进行的一种变换。
2、 等长码 P172概念3、 等长信源编码定理 P1784、 编码效率 P1805、 克拉夫特不等式 P1846、 香农第一定理 P1917、 码的剩余度 P194第六章1、 最大后验概率准则 最小错误概率准则 P2002、 最大似然译码准则 P2013、 费诺不等式 P2024、 信息传输率（码率） P2055、 香农第二定理 P2156、 课后习题 3、第八章1、 霍夫曼码 最佳码 P2732、 费诺码 P2793、 课后习题 11、第八章1、 编码原则 译码原则 P3072、 定理9.1 P3133、 分组码的码率 P314公式4、 课后习题 3、一、 填空题1、 在现代通信系统中，信源编码主要用于解决信息传输中的 有效性 ，信道编码主要用于解决信息传输中的 可靠性 ，加密编码主要用于解决信息传输中的 安全性 。
书中：1.信息科学，材料科学，能源科学仪器被称为当代的“三大支柱”。
2.带宽与数据传输速率信道带宽与数据传输速率的关系可以奈奎斯特(Nyquist)准则与香农(Shanon)定律描述。
奈奎斯特准则指出：如果间隔为π/ω(ω=2πf),通过理想通信信道传输窄脉冲信号，则前后码元之间不产生相互窜扰。
因此，对于二进制数据信号的最大数据传输速率Rmax 与通信信道带宽B （B=f,单位Hz)的关系可以写为：Rmax ＝2.f(bps)；对于二进制数据若信道带宽B=f=3000Hz ，则最大数据传输速率为6000bps 。
香农定理则描述了有限带宽、有随机热噪声信道的最大传输速率与信道带宽、信噪比之间的关系。
香农定理指出：在有随机热噪声的信道上传输数据信号时，数据传输速率Rmax 与信道带宽B 、信噪比S/N 的关系为： Rmax ＝B.log2(1+S/N)3.自信息量的性质：非负性、必然事件信息量为0、不可能事件信息量为无穷、信息量是概率的单调递减函数。
4.当X 和Y 相互独立时，互信息为0.5.信源熵表征信源的平均不确定度，平均自信息量是消除信源不确定度所需要的信息的量度。
6信源熵H(X)与信息率R 和信道容量C 的关系：不论何种信道，只要信息率R 小鱼信道容量C ，总能找到一种编码，能在信道上以任意小的错误概率和任意接近于C 的传输率来传送信息。
反之，若R>C,则传输总要产生失真。
又由无失真信源编码定理可知，要做到几乎无失真信源编码，信息率R 必须大于信源熵H （X ）。
故三者的关系为：H(x)<=R<=C7.保真度准则下的信源编码定理：即译码平均失真度大于允许失真度。
8.香农三个基本编码定理：无失真信源编码定理、信道编码定理和限失真信源编码定理。
三个基本概念：信源熵、信道容量和信息率失真函数。
9.信源编码、信道编码和安全编码信源编码是以提高通信有效性为目的的编码。
通常通过压缩信源的沉余度来实现。
信息论复习知识点本页仅作为文档封面，使用时可以删除This document is for reference only-rar21year.March1、平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。
平均互信息表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。
2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。
3、最大熵值为。
4、通信系统模型如下：5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。
6、只要，当N足够长时，一定存在一种无失真编码。
7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。
8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。
9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。
按照信息的地位，可以把信息分成客观信息和主观信息。
人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。
信息的可度量性是建立信息论的基础。
统计度量是信息度量最常用的方法。
熵是香农信息论最基本最重要的概念。
事物的不确定度是用时间统计发生概率的对数来描述的。
10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对数的负值。
12、自信息量的单位一般有 比特、奈特和哈特 。
13、必然事件的自信息是 0 。
14、不可能事件的自信息量是 ∞ 。
15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。
16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。
信息论复习题期末答案1. 信息论的创始人是谁？答案：信息论的创始人是克劳德·香农。
2. 信息熵的概念是什么？答案：信息熵是衡量信息量的一个指标，它描述了信息的不确定性或随机性。
在信息论中，熵越高，信息的不确定性越大。
3. 请简述信源编码定理。
答案：信源编码定理指出，对于一个具有确定概率分布的离散无记忆信源，存在一种编码方式，使得信源的平均编码长度接近信源熵的值，且当信源长度趋于无穷大时，编码长度与信源熵之间的差距趋于零。
4. 什么是信道容量？答案：信道容量是指在特定的通信信道中，能够以任意小的错误概率传输信息的最大速率。
它是信道的最大信息传输率，通常用比特每秒（bps）来表示。
5. 香农公式是如何定义信道容量的？答案：香农公式定义信道容量为信道输入和输出之间的互信息量的最大值，可以表示为C = B log2(1 + S/N)，其中C是信道容量，B是信道带宽，S是信号功率，N是噪声功率。
6. 差错控制编码的目的是什么？答案：差错控制编码的目的是为了检测和纠正在数据传输过程中可能发生的错误，以提高数据传输的可靠性。
7. 什么是线性码？答案：线性码是一种特殊的编码方式，其中任意两个合法编码的线性组合仍然是一个合法编码。
线性码通常可以用生成矩阵和校验矩阵来表示。
8. 卷积码和块码有什么区别？答案：卷积码和块码都是差错控制编码的类型，但它们的主要区别在于编码的结构和处理方式。
卷积码是连续的，其编码过程是按时间序列进行的，而块码是离散的，其编码过程是针对数据块进行的。
9. 什么是信道编码定理？答案：信道编码定理指出，对于任何给定的信道和任何小于信道容量的错误概率，都存在一种编码方式，可以使得错误概率趋近于零。
10. 请解释什么是信道编码的译码算法。
答案：信道编码的译码算法是一种用于从接收到的编码信号中恢复原始信息的方法。
常见的译码算法包括维特比算法、最大似然译码和最小均方误差译码等。
这些算法旨在最小化译码错误的概率。
第二章信源熵一、自信息量1. 定义：一个随机事件发生某一结果后所带来的信息量称为自信息量，简称自信息。
定 义为其发生概率对数的负值。
若随机事件发生i a 的概率为)(i a p ，那么它的自信 息量为：)(log )(2i i a p a I -= （bit ）2. 性质：在事件发生前，)(i a I 表示该事件发生的不确定性。
在事件发生后，)(i a I 表示事件发生所提供的信息量。
二、信源熵1. 定义： 已知单符号离散无记忆信源的数学模型我们定义信源各个离散消息的自信息量的数学期望为信源的平均信息量，一般称为信源的平均信息量： )(log )(])(1[log )]([)( 212i ni i i i a p a p a p E a I E X H ∑=-=== 2. 信源熵与平均自信息量之间的区别两者在数值上是相等的，但含义不同。
信源熵表征信源的平均不确定度，平均自信息量是消除不确定度所需要的信息的度量。
信源一定，不管它是否输出离散消息，只要这些离散消息具有一定的概率特性，必有信源的熵值，该熵值在总体平均的意义上才有意义，因而是一个确定值， 。
在离散信源的情况下，信源熵的值是有限的。
而信息量只有当信源输出离散消息并被接收后，才有意义，这就是给予接收者的信息度量。
3. 最大离散熵定理：信源X 中包含n 个不同离散消息时，信源熵H(X)有： n X H 2log )(≤当且仅当X 中各个消息出现的概率全相等时，上式取等号。
4. 扩展信源的信源熵：N 次扩展信源的信源熵：)()(X NH X H N=)(,),(,),(),( , , , ,,)( 2121⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡n i n i a p a p a p a p a a a a X P X三、平均互信息量 1. 定义：互信息),,2,1;,,2,1()/()()()(log );(2m j n i b a I a I a p b a p b a I j i i i j i j i ==-==在联合概率空间中的统计平均值。
平均互信息 )()(log)();(11∑∑===n i mj i j i j i a p b a p b a p Y X I2. 三种不同的表达方式：)()()()/()()/()();(XY H Y H X H X Y H Y H Y X H X H Y X I -+=-=-=物理意义：（1）Y 对X 的平均互信息是对Y 一无所知的情况下，X 的先验不定度与收到 Y 后关于X 的后验不定度之差，即收到Y 前、后关于X 的不确定度减少 的量，也就是从Y 获得的关于X 的平均信息量。
3. 性质由定义式 )()(log)/(();(11∑∑===n i mj i j i i jia pb a p a bp a p Y X I ）我们可以知道（1）平均互信息量);(Y X I 是输入信源概率分布)}({i a p 的上凸函数 （2）平均互信息量);(Y X I 是信道转移概率分布)}/({i j a b p 的下凸函数四、最大连续熵定理1. 限峰值功率的最大熵定理若代表信源的N 维随机变量的取值被限制在一定的范围之内，则在有限的定义域内， 均匀分布的连续信源具有最大熵。
2. 限平均功率的最大熵定理若信源输出信号的平均功率P 和均值m 被限定，则其输出信号幅度的概率密度函数为 高斯分布时，信源具有最大熵。
3. 均值受限条件下的最大连续熵定理若连续信源X 输出非负信号的均值受限，则其输出信号幅度呈指数分布时，连续信源 X 具有最大熵。
五、编码的基本概念1. 及时码：若码中任一码子都不是另一码子的字头，称该码为及时码。
2. 唯一可译码3. 编码速率：设离散信源输出的消息为L 重符号序列消息，信源编码器采用m 进制信 道符号对离散消息进行编码，生成的m 进制代码组的长度为K,则信源编码速率为：符号/log 2bit m L KR =编码效率：RX H )(=η香农第一定理——离散无失真信源编码定理 1. 定长编码定理由L 个符号组成的，每个符号的熵为H(X) 的平稳无记忆符号序列L X X X ......21，可用K 个符号K Y Y Y ......21（每个符号有m 种可能取值）进行定长编码，对任意ε>0, δ>0,只要ε+≥)(log 2X H m L K则当L 足够大时，必可使译码差错小于δ，反之，当ε2)(log 2-≥X H m L K译码必定出错。
2. 变长编码定理若一离散无记忆信源的符号熵为H(X)，对信源符号进行m 元变长编码，已定存在一种失真编码方法，其码字平均长度满足不等式：mX H K m X H 2__2log )(log )(1≥>+其平均信息率满足不等式：ε+<≤)()(X H R X H第三章 信道容量一、信道容量（C ）1. 定义： 在信道中最大的信息传输速率)/();(max max )()(信道符号比特Y X I R C i i x p x p ==单位时间的信道容量t C ：)/();(max )(1秒比特Y X I C i x p t t =2. 几种特殊信道的信道容量 （1）具有一一对应关系的无噪信道 （2）具有扩展性能的无噪信道 （3）具有归并性能的无噪信道二、香农公式)/()1(log 2s bit P P W C NXt += 1. 比值NXP P 称为信道的信噪功率比 2. 香农公式说明：当信道容量一定时，增大信道的带宽，可以降低对信噪功率比的要求； 反之，当信道频带较窄时，可以通过提高信噪功率比来补偿。
香农第二定理——信道编码定理信道编码定理：若有一离散无记忆平稳信道，其容量为 C ，输入序列长度为 L ，只要待传送的信息率 R<C ，总可以找到一种编码，当 L 足够长时，译码差错概率Pe<ε，ε为任意大于零的正数。
反之，当 R>C 时，任何编码的 Pe 必大于零，当 L →∞，Pe →1。
信道编码定理说明：同无失真信源编码定理类似，信道编码定理也是一个理想编码的存在性定理。
它指出信道容量是一个临界值，只要信息传输率不超过这个临界值，信道就可几乎无失真地把信息传送过去，否则就会产生失真。
信道编码的目的就是为了提高信息的可靠性。
第四章 信息率失真函数一、失真度定义1. 设离散无记忆信源为⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡)(,),(),(,,,)(2121n n i x p x p x p x x x x p X⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡)(,),(),(,,,)(2121m m j y p y p y p y y y y p Y Y 到接收端信源符号通过信道传送[]⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=)/()/()/()/()/()/()/()/()/()/(212222111211n m n n m m x y p x y p x y p x y p x y p x y p x y p x y p x y p X Y p信道的传递概率矩阵对每一对 ),(j i y x ，指定一个非负函数),(j i y x d ≥0 i=1,2,…,n j=1,2,…,m称 ),(j i y x d 为单个符号的失真度/失真函数。
表示信源发出一个符号 i x ，在接收端再现 j y 所引起的误差或失真。
2. 常用的失真矩阵（1）汉明失真函数：⎩⎨⎧≠==j i ji b a d j i 10),(（2）平方误差失真函数：2)(),(i j j i a b b a d -=二、信息率失真函数R(D));(min )()/(Y X I D R Di j P a b p ∈=已知信源概率分布为⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡)(,),(),(,,,)(2121n n i a p a p a p a a a a p X 失真函数为),(j i b a d 1. 求min D ，max D （1）),(min )(1min jijni ib a d a p D ∑==（2）∑==nj jjjDb p D 1max )(min，其中，∑==ni jiij b a d a p D 1),()(2. 求)(min D R ，)(m ax D R 对于n 元等概率分布信源，)1ln()1()1(lnln )(ααααDDn DDn D R --+-+=香浓第三定理——信源编码定理限失真信源编码定理：设一离散平稳无记忆信源的输出随机变量序列为 X=(X1,X2,…,XL)，若该信源的信息率失真函数是 R(D)，并选定有限的失真函数。
对于任意允许平均失真度 D ≥0，和任意小的ε>0，当信息率 R>R(D) ，只要信源序列长度 L 足够长，一定存在一种编码方式 C ，使译码后的平均失真度 ；反之，若R<R(D)，则无论用什么编码方式，必有 ，即译码平均失真必大于允许失真。
信息率失真函数也是一个界限。
只要信息率大于这个界限，译码失真就可限制在给定的范围内。
即通信的过程中虽然有失真，但仍能满足要求，否则就不能满足要求。
信源编码的目的是提高通信的有效性。
ε+≤D C D )(D C D >)(第五章 信源编码1. m 元长度为)......,,2,1(n i k i =的异前置码存在的充要条件是：∑=-≤ni k im11称为克拉夫特不等式。
2. 香农编码 3. 费诺编码 4. 赫夫曼编码5. L-D 编码中的每个码字传送两个数：Q 和T 。
Q 是本帧内信息位的数目，而T 则含有各信息位的位置信息。
第六章 信道编码1. 差错图案2. 最小码距的相关概念（1）最小码距是码的一个重要参数， 它是衡量码检错、纠错能力的依据。
线性分组码的最小距离等于它的最小重量。
最小距离决定了检纠错能力,因为它体现了码字之间的差别. （2）对一个最小距离为dmin 纠错码，如下结论成立: · 可以检测出任意小于等于l 个差错,其中: 1min -=d l · 可以纠正任意小于等于t 个差错,其中: ⎥⎦⎤⎢⎣⎡-=21min d t · 可以检测出任意小于等于l 同时纠正小于等于t 个差错，其中l 和t 满足:⎩⎨⎧<-≤+l t d t l 1min3. 线性分组码（1）分组码一般可用(n,k)表示。
其中，k 是每组二进制信息码元的数目，n 是编码码组的码元总位数，又称为码组长度，简称码长。
n-k=r 为每个码组中的冗余位数目。
（2）C=MG ，其中C 为码字，M 为信息序列，G 为生成矩阵 （3）],[Q I G =，],[I Q H T=，H 为一致校验矩阵1. 设输入符号与输出符号为X ＝Y ∈{0,1,2}，且输入符号等概率分布。
