下载文档原格式
1、通信系统模型的组成，及各部分的功能。
答：信源，产生消息的源，消息可以是文字，语言，图像。
可以离散，可以连续。
随机发生。
编码器，信源编码器：对信源输出进行变换（消去冗余，压缩），提高信息传输的有效性。
信道编码器：对信源编码输出变换（加入冗余），提高抗干扰能力，提高信息传输的可靠性。
调制器：将信道编码输出变成适合信道传输的方式信道，信号从发端传到收端的介质干扰源，系统各部分引入的干扰，包括衰落，多径，码间干扰，非线性失真，加性噪声译码器，编码器的逆变换信宿，信息的接收者2、消息，信号，信息三者之间的关系答：关系：信息---可以认为是具体的物理信号、数学描述的消息的内涵，即信号具体载荷的内容、消息描述的含义。
信号---则是抽象信息在物理层表达的外延；消息---则是抽象信息在数学层表达的外延。
3、信源的分类答：分类：单消息（符号）信源：离散信源；连续变量信源。
平稳信源。
无/有记忆信源。
马尔可夫信源。
随机波形信源。
离散信源：信源可能输出的消息数是有限的或可数的，而且每次只输出其中一个消息。
可以用一维离散型随机变量X来描述这个信源输出的消息。
这个随机变量X的样本空间就是符号集A；而X的概率分布就是各消息出现的先验概率，信源的概率空间必定是一个完备集。
连续变量信源：数据取值是连续的，但又是随机的。
可用一维的连续型随机变量X来描述这些消息。
这种信源称为连续信源，其数学模型是连续型的概率空间：4、自信息的含义：当事件ai发生以前，表示事件ai发生的不确定性，当事件ai发生以后表示事件ai所含有（所提供）的信息量。
5、互信息含义：信源发送消息ai,而由于干扰，在接收端收到的为消息bj ，此时获得的信息量——互信息，即最初的不确定性减去尚存在的不确定性。
6、离散单符号信源熵的物理含义：熵是随机变量的随机性的描述。
熵是信源输出消息前随机变量平均不确定性的描述。
信源熵H(X)是表示信源输出后每个消息/符号所提供的平均信息量。
1第1章 概论1. 信号(适合信道传输的物理量）、信息（抽象的意识/知识，是系统传输、转换、处理的对象）和消息(信息的载体)定义；相互关系：(1信号携带消息，是消息的运载工具(2信号携带信息但不是信息本身(3同一信息可用不同的信号来表示(4同一信号也可表示不同的信息。
2. 通信的系统模型及目的:提高信息系统可靠性、有效性和安全性，以达到系统最优化.第2章 信源及信息量1. 单符号离散信源数学模型2. 自信息量定义：一随机事件发生某一结果时带来的信息量I(xi)=-log2P(xi)、单位：bit 、物理意义：确定事件信息量为0；0概率事件发生信息量巨大、性质：I(xi)非负；P(xi)=1时I(xi)=0；P(xi)=0时I(xi)无穷；I(xi)单调递减；I(xi)是随机变量。
3. 联合自信息量：I(xiyi)=- log2P(xiyj) 物理意义：两独立事件同时发生的信息量=各自发生的信息量的和、条件自信息量：I(xi/yi)=- log2P(xi/yj)；物理意义：特定条件下(yj 已定)随机事件xi 所带来的信息量。
三者关系：I(xi/yi)= I(xi)+ I(yi/xi)= I(yi)+ I(xi/yi)4. 熵：定义(信源中离散消息自信息量的数学期望)、单位(比特/符号)、物理意义(输出消息后每个离散消息提供的平均信息量；输出消息前信源的平均不确定度；变量的随机性)、计算:(H(X)=-∑P(xi)log2 P(xi)) 1)连续熵和离散的区别：离散熵是非负的2)离散信源当且仅当各消息P相等时信息熵最大H (X )=log 2 n 。
3)连续信源的最大熵:定义域内的极值. 5.条件熵H(Y/X) = -∑∑P(xiyj) log2P(yj/xi)，H (X /Y )= -∑∑P(xiyj) log2P(xi/yj) 、物理意义：信道疑义度H(X/Y)：信宿收到Y 后，信源X 仍存在的不确定度，有噪信道传输引起信息量的损失，也称损失熵。
1、在认识论层次上研究信息时，必须同时考虑到形式、（含义）和（效用）3个方面的因素2、如果从随机不确定性的角度来定义信息，信息反映（不确定性）的消除量。
3、信源编码的结果是（减少）冗余;而信道编码的手段是（增加）冗余。
4（1948）年，香农发表了著名的论文（通信的数学理论），标志着信息论的诞生。
5、信息商品是一种特殊商品，它有（客观）性、（共享）性、（时效）性和知识创造征。
6、对信源进行观查之前，对认识的主体来说，信源存在（先验）不确定性，观察之后，信源还存在（后验）不确定性。
7、联合符号（x i ,y j ）的不确定性，等于（关于y j ）不确定性加上（观查到y j 后还剩余）不确定性。
8、256个亮度构成的信源，其熵值最大为（log256=8）。
9、无条件熵（不小于）条件熵，条件多的熵（不大于）条件少的熵。
10、信源编码实质上是对信源进行信息处理，无失真信源编码只是信息处理的方法之一，除此外，还可以对信源进行（限失真）编码。
11、无失真编码对应于无损信道，有失真编码对应于（有噪）信道。
12、有失真编码的（失真范围）受限，所以又称为限失真编码；编码后的（信息率）得到压缩，因此属熵压缩编码。
13、满足（平均失真D D ≤失真度）的信道称为D 允许[试验]信道。
1、无失真编码只对信源的（冗余度）一进行压缩，而不会改变信源的熵，又称冗余度压缩编码。
2、无失真信源编码的作用可归纳为:(1)（符号变换）; (2)（冗余度压缩）。
3、（含相同的码字）的码称为奇异码。
1、 研究信息论的主要目的是什么？答：能够高效、可靠、安全并且随心所欲地交换和利用各种各样的信息。
2、信息论的定义（狭义、广义）答：狭义：在信息可以度量的基础上，研究有效和可靠的传递信息的科学。
广义：包含通信的全部统一问题的研究，香农信息论、信号设计、噪声理论、信号检测与估值等。
3、信息有哪些特征？答：（1）接收者在收到信息前对它的内容未知；（2）信息是能使认识主体对某一事物的未知性或不确定性减少的有用的知识；3）信息可以产生、消灭、被携带、贮存及处理；（4）信息可以度量。
《信息论与编码技术》复习提纲复习题《信息论与编码技术》复习提纲复习题纲第0章绪论题纲：I.什么是信息？II.什么是信息论？III.什么是信息的通信模型？IV.什么是信息的测度？V.自信息量的定义、含义、性质需掌握的问题：1.信息的定义是什么？（广义信息、狭义信息——Shannon信息、概率信息）2.Shannon信息论中信息的三要素是什么？3.通信系统模型图是什么？每一部分的作用的是什么？4.什么是信息测度？5.什么是样本空间、概率空间、先验概率、自信息、后验概率、互信息？6.自信息的大小如何计算？单位是什么？含义是什么（是对什么量的度量）？第1章信息论基础㈠《离散信源》题纲：I.信源的定义、分类II.离散信源的数学模型III.熵的定义、含义、性质，联合熵、条件熵IV.离散无记忆信源的特性、熵V.离散有记忆信源的熵、平均符号熵、极限熵VI.马尔科夫信源的定义、状态转移图VII.信源的相对信息率和冗余度需掌握的问题：1.信源的定义、分类是什么？2.离散信源的数学模型是什么？3.信息熵的表达式是什么？信息熵的单位是什么？信息熵的含义是什么？信息熵的性质是什么？4.单符号离散信源最大熵是多少？信源概率如何分布时能达到？5.信源的码率和信息率是什么，如何计算？6.什么是离散无记忆信源？什么是离散有记忆信源？7.离散无记忆信源的数学模型如何描述？信息熵、平均符号熵如何计算？8.离散有记忆多符号离散平稳信源的平均符号熵、极限熵、条件熵（N阶熵）的计算、关系和性质是什么？9.什么是马尔科夫信源？马尔科夫信源的数学模型是什么？马尔科夫信源满足的2个条件是什么？10.马尔科夫信源的状态、状态转移是什么？如何绘制马尔科夫信源状态转移图？11.马尔科夫信源的稳态概率、稳态符号概率、稳态信息熵如何计算？12.信源的相对信息率和冗余度是什么？如何计算？㈡《离散信道》题纲：I.信道的数学模型及分类II.典型离散信道的数学模型III.先验熵和后验熵IV.互信息的定义、性质V.平均互信息的定义、含义、性质、维拉图VI.信道容量的定义VII.特殊离散信道的信道容量需掌握的问题：1.信道的定义是什么？信道如何分类？信道的数学模型是2.二元对称信道和二元删除信道的信道传输概率矩阵是什么？3.对称信道的信道传输概率矩阵有什么特点？4.根据信道的转移特性图，写出信道传输概率矩阵。
By 疯狂阿德第一章绪论考点：●信息、消息、信号的区别●通信系统模型●香农1.信息、消息、信号的区别信息：指事物运动的状态或存在方式的不确定性的描述。
消息：包含信息的语言、文字、图像等。
信号：信息的物理体现。
在通信系统中，实际传输的是信号，但实质内容是信息，信息包含在信号中，信号是信息的载体，通信的结果是消除或部分消除不确定性，从而获得信息。
2.通信系统模型通信系统模型信源：信息输出的源。
分离散信源和模拟信源。
信宿：信息归宿之意，意即收信者或用户，是信息传送的终点或目的地。
信道：传送信息的物理媒介。
密钥源：产生密钥k的源。
信号x经过k的加密运算后，就把明文x变换为密文y。
一般地说，通信系统的性能指标主要是有效性、可靠性、安全性和经济性。
除了经济性外，这些指标正是信息论的研究对象。
信源编码：信源编码器的作用：一、将信源发出的信息变换成基带信号；二、压缩冗余度，提高效率（有效性）。
信道编码：在信源编码器输出的代码组上有目的地增加一些监督码元，使之具有检错和纠错能力。
信道译码器具有检错和纠错能力，它能将在其检错或纠错能力范围内的错传码元检测出来并加以纠正，以提高传输信息的可靠性。
信道编码包括调制解调和纠错检错编译码。
信道中的干扰通常使通信质量下降，对于模拟信号，表现在受到的信号的信噪比下降；对于数字信号就是误码率增大。
信道编码的主要方法是增大码率或频带，即增大所需的信道容量。
这恰与信源编码相反。
3.香农他在1941年至1944年对通信和密码进行深入研究，并用概率论的方法研究通信系统，揭示了通信系统传递的对象就是信息，并对信息给以科学的定量描述，提出了信息熵的概念。
还指出通信系统的中心问题是在噪声下如何有效而可靠地传送信息，而实现这一目标的主要方法是编码等。
这一成果于1948年在《贝尔系统技术杂志》以《通信的数学理论》香农因此成为信息论的奠基人。
简答题：一、信源编码与信道编码的区别答：信源编码是压缩信源发出的信息的冗余度，是为了提高信息传输的有效性；而信道编码是在信源编码器输出的代码组上有目的地增加了一些监督码元，增大了信息的冗余度，以提高传输信息的可靠性。
《信息论基础》参考答案一、填空题1、信源编码的主要目的是提高有效性,信道编码的主要目的是提高可靠性.2、信源的剩余度主要来自两个方面，一是信源符号间的相关性,二是信源符号的统计不均匀性。
3、三进制信源的最小熵为0，最大熵为bit/符号.4、无失真信源编码的平均码长最小理论极限制为信源熵（或H（S)/logr=H r(S）)。
5、当R=C或（信道剩余度为0）时，信源与信道达到匹配。
6、根据信道特性是否随时间变化，信道可以分为恒参信道和随参信道。
7、根据是否允许失真,信源编码可分为无失真信源编码和限失真信源编码。
8、若连续信源输出信号的平均功率为,则输出信号幅度的概率密度是高斯分布或正态分布或时,信源具有最大熵，其值为值。
9、在下面空格中选择填入数学符号“”或“"（1)当X和Y相互独立时，H（XY）=H(X）+H(X/Y）=H(Y)+H（X)。
（2）（3)假设信道输入用X表示，信道输出用Y表示。
在无噪有损信道中，H（X/Y）> 0， H(Y/X)=0,I(X；Y)<H（X）.二、若连续信源输出的幅度被限定在【2，6】区域内,当输出信号的概率密度是均匀分布时，计算该信源的相对熵,并说明该信源的绝对熵为多少。
=2bit/自由度该信源的绝对熵为无穷大。
三、已知信源（1)用霍夫曼编码法编成二进制变长码;（6分）（2）计算平均码长;（4分）(3）计算编码信息率；（2分）（4）计算编码后信息传输率；（2分）（5）计算编码效率。
（2分）（1)编码结果为：（2)（3）（4)其中，（5)四、某信源输出A、B、C、D、E五种符号，每一个符号独立出现，出现概率分别为1/8、1/8、1/8、1/2、1/8。
如果符号的码元宽度为0.5。
计算：（1）信息传输速率。
（2）将这些数据通过一个带宽为B=2000kHz的加性白高斯噪声信道传输，噪声的单边功率谱密度为.试计算正确传输这些数据最少需要的发送功率P。
解：（1)(2）五、一个一阶马尔可夫信源，转移概率为。
“信息论与编码”总复习*****************************************************************************简要***************************************************************************** 第二章 信源与信息熵1．每次只发出一个符号代表一个消息的信源叫做发出单个符号的无记忆信源。
2．由一系列符号组成，这种用每次发出1组含2个以上符号序列来代表一个信息的信源叫做发出符号序列的信源。
3．信源发出的序列的统计性质与时间的推移无关，是平稳的随机序列。
4．当信源的记忆长度为m+1时，该时刻发出的符号与前m 个符号有关联性，而与更前面的符号无关，这种有记忆信源叫做m 阶马尔可夫信源。
若上述条件概率与时间起点无关，则信源输出的符号序列可看成齐次马尔可夫链，这样的信源叫做齐次马尔可夫信源。
5．例题：稳态分布概率|稳定后的符号概率分布：符号条件概率矩阵：1/22/33/44/5⎡⎤⎢⎥⎢⎥-⎢⎥⎢⎥⎣⎦j i 1/21/3[p(s |s )]=1/41/5状态转移概率矩阵1/20001/32/33/40004/5⎡⎤⎢⎥⎢⎥---⎢⎥⎢⎥⎣⎦j i 1/20[p(s |s )]=1/41/50令各稳态分布概率为W1,W2,W3,W4：1131124W W W =+ 2131324W W W =+ 3241135W W W =+ 4242435W W W =+ 12341W W W W +++= 得稳态分布的概率：W1=3/35 W2=6/35 W3=6/35 W4=4/7稳定后的符号概率分布：11131616149()(|)()2353354355735i i i p a p a s p s ==⨯+⨯+⨯+⨯=∑ 221326364426()(|)()2353354355735i i ip a p a s p s ==⨯+⨯+⨯+⨯=∑6．定义具有概率为()i p x 的符号i x 的自信息量为：()log ()i i I x p x =-7．自信息量具有下列特性：（1）()1,()0i i p x I x ==（2）()0,()i i p x I x ==∞（3）非负性（4）单调递减性（5）可加性8．信源熵是在平均意义上来表征信源的总体特征，它是信源X 的 函数，一般写成H （X ）。
“信息论与编码”复习1．消息、信号、信息的含义、定义及区别。
信息是指各个事物运动的状态及状态变化的方式。
消息是指包含信息的语言，文字和图像等。
信号是消息的物理体现。
消息是信息的数学载体、信号是信息的物理载体信号：具体的、物理的消息：具体的、非物理的信息：非具体的、非物理的同一信息，可以采用不同形式的物理量来载荷，也可以采用不同的数学描述方式。
同样，同一类型信号或消息也可以代表不同内容的信息2．信息的特征与分类。
1接收者在收到信息之前，对其内容是未知的，所以信息是新知识，新内容；2信息是能使认识主体对某一事物的未知性或不确定性减少的有用知识；3信息可以产生，也可以消失，同时信息可以被携带，被存储及处理；4信息是可以量度的，信息量有多少的差别。
31948年，Shannon提出信息论，“通信中的数学理论”—现代信息论的开创性的权威论文，为信息论的创立作出了独特的贡献。
4．通信系统的物理模型（主要框图），各单元（方框）的主要功能及要解决的主要问题。
信源的核心问题是它包含的信息到底有多少，怎样将信息定量地表示出来，即如何确定信息量。
信宿需要研究的问题是能收到或提取多少信息。
信道的问题主要是它能够传送多少信息，即信道容量的多少。
5．通信的目的？要解决的最基本问题？通信有效性的概念。
提高通信有效性的最根本途径？通信可靠性的概念。
提高通信可靠性的最根本途径？通信安全性的概念，提高通信安全性的最根本途径？通信系统的性能指标主要是有效性，可靠性，安全性和经济性。
通信系统优化就是使这些指标达到最佳。
从提高通信系统的有效性意义上说，信源编码器的主要指标是它的编码效率，即理论上所需的码率与实际达到的码率之比。
提高通信有效性的最根本途径是信源编码。
减少冗余。
提高可靠性：信道编码。
增加冗余。
提高安全性：加密编码。
6．随机事件的不确定度和它的自信息量之间的关系及区别？单符号离散信源的数学模型，自信息量、条件自信息量、联合自信息量的含义？信源符号不确定度：具有某种概率的信源符号在发出之前，存在不确定度，不确定度表征该符号的特性。
信息论与编码期末复习（基本上涵盖了所有考点，有了这份资料，期末绝不会挂科）1填空题1、信息论研究的主要问题是如何提高信息传输系的性和性，对应这两个性能数字通讯系统量化指标分别为和。
2、若给定离散概率空间[X,p(x)]表示的信源，则该信源中的信源消息（事件）x的自信息量可表I(x)= ；该信源平均自信息量（即信源的熵）可表示为H(X)=E[I(x)]= 。
3、在离散联合概率空间[XY,P(xy)] 上随机变量I(xy) 的数学期望H（XY）= ，若集合X与集合Y相互独立，则H（XY）= 。
4、若给定离散联合概率空间[XY,P(xy)]，则x与y之间的互信息量I(x;y)= ；平均互信息量可用熵和条件熵表示即I(X;Y)= = ，其中条件熵H(X|Y)通常称为熵，条件熵H(Y|X) 称为____________熵；若集合X与集合Y相互独立，则H(X|Y) = ，H(Y|X) = ，平均互信息量I(X;Y)= 。
5、离散信源的冗余度是R表示信源消息的可压缩____________，设信源符号集的最大熵为Ho，实际熵为Ｈ∞，则冗余度Ｒ可表示为______________；信源编码目的就是通过减少或消除信源____________来提高信息传输效率，因此信源编码亦称__________性编码，而信道编码则称__________性编码。
6、对于连续随机变量，在峰值功率受限于P m的条件下，取得最大相对熵的最佳概率密度函数是一个恒值即W opt(x)=_________,称W(x)为__________分布，这时最大相对熵H cmax=__________。
7、对于平均功率受限，均值不为零的一维连续随机变量的方差为定值时，其取得最大相熵的最佳概率密度函数为正态分布，即Wopt(x)= _________ ，最大相对熵H cmax=__________。
8、假设任一随机变量X与一正态分布随机变量具有相同的相对熵Ｈｃ，则其等效正态分布的随机变量Ｘ的熵功率为Ｐ＝；可以用信号平均功率和熵功率的相对差值_________来表示连续信源的冗余度。
