信息理论与编码

第一讲1、信息论与编码的关系（重要）信息论研究的是编码极限，首先要通讯就要编码，编码有各种方法，选取好的，压缩数据，从编码有效性来说，数据最短的最好，信息论告诉我们什么样的情况数据最短。

2、编码与通讯的关系通讯就是把信息从A点传到B点的过程，信息要进行传递必须把信息加载到一定载体上而把信息指代给载体的过程就是编码，如果要通讯就一定要进行编码。

3、什么是摩尔斯码？摩尔斯码是人类第一个使用的编码，摩尔斯码是由点和划来表示常用的英文字母、标点符号以及10个阿拉伯数字的编码，通过这个编码就可以把通常的电报内容用电码形式传递出来。

4、SOS的含义这三个救急信号是摩尔斯码里的“…———…”，不是英文缩写。

5、信息论的发展简史1917年频分复用（载波）；1924年采样定理；模拟—数字信号1932年摩尔斯电报系统；1948年Shannon发表论文“通讯的数学理论”，从而“信息论”诞生了。

6、什么是加密编码？举例说明。

利用密钥方法对信号进行加密，即是取0~9打乱作为明码，确定一个只有双方之间知道的密码。

例如字典码加密过程，即是取两本新华字典，一个字由五个数字组成，数字的前三位表示页码，后二位表示这个字在一页中的序码。

7、编码需要解决通讯中的哪三个问题？1)压缩数据；2)检错和纠错；3)通讯过程中的加密。

8.加密编码在信息通讯中的作用。

举例说明（重要）1）网上银行数字证书2）二次世界大战美国人没有破译日本人的密码就会有更多人牺牲IT时代信息的保密十分重要第二讲1、什么是信息科学、信息论信息科学是研究所有信息现象的一门学科，信息论研究通讯中的信息传递、加密、压缩、纠错。

2、信息论和信息科学的关系、区别（重要）信息论只要讲通讯里的信息处理问题（如信息传递、加密、收缩、纠错），范围窄；信息科学讲的是所有领域的信息处理问题，例如知识论等，范围广。

信息论是信息科学中的一部分。

3、信息科学研究的范围和具体内容信息科学研究通信中的信息和信息的获取、传递、认知、再生、施效、组织等所有信息现象。

第三讲1、信息的定义（重要）维纳的信息定义——信息就是信息，不是物质也不是能量。

仙农的定义——用来减少随机不定性的东西。

我们自己的定义——信息是内容和载体的统一体，指代了内容的载体就是信息。

2、信息的三要素以及它们之间的关系（重要）信息三要素：载体、内容、指代；内容：传输的信息，指代的原像；载体：物质、场；指代：编码区别：同一载体可指代不同内容，同一内容也可指代不同载体。

载体是物质的，内容是精神的，内容通过指代到载体。

举例说明：红色可以指代颜色和危险不同的内容苹果在中文英文西班牙文中都是不同的3、成为载体的三个必要条件（重要）必须是物质的、有两种以上可分辨状态、在时空位可排列和展开。

举例说明：文字、语言、手势、结绳、烽火、01码、盲文第四讲1、什么是符号集、时空位？符号集中的符号与时空位的区别？举例说明。

（重要）符号集就是由符号组成的集合，例：英文26个字母、汉字、0到9阿拉伯数字；时空位就是通讯过程中的一个时空的点，其有不同的可分辨状态。

这个时空点可填充不同符号，例：一排红绿灯中的某个灯、7位ASCII码中的一位。

时空位是指信息中一个时空的位置，即存放编码符号集的位子。

2、什么是信息序列、信息流？信息序列：指代了内容的时空位序列；信息流：信息序列随时间变换，由时空位构成的指代了内容信息载体。

3、什么是信源、信宿以及信道？举例说明（重要）信源——信息的产生和发送者，例：嘴；信宿——信息接受者，例：耳朵；信道——信源与信宿之间的信息传输媒介，例：空气。

信宿分为无能和万能（可以理解接受所有信宿）人不是无能因为他可以接受声音等，她也不是万能，因为他不能接受红外线。

4、信息如何分类？①语法信息、语义信息、语用信息；②自然信息、编码信息；③离散信息、连续信息。

5、通讯中有哪三种编码？信源编码、信道编码、加密编码。

6、信源编码与信道编码之间的关系、区别（重要）信源编码就是在信源端对数据进行的压缩编码，目的是信源端压缩数据使数据变短；信道编码就是使得信息可以在信道上传输以及正确传输，目的是在信道上正确传递数据，加了检验位和纠错位使得数据变长。

7、什么是调制与解调？为什么要调制与解调？（重要）调制就是将需要传输的信号加载到载波上去的过程；解调就是把信号从载波中取出的过程。

原因：1)因为天线发射无线电波必须满足无线电波的半波长和天线的尺寸近似相等，才能有效地发射，必须把低频信号加载到高频信号上去；2)可实现N个人和N个人之间的通讯。

第五讲1、什么是载体和内容信息量？载体信息量：载体最大能承载的信息量；内容信息量：内容包含的信息的多少。

2、物理量的一般定量方法的三个步骤（重要）1)寻找一个单位，单位保证不变，容易获取以及测量，不能消失；2)将待测量与单位比较，得到倍数关系；3)用测量倍数和单位得到测量值。

举例速度单位30万公里/秒3、信息的单位及换算关系信息单位：1)状态数（个）；2)bit（以二为底的对数）；3)det（以十为底）；4)nat（e）。

换算关系：用N的单位为种，I的单位为位bit，换算公式为 I=Nlog（bit）24、什么是Hartley公式？其单位是？1928年Hartley载体信息公式：I=Nlog（bit），N为可分辨状态数。

25、如何来计算一张光盘的信息量？光盘中有n个时空位，每个时空位有b种表示，则光盘的信息量为:N=n b（种），I=n blog（bit）n6、如何提高一张光盘存储信息量？光盘储存信息量的决定因素为:1)时空位的密度——增加时空位的密度；2)一个时空位上的可分辨物理状态数——提高一个时空位上的可分辨物理状态数。

可据以上两个因素提高光盘储存信息量。

第六讲1、十个天干和十二个地支分别是什么？今年、明年是什么年？天干：甲、乙、丙、丁、戊、己、庚、辛、壬、癸；地支：子、丑、寅、卯、辰、巳、午、未、申、酉、戌、亥。

天干地支组合成如下六十个计时序号，作为纪年、月、日、时的名称，叫干支纪年法；用六十甲子依次纪年，六十年一个轮回。

今年是庚寅年，计算方法：天干——年数减3，除以10所得余数；地支——年数减3，除以12所得余数。

明年是辛卯年。

2、易经中表示阴、阳的符号分别是什么？64卦和二进制的关系式？阴：--；阳：-；64卦对应的是：六位二进制编码；信息量= 6（bit）3、什么是内容信息量？其公式是？（重要）例题内容信息量：指代原像的多少，内容对应的状态数对数的个数；计算公式为：I=N 2log （bit ），N 为内容的可分辨状态数。

第七讲1、什么是满指代、冗余？满指代：每一个载体状态上都指代了内容。

冗余：载体里有一部分没有指代内容。

2、为什么符号集中的符号等概率使用时，符号集中的符号利用率最高？根据Shannon 熵公式极值性有H （1p ，…，N p ）≤H(N 1,…，N1)=logN 由此可见，符号集中的符号等概率使用时，符号集中的符号利用率最高。

3、什么是符号集的概率模型？模型：符号集状态可能性的模型。

条件概率：有事件A 、B ，其中P(A)＞0，在A 事件发生的条件下，B 事件发生的概率记为P(B/A)。

4、什么是信息熵？其公式、含义、单位 （重要）例题信息熵：有一定概率分布的符号集,在一个时空位上的平均载体信息量。

公式： )(1log )(12bit P P P H n i i i ∑== 含义:符号集在一个时空位上平均载体信息量。

i P 是符号i X 出现的概率,iP 1是以i P 为等概率的符号集中符号的个数, iP 1log 2是以i P 为等概率的符号集的载体信息量。

第八讲1、 符号集的概率空间如何获得？举例说明。

概率空间由统计获得。

⎥⎦⎤⎢⎣⎡=n n P P P x x x x P ......)(2121，其中0≤i P ≤1，∑=n i i P 1=1。

2、什么是Shannon 第一定理？(重要)给出了离散无记忆信源，无失真条件下，信息的压缩编码极限。

设s C 为载体信息量，c C 为需要传递的内容信息量，则通过信息编码得到的信源无失真的充要条件是： s C ≥c C 。

3、哈夫曼编码及其步骤？举例说明。

(重要)大题哈夫曼编码是一种编码方式，一种可变长编码。

步骤：1) 将信源符号集的N 个符号概率从大到小排列；2) 用0和1代表两个概率最小的信源符号，0指代给二个符号中的大概率还是小概率可任意选择，但编码过程中必须保持一致。

将两个概率最小的符号合并成一个符号，合并后符号的概率为两个符号概率之和。

将合并后的符号与原有符号组成新的符号集（N-1），这个新符号集称为缩减符号集；3) 将缩减信源符号集中的符号再按概率从大到小排列，并且用0、1表示两个概率最小的符号。

然后将这两个最小概率符号再合并成一个符号，和其余符号构成N-2的缩减符号集；4) 以此类推，最后缩减为只有两个符号的缩减符号，将0,1,赋于这两个字符；5) 从最后一个缩减符号回溯得到的二进制码序列即为哈夫曼编码。

4、哈夫曼编码的特点是什么？为什么哈夫曼编码能压缩数据？特点：1) 可以保证概率大的信源符号对应短码，概率小的对应长码；2) 哈夫曼编码并非唯一；3) 哈夫曼编码对不同的信源的编码效率不同；4) 对信源进行哈夫曼编码后，形成一个哈夫曼编码表。

解码时，必须参照这一哈夫编码才能正确译码。

因为当载体信息量无限接近于内容信息量然后达到压缩极限就能压缩数据，数据压缩实质上是减少信息冗余量，冗余量的减少可以减少数据量而不减少信源的信息量。

第九、十讲1、什么是物理信道？举例说明？(重要)由物理实体构成的信道，如：双绞线、同轴电缆、光纤、空气、真空等。

2、什么是信息传输速率？单位时间内在信道中传输的载体信息量，用t R 表示，单位：bit/s3、什么是无噪声物理信道容量？物理信道内可达到的最大信息传输速率，用Cw 表示，单位：bit/s ，Cw=max （t R ）4、什么是噪声平均误码速率、有噪物理信道容量？单位时间内，由于噪声干扰而产生的错误载体信息量，用N R 表示，单位：bit/s 单位时间内可正确接收的最大载体信息量，Cw=max （t R -N R ）bit/s5、决定有噪物理信道容量的因素是什么？(重要)1) 信道载体的时空位密度（与技术有关）；2) 噪声水平（与环境有关）。

6、什么是数学信道？举例说明(重要)数学信道：由数学模型决定的信道。

举例 对称信道7、什么是信息传输码率？在信道中一个时空位可传输的载体信息量，用R 表示，单位为：bit/时空位8、什么是噪声平均错误码率？在信道中，由噪声引起的一个时空位中的错误信息量，用N R 表示，单位bit/时空位。

9、什么是数学信道容量？在数学信道中一个时空位最大可正确接收的载体信息量，用C 表示，单位为bit/时空位10、什么是Shannon 第二定理？(重要)在有噪声数学信道中，无失真信道纠错编码存在的充要条件是R ≤C ，其中R 为信息传输码率，C 为信道容量，R=C 为编码极限。