第一节！信息论与编码的关系？信息论研究的是编码极限，首先要通讯就要编码，编码有各种方法，选取好的，压缩数据，从编码有效性来说，数据最短的最好，信息论告诉我们什么样的情况数据最短。
！编码与通讯之间的关系？通讯就是把信息从A点传到B点的过程，信息要进行传递必须把信息加载到一定载体上而把信息指代给载体的过程就是编码，如果要通讯就一定要进行编码。
编码可以解决通讯中的三个问题：第一、压缩数据；第二、检错和纠错问题；第三、通讯过程中的加密问题。
什么是摩尔斯码？摩尔斯码是人类第一个使用的编码，摩尔斯码是由点和划来表示常用的英文字母，标点符号以及10个阿拉伯数字的编码，通过这个编码就可以把通常的电报内容用电码形式传递出来。
解释SOS的含义？这三个救急信号是摩尔斯码里的“…———…”，不是英文缩写。
信息论发展的简史？1832年摩尔斯电报系统；1917年频分复用（载波）；1924年采样定理；1948年Shannon发表的第一篇论文“通讯中的数学理论”从而“信息论”创建了。
加密的概念？字典码加密过程，即是取两本新华字典，一个字由五个数字组成，数字的前三位表示页码，后二位表示这个字在一页中的序码。
什么是加密编码？举例说明？利用密钥方法对信号进行加密，即是取0~9打乱作为明码，确定一个只有双方之间知道的密码。
第二节！什么是信息科学？研究所有信息现象的一门学科！信息论和信息科学的关系？信息论只要讲通讯里的信息处理问题，范围窄；信息科学讲的是所有领域的信息处理问题，例如知识论等，范围广。
信息科学研究的范围和内容？通信中的信息；信息的获取；信息的传递；信息的认知；信息的再生；信息的施效；信息的组织。
第三节☆☆信息的定义？维纳的信息定义——信息就是信息，不是物质也不是能量。
仙农的定义——用来减少随机不定性的东西。
我们自己的定义——信息是内容和载体的统一体信息的三要素以及关系？载体、内容以及指代；内容是精神、定义、指代的原像，载体是物质，内容通过指代到载体。
成为载体的三个必要条件？必须是物质的、有两种以上可分辨状态、在时空时可排列。
第四节什么是符号集、时空位？符号集中的符号与时空位区别？举例说明？符号集就是由符号组成的集合，例：英文26个字母、汉字、0到9阿拉伯数字；时空位就是通讯过程中的一个时空的点，这个时空点可填充不同符号，例：一排红绿灯中的某个灯、7位ASCII码中的一位。
什么是信息序列？什么是信息流？信息序列：指代了内容的时空位序列；信息流：信息序列随时间变换，由时空位构成的指代了内容信息载体。
什么是信源、信宿以及信道？举例？信源——信息的产生和发送者，例：嘴；信宿——信息接受者，例：耳朵；信道——信源与信宿之间的信息传输媒介，例：空气。
信息的分类？①语法信息、语义信息、语用信息；②自然信息、编码信息；③离散信息、连续信息。
！信息论的三种编码？信源编码、信道编码、加密编码信源编码与信道编码之间的关系？信源编码就是在信源端对数据进行的压缩编码，目的是信源端压缩数据使数据变短；信道编码就是使得信息可以在信道上传输以及正确传输，目的是在信道上正确传递数据，加了检验位和纠错位使得数据变长。
信源编码有哪两种？无失真编码，信息内容没有失真；限失真编码，信息内容可以在限定范围内部分失真。
什么是调制与解调？为什么要调制与解调？调制就是将需要传输的信号加载到载波上去的过程；解调就是把信号从载波中取出的过程。
原因：一、因为天线发射无线电波必须满足无线电波的半波长和天线的尺寸近似相等，才能有效地发射，必须把低频信号加载到高频信号上去；二、可实现N个人和N个人之间的通讯。
第五节信息的定量可分成哪两种？载体信息量和内容信息量。
Shannon信息量为载体信息量。
什么是载体和内容信息量？载：载体最大能承载的信息量；内：内容包含的信息的多少。
什么是定量的一般方法？一、寻找一个单位，单位保证不变，容易获取以及测量，不能消失；二、将待测量与单位比较，得到一个倍数关系；三、用倍数和单位得到测量值。
信息的单位有哪几个？状态数（个）；bit（以二为底的对数）；det（以十为底）；nat（e）N个状态？I=N2log（bit）信息量的计算公式？单位？1928年Hartley载体：I=N2log（bit），N为可分辨状态数。
如何来计算一张光盘的信息量？由什么因素决定？利用Hartley公式；由光盘可记录时空位的密度和一个时空位的可分辨状态数决定。
第六节十个天干和十二个地支？如何组成一个甲子年？今年是什么年？天干：甲、乙、丙、丁、戊、己、庚、辛、壬、癸；地支：子、丑、寅、卯、辰、巳、午、未、申、酉、戌、亥。
天干地支组合成如下六十个计时序号，作为纪年、月、日、时的名称，叫干支纪年法；用六十甲子依次纪年，六十年一个轮回。
今年是庚寅年，计算方法：天干——年数减3，除以10所得余数；地支——年数减3，除以12所得余数。
在易经中阴和阳分别用什么表示？64卦和几位二进制对应？信息量？阴：—；阳：——；64卦对应的是：六位二进制编码；信息量= 6（bit）什么是内容信息量？公式？指代原像的多少，内容对应的状态数对数的个数；I=N2log （bit），N为内容的可分辨状态数。
第七节什么是满指代？载体的每一个状态上都指代了内容。
什么是冗余？载体里有一部分没有指代内容。
为什么符号集符号等概率使用时，符号集中符号利用率最高？证明—见书P52，性质8证明什么是符号集概率模型？条件概率？模型：符号集状态可能性的模型。
条件概率：有事件A、B，其中P(A)＞0，在A事件发生的条件下求B事件的概率记为P(B|A),称为条件概率。
！☆☆什么是信息熵？公式？含义？信息熵：符号集在一个时空位上的载体信息量。
公式：)/(1log)()(12时空位bitpPxIxHni ii∑===含义:符号集在一个时空位上平均可表示的载体状态数的对数。
第八节什么是符号集的概率空间？⎥⎦⎤⎢⎣⎡=N N P P P x x x x P ......)(2121什么是Shannon 第一定律？给出了离散无记忆信源，在无失真条件下信息冗余的压缩极限。
什么是哈夫曼编码？步骤？举例说明？（举例见笔记16页）哈夫曼编码是一种编码方式，一种可变长编码。
步骤：一、将信源符号集的N 个符号概率从大到小排列；二、用0和1分别表示概率最小的二个符号，0指代给二个符号中的大概率还是小概率可任意选择，但编码过程中必须保持一致。
将两个概率最小的符号合并成一个符号，合并后符号的概率为两个符号概率之和。
将合并后的符号与原有符号组成新的符号集（N-1），这个新符号成为缩减符号集；三、将缩减信源符号集中的符号再按概率从大到小排列，并且用0.1表示两个概率最小的符号。
然后将这两个最小概率符号再合并成一个符号，和其余符号构成N-2的缩减符号集；四、以此类推，知道缩减为两个符号，将0,1,赋于这两个符号，然后从最后可缩减符号开始，还溯到原符号，还溯过程中得到的二进制码序列即为哈夫曼编码。
哈夫曼编码的特点是什么？为什么哈夫曼编码能压缩数据？ 特点：一、可以保证概率大的信源符号对应短码，概率小的对应长码；二、哈夫曼编码并非唯一；三、哈夫曼编码对不同的信源的编码效率不同；四、对信源进行哈夫曼编码后，形成一个哈夫曼编码表。
解码时，必须参照这一哈夫编码才能正确译码。
因为：当载体信息量无限接近于内容信息量然后达到压缩极限就能压缩数据，数据压缩实质上是减少信息冗余量，冗余量的减少可以减少数据量而不减少信源的信息量。
第九、十节什么是物理信道？举例说明？由物理实体构成的信道，如：双绞线、同轴电缆、光纤、空气、真空等。
什么是信道传输速率？单位时间内在信道中传输的载体信息量，用Rt 表示，单位：bit/s 什么是无噪声的物理信道容量？物理信道内可达到的最大信息传输速率，用Cw 表示，单位：bit/s ，Cw=max （Rt ） 什么是噪声平均误码速率？单位时间内，由于噪声干扰而产生的错误载体信息量，用Rn 表示，单位：bit/s什么是有噪物理信道容量？单位时间内可正确接收的最大载体信息量，Cw=max （Rt-Rn ）bit/s 决定物理信道的流量的因素是什么？一、信道的载体时空位密度（由技术决定）；二、噪声水平（由环境决定）什么是数学信道？数学信道是由数学模型决定的信道。
什么是信息传输码率？在信道中一个时空位可传输的载体信息量，用R 表示，单位为：bit/时空位什么是噪声平均错误码率？一个时空位中由噪声引起的错误码的码率什么是数学信道容量？在数学信道中一个时空位最大可正确接收的载体信息量，用C 表示，单位为bit/时空位 ☆☆什么是Shannon 第二定律？在一个有噪声干扰的数学信道内，信道编码存在的充要条件是R ≤C ，其中R=C 为编码极限。
什么是纠错编码？纠错编码与压缩编码的区别？可以实现纠错的编码。
区别：压缩编码——使数据变少，压缩；纠错编码——使数据变成长，纠正错误。
！什么是奇偶检验码？举例？说明奇偶校验码能检出多少错误？能纠错吗？一种通过增加冗余位使得码字中“1”的个数恒为奇数或偶数的编码方法，它是一种检错码。
例：需传赵-000、钱-100、孙-010、李-110、周-001、吴-101、郑-011、王-111，它们的奇偶检验码分别为赵-0000、钱-1001、孙-0101、李-1100、周-0011、吴-1010、郑-0110、王-1111奇偶校验码可以检查出一位错误，不能纠错，不能检查二位错误。
什么是重复码？举例？n 次重复码（n 为奇数）时可检出多少错？可纠正多少错？ 各码字的码元是重复的。
例：需传赵-000、钱-100、孙-010、李-110、周-001、吴-101、郑-011、王-111，它们的重复码分别为赵-000 000 000、钱-100 100 100、孙-010 010 010、李-110 110 110、周-001 001 001、吴-101 101 101、郑-011 011 011、王-111 111 111n 次重复码可以检出（n-1）位错，可纠正（n-1）/2位错第十一节什么是失真？信息序列中允许一定的错误时空位出现。
什么是失真误码率？一个时空位上的平均误码率。
C δ，bit/时空位什么是限失真误码码率？一个时空位上的最大允许的平均误码码率。
Cd ，bit/时空位 什么是Shannon 第三定律？举例说明限失真的压缩编码？ 第三定律：允许失真的信率压缩编码的极限。
Cs 表示一个是时空位中的载体信息量，Cc 表示一个时空位中的内容信息量。
信源限失真编码存在的必要条件是：Cs ≥Cc-Cd ，其中Cs=Cc-Cd 为编码极限。
令R （D ）=Cc-Cd ，R （D ）称为信息率失真函数，其中D 为失真度，则Cs ≥R （D ） 例：1张图有1024*768个点，现在允许100个点出错，可以丢掉边缘的100个点，但传输后空掉的点用其（前点+后点）÷2来填充该点或者对边缘的100个点不纠错。
