第一章
1-1 信息.消息和信号的定义是什么？三者的关系是什么？
答： 定义：信息是事物运动状态或存在方式的不确定性的描述。
用文字、符号、数据、语言、音符、图片、图像等能够被人们感觉器官所感知的形式，把客观物质运动和主观思维活动的状态表达出来就成为消息。
把消息换成适合信道传输的物理量，这种物理量称为信号。
三者的关系：消息包含信息，是信息的载体，但不是物理性的。信号是信息的载体，是物理性的。
1-3 写出信息论的定义（狭义信息论和广义信息论）.
答：狭义信息论：信息论是在信息可以度量的基础上有效地和可靠地传递信息的科学，它涉及信息的度量、信息的特性、信息传输速率、信道容量、干扰对信息传输的影响等方面的知识。
广义信息论：信息论包括通信的全部统计问题的研究、香农信息论、信号设计、噪声理论、信号检测与估值等，还包括如医学、生物学、心理学、遗传学、神经生理学、语言学甚至社会学和科学管理学中有关信息的问题。
1-5信息有哪些分类？
答：( 1 )按信息的性质分类：语法信息，语义信息和语用信息；
（2）按观察过程分类：实在信息，先验信息和实得信息；
（3）按信息的地位分类：客观信息（效果信息、环境信息）和主观信息（决 策信息，指令、控制和目标信息）；
（4）按信息的作用分类：有用信息、无用信息和干扰信息；
( 5）按信息的逻辑意义分类：真实信息、虚假信息和不定信息；
（6）按信息的传递方向分类：前馈信息和反馈信息；
( 7）按信息的生成领域分类：宇宙信息、自然信息、思维信息和社会信息；
（8）按信息的信息源性质分类：语言信息、图像信息、数据信息、计算信息和文字信息；
（9）按信息的信号形成分类：连续信息、离散信息和半连续信息。
09电子2 22 何清林
第一章 信息论基础
课后习题
1.7同时掷一对均匀的骰子，要得知面朝上点数之和，描述这一信源的数学模型。
解：两个点数的排列如下：
11 12 13 14 15 16
21 22 23 24 25 26
31 32 33 34 35 36
41 42 43 44 45 46
51 52 53 54 55 56
61 62 63 64 65 66
参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：
36112181111211091936586173656915121418133612)(XPX
故：该信源的数学模型如上。
1.8居住在某地区的女孩中有25%是大学生，在女大学生中75%身高1.6m以上，而女孩中身高1.6m以上的占总数的一半，要从信源消息中得知身高及学历，描述这一信源。
解：设随机变量X代表女孩子学历
X X1（是大学生） X2（不是大学生） P(X) 0.25 0.75
设随机变量Y代表女孩子身高
Y Y1 （身高>1.6m） Y2（身高<1.6m）
P(Y) 0.5 0.5
1.9设有一个二阶二元马尔可夫信源，其4种状态的转移概率矩阵为
7.03.000005.05.05.05.000002.08.0p，画出状态图并求稳态下各状态出现的概率。
1.10有一个二元对称信道，信道误码率P=0.06,设该信道以1000个符号/秒的速率传输输入符号，现有一消息序列，共有9500个符号，并设消息中q(0)=q(1)=0.5，问从信号传输的角度来考虑，10秒能否将消息无失真地传送完？
《信 息 论》
讲 义
204教研室
2005年11月
1 主要内容：
第一章 绪论
第二章 离散信源及其信息测度
第三章 离散信道及其信道容量
第四章 无失真信源编码
第五章 有噪信道编码
2 第一章 绪论
信息论——人们在长期通信工程的实践中，由通信技术与概率论、随机过程和数理统计相结合而逐步发展起来的一门学科。
奠基人——香农
1948年发表了著名的论文——《通信的数学理论》，为信息论奠定了理论基础。
1.1 信息的概念
人类离不开信息，信息的接收、传递、处理和利用时时刻刻都在发生。
如：“结绳记事”、“烽火告警”，信息的重要性是不言而喻的。
什么是信息？——信息论中最基本、最重要的概念。
信息与“消息”、“情报”、“知识”、“情况”等的区别：
“情报”——人们对于某个特定对象所见、所闻、所理解而产生的知识。是一类特定的信息。
“知识”——人们根据某种目的，从自然界收集得来的数据中，整理、概括、提取得到的有价值的、人们所需的信息。是一种具有普遍和概括性质的高层次的信息。
“消息”——以文字、符号、数据、语言、音符、图片、图像等能够被人们感觉器官所感知的形式，表达客观物质运动和主观思维活动的状态。
消息包含信息，是信息的载体。二者既有区别又有联系。
“信号”——消息的运载工具。
香农从研究通信系统传输的实质出发，对信息作了科学的定义，并进行了定性和定量的描述。
收信者：
收到消息前，发送者发送的消息——1、描述的是何种事物运动状态的具体消息；2、描述的是这种消息还是那种消息；3、若存在干扰，所得消息是否正确与可靠。
存在“不知”、“不确定”或“疑问”
收到消息后，知道消息的具体内容，原先的“不知”、“不确定”或“疑问”消除或部分消除了。
消息传递过程——从不知到知的过程；从知之甚少到知之甚多的过程；从不确定到部分确定或全部确定的过程。
通信过程——消除不确定性的过程。
不确定性的消除，就获得了信息。
信息论与编码
第⼀章1、信息,信号,消息的区别
信息：是事物运动状态或存在⽅式的不确定性的描述 消息是信息的载体，信号是消息的运载⼯具。2、1948年以“通信的数学理论”（A mathematical theory of communication ）为题公开发表，标志着信息论的正式诞⽣。 信息论创始⼈：C.E.Shannon(⾹农)
第⼆章1、⾃信息量：⼀个随机事件发⽣某⼀结果后所带来的信息量称为⾃信息量，简称⾃信息。
单位：⽐特(2为底)、奈特、笛特（哈特）2、⾃信息量的性质 （1） 是⾮负值
（2） =1时， =0， =1说明该事件是必然事件。 （3） =0时， = ， =0说明该事件是不可能事件。 （4） 是 的单调递减函数。3、信源熵：各离散消息⾃信息量的数学期望，即信源的平均信息量。
)(log )(])(1
[log )]([)( 21
2i n
i i i i a p a p a p E a I E X H ∑=-===
单位：⽐特/符号。（底数不同，单位不同） 信源的信息熵；⾹农熵；⽆条件熵；熵函数；熵。 4、信源熵与信息量的⽐较
（书14页例2.2.2）()log () 2.1.3 i i I a p a =-（）
5、信源熵的意义（含义）:
（1）信源熵H(X)表⽰信源输出后，离散消息所提供的平均信息量。 （2）信源熵H(X)表⽰信源输出前，信源的平均不确定度。 （3）信源熵H(X)反映了变量X 的随机性。 6、条件熵：
（书15页 例2.2.3） 7、联合熵：8、信源熵,条件熵,联合熵三者之间的关系:
H(XY)= H(X)＋H(Y/X) H(XY)= H(Y)＋H(X/Y)
条件熵⼩于⽆条件熵，H(Y/X)≤H(Y)。当且仅当y 和x 相互独⽴p(y/x)=p(y)，H(Y/X)=H(Y)。
两个条件下的条件熵⼩于⼀个条件下的条件熵H(Z/X,Y)≤H(Z/Y)。当且仅当p(z/x,y)=p(z/y)时取等号。
