最新信息论基础第一章-绪论教学讲义ppt课件

广义信息论
不仅包括上述两方面内容，而且包括所有与信息有关的自然 和社会领域，如模式识别、计算机翻译、心理学、遗传学、 神经生理学、语言学、语义学甚至包括社会学中有关信息的 问题
2019/3/4
6
香农信息论的科学体系
香农信息论 压缩理论 传输理论 保密理论
有噪声 限失真信源编码 无失真信源编码 信道编码理论 率失真理论 定长编码 变长编码 定理 定理 最优码构成 Huffman码 Fano码 码构成 网络信道 保密系统的 信息理论
8
2019/3/4
信息的定义

从日常生活知识来理解
英国牛津字典：信息是谈论的事情、新闻和知识 韦氏字典： 在观察研究过程中获得的数据情报、新闻和知识 信息是所观察事物的知识 日本广辞苑：

有关科学家的论述

香农：信息是事物运动状态或存在方式的不确定性 的描述 艾什比：把信息定义为“差异度” 维纳：把信息定义为一种“组织性”的度量 信息是一切物质的属性 信息就是信息，不是物质也不是能量
信息的可加工性
信息的可再现性
信息的可存储性 信息的积累性 信息的延续性和继承性 信息的可开发性 信息的可再生性和可增值性
16
2019/3/4
信息的性质

性质一：普遍性

信息是普遍存在的。 在整个宇宙时空中，信息是无限的。 对于同一事物，不同观察者所获得的信息量可能不同。 信息可以在时间上或空间中从一点转移到另一点。 信息是可变换的，可由不同的载体和不同的方法来载荷。
网络信息理论
网络最佳码 保密码
压缩编码
纠错码
2019/3/4
代数编码
卷积码
7
1.3 信息的基本概念

33
§1.2.1 通信系统模型
例如，奇偶纠错 将信源编码输出的每个码组的尾补一个1或0 当传输发生奇数差错，打乱了“1”数目的奇偶性，就 可以检测出错误。
34
§1.2.1 通信系统模型
(a) 无检错
(b) 可检错 (奇校验) (c) 可纠错(纠一个错)
图1.4 增加冗余符号增加可靠性示意图
35
§1.2.1 通信系统模型
信源的消息中所包含的信息量 以及信息如何量度
核心 问题
29
§1.2.1 通信系统模型
编码器(Encoder)
编码器的功能是将消息变成适合于信道传输的信号 编码器包括：
信源编码器(source encoder) 信道编码器(channel encoder) 调制器(modulator)
信源编码器
信道编码器
调制器
功能：将编码器的输出符号变成适合信道传输的信号 目的：提高传输效率 信道编码符号不能直接通过信道输出，要将编码器的输 出符号变成适合信道传输的信号，例如，0、1符号变成 两个电平，为远距离传输，还需载波调制，例如，ASK， FSK，PSK等。
36
§1.2.1 通信系统模型
信道(channel)
13
§1.1.2 信息的基本概念
1949年，Weaver在《通信的数学》中解释香农的工 作时，把通信问题分成三个层次： 第一层：通信符号如何精确传输？（技术问题） 第二层：传输的符号如何精确携带所需要的含义？（语义问题） 第三层：所接收的含义如何以所需要的方式有效地影响行为？ （效用问题）
14
§1.1.2 信息的基本概念
§1.1.2 信息的基本概念
信息的三个基本层次：
语法(Syntactic)信息 语义(Semantic) 信息 语用(Pragmatic)信息

➢ 球赛的电视转播等等，
都是交流和通信的一方要告诉另一方的消 息。日常生活中人们常称之为“信息”。
如何理解信息和消息呢？
2020/3/31
5
信息与消息的区别与联系
以文字、语声、图象等载体把客观物质运 动和主观思维活动的状态表达出来就成为 消息，
消息是表达信息的工具
从通信的观点出发，构成消息的各种物理 现象具有两个条件：
生物如不能从外部感知信息，就不可能适当地调 整自己的状态，改善与外部世界的关系来适应这 种变化，不能避免被淘汰的厄运。
从外界摄取信息和利用信息的能力是一切生物得 以生存的必要条件，生物越高级，摄取和利用信 息的本领越高超。
2020/3/31
10
小结
信息与人类的关系密切
作为通信的消息，我们通过书信、电话、电报、电视、音 乐等与之接触，与人交往。
第一章 绪论
2020/3/31
1
提纲
信息的概念 信息论的研究思路、目的和内容 概率回顾
2020/3/31
2
1.1 信息的概念
世人谈及信息，远非今日起。 据《新辞海》考证，一千多年前唐代诗人李中《暮春怀故人》中
有“梦断美人沉信息，日空长路倚楼台”的诗句，这恐怕是最早关于 信息的文字记载。
人们与信息打交道的历史与自身一样悠久，人类从诞生起， 一直与信息打交道。
2020/3/31
7
（2）“信息”是作为运算的内容而明确起 来
在此意义下，“信息”是进行运算和处理 所需要的条件、内容和结果，并常常表现 为数字、数据、图表和曲线等形式。例如：
➢ 价目表反映商品价值信息； ➢ 车速表反映行驶速度信息， ➢ 万用表， ➢ 示波器等。
2020/3/31

1928年，哈特莱(Hartley)首先提出了用对数度量信
息的概念。一个消息所含有的信息量用它的可能值
香农
的个数的对数来表示。
(香农)信息： 信息是事物运动状态或存在方式的不确定性的描述。 可运用研究随机事件的数学工具——概率来测度不确定性大小。 在信息论中，我们把消息用随机事件表示，而发出这些消息的信 源则用随机变量来表示。
2.1 自信息和互信息
2.1.1 自信息
随机事件的自信息量 I (xi ) 是该事件发生概率 p(xi ) 的函数，并且应该满 足以下公理化条件：
1. I (xi )是 p(xi )的严格递减函数。当 p(x1)p(x2) 时，I(x1)I(x2)，概率 越小，事件发生的不确定性越大，事件发生后所包含的自信息量越大
事件 x i 的概率为p(xi ) ，则它的自信息定义为：
I(xi)d eflogp(xi)logp(1xi)
从图2.1种可以看到上述信息量的定义正 是满足上述公理性条件的函数形式。I (xi ) 代表两种含义：当事件发生以前，等于 事件发生的不确定性的大小；当事件发 生以后，表示事件所含有或所能提供的 信息量。
2．极限情况下当 p(xi )=0时，I(xi)；当 p(xi ) =1时，I (xi ) =0。
3．另外，从直观概念上讲，由两个相对独立的不同的消息所提供的 信息量应等于它们分别提供的信息量之和。 可以证明，满足以上公理化条件的函数形式是对数形式。
定义2.1 随机事件的自信息量定义为该事件发生概率的对数的负值。
我们把某个消息 x i 出现的不确定性的大小，定义为自信息，用这
个消息出现的概率的对数的负值来表示：I(xi)lop(g xi)
自信息同时表示这个消息所包含的信息量，也就是最大能够给予 收信者的信息量。如果消息能够正确传送，收信者就能够获得这 么大小的信息量。

– 先验概率：选择符号 ai 作为消息的概率----P(ai)
– 自信息：ai 本身携带的信息量
I(ai
)
log 1 P(ai
)
– 后验概率：接收端收到消息(符号) bj 后而发送端
发的是 ai 的概率 P(ai/bj)
– 互信息：收信者获得的信息量-----先验的不确定 性减去尚存在的不确定性
I(ai;bj)loP g(1 ai)loP g(ai1/bj)
第一章 绪论
信息论
通信技术 概率论 随机过程 数理统计
相结合逐步发展而形 成的一门新兴科学
奠基人：美国数学家香农（C.E.Shannon） 1948年“通信的数学理论”
本章内容：
信息的概念 数字通信系统模型 信息论与编码理论研究的主要内容及意义
1.1 信息的概念
信息是信息论中最基本、最重要的概念，既抽象又复杂
– 信息具有以下特征： （1）信息是可以识别的 （2）信息的载体是可以转换的 （3）信息是可以存贮的 （4）信息是可以传递的 （5）信息是可以加工的 （6）信息是可以共享的
1.2 信息论研究的对象,目的,内容
一、 研究对象 – 前面介绍的统一的通信系统模型。人们通过系统 中消息的传输和处理来研究信息传输和处理的共 同规律。
消息：用文字等能够被人们感觉器官所感知的形式， 把客观物质运动和主观思维活动的状态表达出来。 知识：一种具有普遍和概括性质的高层次的信息 ， 以实践为基础，通过抽象思维，对客观事物规律性的 概括。 情报：是人们对于某个特定对象所见、所闻、所理解 而产生的知识 。
它们之间有着密切联系但不等同 ，信息的含义更深刻、广泛
– 它的主要目的是提高信息系统的可靠性、有效性、 保密性和认证性，以便达到系统最优化；

p(
y1)

2
p(xi y1) p(x1y1) p(x2 y1)

i1
p(yj)
p(xiyj)
p(y2)
2
p(xi y2) p(x1y2) p(x2 y2)
i

i1

2
p(y3) p(xi y3) p(x1y3) p(x2y3)

i1
2019/12/29
2019/12/29
状态转移概率和已知状态下发符号的概率为 p(er＋1=sj｜er=si)和p(xr=al｜er=si)。
当状态转移概率和已知状态下发符号的概率与时刻无 关，即p(er＋1=sj｜er=si)=p(sj｜si)和p(xr=al｜er=si)＝p(al ｜si )时，称为时齐的/齐次的。
3. 信道 信道是信息传输和存储的媒介。
4. 译码器 译码是编码的逆变换，分为 信道译码和信源译码。
5. 信宿 信宿是消息的接收者。
2019/12/29
1.3.2 离散无记忆的扩展信源
实际情况下，信源输出的消息往往不是单个符号，而是由
许多不同时刻发出的符号所组成的符号序列。设序列由N个 符号组成，若这N个符号取自同一符号集{ a1 , a2 , … , ak}， 并且先后发出的符号彼此间统计独立，我们将这样的信源称 作离散无记忆的N维扩展信源。其数学模型为N维概率空间：
p(xi | yj)1

i1 2

p(xi
|
y2)
p(x1
|
y2)
p(x2
|
y2)
1
i
i1
2
i1
p(xi

消息
是信息的载体，相对具体的概念，如语言，文字，数 字，图像
信号
表示消息的物理量，电信号的幅度，频率，相位等等
2021/5/21
21
音信消息
南唐 李中《暮春怀故人》诗： “梦断美人沉信息，目穿长路倚楼台。”
பைடு நூலகம்
宋 陈亮《梅花》诗： “欲传春信息，不怕雪埋藏。”
《水浒传》第四四回： 宋江大喜，说道：“只有贤弟去得快，旬日便知信息。”
香浓(Shannon)信息论： 1948年发表《通信的 数学理论》，创建了信息论，建立了通信系统 的模型，用概率和统计观点描述信息，包括信 源、信道、干扰等，给出了不确定的信息量度， 指出了客观有效、可靠的信息通信之路，宣告 了一门学科信息论的诞生，成为通信领域技术 革命的思想或者理论基础。
2021/5/21
信息论与编码理论基础(第 一章)课件
教材
王育民、李晖， 信息论与编码理论 （第2版）， 高等教育出版社， 2013.
2021/5/21
2
参考书
Thomas M. Cover, Joy A. Thomas, Elements of Information Theory，2nd ed, WILEY Press, 2006. 阮吉寿 张华 译 信息论基础，机械工业出版社，2007.
2021/5/21
29
类比
对于Shannon信息论，可将通信问题与普通的 运输问题做类比。
前者是传送信息，后者是传送货物。 传送货物有货源和运输通道，而货源和运输通
道又有货源的体积（或吨位）和运输通道的容 量。当运输通道的容量大于货源的体积（吨位） 时，就能实现货物的正常运输。 信源和信道编码理论则是解决信息的传输问题。 可以通过信息的度量来确定信息量（可形象地 称为信号体积）和信道容量。当信道容量大于 信息体积时，就能实现信息的正确传输。