当前位置：文档之家 › 信息论与编码第一章

信息论与编码第一章

  • 格式：pdf
  • 大小：620.77 KB
  • 文档页数：18

下载文档原格式

  / 18

合集下载

信息论与编码基础教程第一章

信息论与编码基础教程第一章

及
常 用
（4）认证性：
术 语
接收者能正确判断所接收的消息的正确性，
验证消息的完整性，而不是伪造和篡改的。
Page 23
1.3
第一章 绪 论
4．信息的特征
信
息 论
（1）信息是新知识、新内容；
的 概
（2）信息是能使认识主体对某一事物的未知
念 及
性或不确定性减少的有用知识；
常
用 （3）信息可以产生，也可以消失，同时信息
Page 31
第一章 绪 论
1-1 信息、消息、信号的定义是什么?三者的关 系是什么?
1-2 简述一个通信系统包括的各主要功能模块及 其作用。
1-3 写出信息论的定义（狭义信息论、广义信息 论）。
1-4 信息有哪些特征? 1-5 信息有哪些分类? 1-6 信息有哪些性质？
Page 32
1.1
信
1961年，香农的“双路通信信道”（Two-
息 论
way Communication Channels）论文开拓了多
发 展
用户信息理论的研究。到20世纪70年代，有关信
简 息论的研究，从点与点间的单用户通信推广发展
史
到多用户系统的研究。
1972年，T Cover发表了有关广播信道的 研究，以后陆续进行了有关多接入信道和广播信 道模型和信道容量的研究。
Page 20
1.3
第一章 绪 论
信 3）信号
息 论
定义:
的 概
把消息换成适合信道传输的物理量（如电
念 信号、光信号、声信号、生物信号等），这种
及 常
物理量称为信号。
用
术
语
信号是信息的载体，是物理性的。

信息论与编码第1章 绪论

信息论与编码第1章 绪论

1.2 通信系统的模型
通信的基本问题：在存储或者通信等情况 下，精确或者近似再现信源发出的消息。
信源 编码器 信道 译码器 信宿
干扰源
一般模型
香农信息论的通信系统模型,研究从发端（信源）到收端（信宿）有多少信息被传输。
通信过程： 信源发出的消息，经编码器变为二进制数 串，经由信道传输；到了收端，经过译码， 变为计算机或者人（信宿）能够理解的消 息。
信道编码和差错控制 进展
汉明码，纠一位错 Golay，纠3位错 RS码，循环码 卷积码的发现 Viterbi译码 BCH码，循环码 Turbo，接近香农极限（-1.6db）的编码, 随机迭代、随机交织思想的采用。
未来趋势
无线通信频带资源匮乏，高效和高可靠通 信更加依赖信息论的发展。 Internet通信、移动通信、光存储生物等领 域向信息论提出了要求。
从信源编码器输出到信源译码器输入之间形成等效离散信道。
1.2 通信系统的模型
信 源
定义：产生消息的来源，可以是文字、语言、 图像等； 输出形式：符号形式表示具体消息，是信息 的载体 ； 分类：连续的，离散的； 基本特点：具有随机性。描述其使用概率。ቤተ መጻሕፍቲ ባይዱ 主要研究其统计规律和信源产生的信息速率。
单输入、单输出的单向通信系统； 单输入、多输出的单向通信系统； 多输入、多输出的多向通信系统。
信息论研究的进展
信源编码、数据压缩 信道编码与差错控制 多用户信息论和网络通信 多媒体与信息论 信息论、密码学和数据安全等。 开始研究在通信应用，在投资方面的应用。
信源编码与数据压缩关键理论
信道编码器
通过添加冗余位，进行检错、纠错 信道编码的原则：尽量小的误码率，尽量 少的增加冗余位。 举例： BSC信道发重复码。

《信息论与编码》课件第1章 绪论

《信息论与编码》课件第1章 绪论

1.2 通信系统的模型
信源符号
信 源 编码 信 源
（序列）
编码器 信 道 译码器
x y yˆ
重建符号 （序列）
x
❖ 无失真编码： x xˆ
重建符号与信源发送符号一致， 即编码器输出码字序列与信源 发送序列一一映射；
限失真编码： x xˆ
总是成立的
y yˆ
分别是编码输出码字和接收到的码字
重建符号与信源发送符号不 完全一致；编码器输出码字 序列与信源输出符号序列之 间不是一一映射关系，出现 符号合并，使得重建符号的 熵减少了。
限失真、无失真是由于编译 码器形成的
信道编码
增加冗余
提高
对信道干 扰的抵抗 力
信息传输 的可靠性
❖ 由于信道中存在干扰， 数据传递过程中会出现 错误，信道编码可以检 测或者纠正数据传输的 错误，从而提高数据传 输的可靠性。
1.2 通信系统的模型
调制器
作用：
➢ 将信道编码的输出变换为适合信道传输的 要求的信号 ；
消息
信息的表现形 式；
文字，图像， 声音等；
信号
信号的变化描 述消息；
信息的基本特点
1.不确定性
受信者在接收到信息之前，不知道信源发送 的内容是什么，是未知的、不确定性事件；
2.受信者接收到信息后，可以减少或者消除不确定性；
3. 可以产生、消失、存储，还可以进行加工、处理；
4. 可以度量
1.2 通信系统的模型
冗 信源符号 余 变 相关性强 化 统计冗余强
信源编码器
码序列 相关性减弱 统计冗余弱
相关冗余 统计冗余 生理冗余
模型简化
信源输出前后符号之间存在一定相关性
信源输出符号不服从等概率分布

信息论与编码-曹雪虹-课件第1章

信息论与编码-曹雪虹-课件第1章
29
信息论
一门应用概率论、随机过程、数理统计 和近代代数的方法，来研究信息传输、 提取和处理系统中一般规律的学科。
信息论是在信息可以量度的基础上,研究有 效地和可靠地传递信息的科学,它涉及信息 量度、信息特性、信息传输速率、信道容 量、干扰对信息传输的影响等方面的知识
30
信息
是事物运动状态或存在方式的不确定性的描
香农定义的信息也有其局限性，存在一些缺陷 定义的出发点是假定事物状态可以用一个以 经典集合论为基础的概率模型来描述。 没有考虑收信者的主观特性和主观意义，也 撇开了信息的具体含意、具体用途、重要程 度和引起后果等因素。
36
37
狭义信息论：
主要研究信息的测度、信道容量以及信源和信 道编码理论等问题。
接收者在收到信息之前，对它的内容是不知道的， 所以，信息是新知识、新内容；
信息是能使认识主体对某一事物的未知性或不确 定性减少的有用知识；
信息可以产生，也可以消失，同时信息可以被携 带、贮存及处理；
信息是可以量度的，信息量有多少的差别
32
例：气象预报 甲
乙
• “甲地晴”比“乙地晴”的不确定性来的 小
第一层：通信符号如何精确传输？（技术问题）
第二层：传输的符号如何精确携带所需要的含义？ （语义问题）
第三层：所接收的含义如何以所需要的方式有效 地影响行为？（效用问题）
Weaver认为仙农的工作属于第一层，但他又证明 仙农的工作是交叉的，对第二、三层也有意义。
信息是认识主体（人、生物、机器） 所感受的和所表达的事物运动的状态和运 动状态变化的方式。
把广义信息分成三个基本层次，即语法 信息，语义信息，语用信息，分别反映事 物运动状态及其变化方式的外在形式、内 在含义和效用价值。

信息论与编码理论第一章

信息论与编码理论第一章

1.2 信息论研究的中心问题和发 展
Shannon信息论的基本任务
1948年shannon发表了“通信的数学理论” 奠定了信息论理论基础 基本任务是设计有效而可靠的通信系统
信息论的研究内容
狭义信息论（经典信息论）
研究信息测度，信道容量以及信源和信道编码理论
一般信息论
研究信息传输和处理问题，除经典信息论外还包括噪 声理论，信号滤波和预测，统计检测和估值理论，调 制理论，信息处理理论和保密理论
几乎无错地经由Gaussian信道传信 对于非白Gassian信道，Shannon的注水定理和多载波调制(MCM) CDMA、MCM(COFDM)、TCM、BCM、各种均衡、对消技术、
以及信息存储编码调制技术
信息论几个方面的主要进展
Ⅰ．信源编码与数据压缩 Ⅱ．信道编码与差错控制技术 Ⅲ．多用户信息论与网络通信 Ⅳ．多媒体与信息论 Ⅴ．信息论与密码学和数据安全 Ⅵ．信息论与概率统计 Ⅶ．信息论与经济学 Ⅷ．信息论与计算复杂性 Ⅸ．信息论与系统、控制、信号检测和处理 Ⅹ．量子信息论 Ⅺ．Shannon的其它重要贡献 参见课程网站:信息论进展50年
2．简化模型。理论的作用是浓缩知识之树， “简 单模型胜于繁琐的现象罗列”， “简单化才能显 现出事物的本质，它表现了人的洞察力”。 好的性能量度和复杂性的量度（信息量、熵、 信道容量、商品等），常会引导出优秀的理论结 果和令人满意的实际应用。
1.3 Shannon信息论的局限性
如果实际信源或信道符合所采用的概率模 型描述，这种方法是有效的，否则只能是 近似的，甚至根本无效。
信道 编码器
信道编码 器
调制器
信 道
干扰源
信源 译码器
信道 译码器

信息论与编码第

信息论与编码第

第1章 绪论
目前，编码理论与技术不但在通信、计算机以及自动控 制等电子学领域中得到直接旳应用，而且还广泛地渗透到生 物学、医学、生理学、语言学、社会学和经济学等领域。在 编码理论与自动控制、系统工程、人工智能、仿生学、电子 计算机等学科相互渗透、相互结合旳基础上，形成了某些综 合性旳新兴学科。尤其是伴随数学理论，如小波变换、分形 几何理论、数学形态学等，以及有关学科，如模式辨认、人 工智能、神经网络、感知生理心理学等旳进一步发展，世界 范围内旳有关教授一直在追求、寻找既有压缩编码旳迅速算 法，同步，又在不断探索新旳科学技术在压缩编码中旳应用， 所以，新奇、高效旳当代压缩措施相继产生。
第1章 绪论
对图像信源亦是如此，人们看电影时能够充分利用人眼旳视 觉暂留效应，当放映机放速达25张每秒以上时，人眼就能将 离散旳照片在人脑内反应成连续画面。若放速大大超出25张 每秒，则对一般画面是毫无意义旳。限失真信源编码旳研究 较信道编码和无失真信源编码落后十年左右。1948年，香农 在其论文中已体现出了有关率失真函数旳思想，在1959年, 他刊登旳《保真度准则下旳离散信源编码定理》首先提出了 率失真函数及率失真信源编码定理。1971年，伯格尔旳《信 息率失真理论》是一本较全方面地论述有关率失真理论旳专 著。率失真信源编码理论是信源编码旳关键问题，是频带压 缩、数据压缩旳理论基础，直到今日它仍是信息论研究旳课 题。
第1章 绪论 图1－1 信息传播系统模型
第1章 绪论
1．信源 信源是产生消息和消息序列旳源，它能够是人、生物、 机器或其他事物，它是事物多种运动状态或存在状态旳集合。 信源发出旳消息有语音、图像、文字等，人旳大脑思维活动 也是一种信源。信源旳输出是消息，消息是详细旳，但它不 是信息本身。另外，信源输出旳消息是随机旳、不拟定旳， 但又有一定旳规律性。信源输出旳消息有多种形式，能够是 离散旳或连续旳、平稳旳或非平稳旳、无记忆旳或有记忆旳。

信息论与编码_第一章


信息论发展中的悲情人物
• 诺贝尔经济学获得者：
JOHN NASH
于1951年发表《非合作博弈论》
成就著名的“纳什均衡”理论
1958年（30岁）开始痴迷于信息编码技术，出现精神失 常。直到80年代末，方从癫疯中苏醒，继续从事经济学博弈 论研究，1994年获得诺贝尔经济学奖
奥斯卡影片《美丽心灵》
第二节、信息的概念
(17) 发现格码，1989，R.deBuda。格(lattice)码可趋近频带受限高斯信道 容量。Loeligerz在1992年已证明，这是Zp上的欧氏空间群码。
(18)发现Turbo码，迭代自适应译码算法，1993, C. Berrou and A. Glavieux. (19) LDPC码，近来又重新被发现。
信息定义的总结
• 信息是人与外界交互的内容，是有序程度的度量 和负熵，是用以减少不定性的东西 ，这些都是 Wiener 、 Brillouin 、 Shannon 等人的理解。这些 认识比仅仅把信息看作消息或通信内容要更深刻。 • 在数学上很容易证明， Hartley 的信息概念仅是 Shannon信息概念的一种特殊情形。 • 总起来说，在现有的各种理解中， Shannon 的定 义比较深刻，而且这种定义还导出了相应的算法。
香农信息定义的缺陷（2）
• 只考虑了随机型的不定性，不能解释与其 他型式的不定性（如模糊不定性）有关的 信息问题。 • 这种信息定义只从功能角度上来表述，还 是没有从根本上回答“信息是什么”的问 题。
2、发展
信 息 论 主 要 几 个 方 面 的 进 展
Ⅰ．信源编码与数据压缩 Ⅱ．信道编码与差错控制技术 Ⅲ．多用户信息论与网络通信 Ⅳ．多媒体与信息论 Ⅴ．信息论与密码学和数据安全 Ⅵ．信息论与概率统计 Ⅶ．信息论与经济学 Ⅷ．信息论与计算复杂性 Ⅸ．信息论与系统、控制、信号检测和处理 Ⅹ．量子信息论 Ⅺ．Shannon的其它重要贡献

信息论与编码一


x2 xm X x 1 q(X ) q (x ) q(x ) q(x ) 1 2 m
x为各种长为N的符号序列，x = x1 x2 … xN ，xi { a1 , a2 , … , ak }，1 i N，序列集X = {a1a1… a1 , a1a1… a2 , … , akak… ak }，共有kN种序列，x X。 序列的概率q (x) = q (x1x2 … xN) =
根据统计特性，即转移概率p (yx )的不同，信道又可分类为：
无记忆信道 信道的输出y只与当前时刻的输入x有关。
有记忆信道 信道的输出y不仅与当前时刻的输入有关， 还与以前的输入有统计关系 。
1.4.1 离散无记忆信道
离散无记忆信道的输入和输出消息都是离散无记忆的单个符 号，输入符号xi { a1 , a2 , … , ak}，1 i I，输出符号yj { b1 , b2 , … , bD }，1 j J，信道的特性可表示为转移概率矩阵：
p ( y1 x1 ) p ( y1 x 2 ) P p ( y1 x I ) p ( y 2 x1 ) p( y 2 x 2 ) p( y 2 x I ) p ( y J x1 ) p( y J x 2 ) p( y J x I )
p 1 p 0 P 0 1 p p
0 e
0 1-p 1-p 1
p
p
1
图1-7 二元删除信道
4.二元Z信道
二元Z信道如图1-8所示，信道输入符 号x {0 , 1}，输出符号y {0 , 1}转
0 1 移概率矩阵为 P p 1 p
0 1 0 p 1 1-p
下面列举几种常见的离散无记忆信道： 1.二元对称信道(Binary Symmetric Channel，简记为BSC) 这是一种很重要的信道，它的输入符号x {0 , 1}，输出符 号y {0 , 1}，转移概率p (yx ) ，如图1-5所示，信道特性

信息论与编码第一章


通信系统模型主要分成下列五个部分。
23
编码器可分为信源编码器和信道编码器
• 信源编码器的作用
–是把信源发出的消息变换成由二进制码元 (或多进制码元)组成的代码组,这种代码组 就是基带信号； –同时通过信源编码可以压缩信源的冗余度, 以提高通信系统传输消息的效率。
• 信道编码器的作用
主要作用是提高信息传送的可靠性。
当法拉第于1820-1830年期间发现电磁感应的基本 规律后，不久莫尔斯就建立起电报系统（18321835）。1876年，贝尔又发明了电话系统。 1864年麦克斯韦预言了电磁波的存在，1888年赫兹 用实验证明了这一预言。接着1895年英国的马可尼 和俄国的波波夫就发明了无线电通信。20世纪初 （1907），根据电子运动规则，福雷斯特发明了能 把电磁波进行放大的电子管。。
33
1.4
信息论的主要研究成果
• 语音信号压缩
• 长途电话网标准 –1972年CCITT G.711标准中的 64kbit/s， –1995年 CCITT G. 723.1标准中的 6.3 kbit/s。 • 移动通信中 –1989年GSM标准中语音编码速率为13.2 kbit/s –1994年在为半码速GSM研究的VSELP编码算法中，码 速率为5.6 kbit/s • 军用通信 –美国NSA标准的速率在1975年已达2.4 kbit/s • 目前在实验室中已实现600bit/s的低速率语音编码,特 别是按音素识别与合成原理构造的声码器其速率可低 于100bit/s,已接近信息论指出的极限。
2
课程特点
信息理论为中心，区别 “信源编码” 与“信道编码” 概念和物理意义为主，数学推导尽量 放到课外 结合通信系统实际应用
3
学习目标

信息论与编码第1章绪论


1.1 信息论的形成和发展
美国另一科学家维纳(N. Wiener)出版了“Extrapolation， Interpolation and Smoothing of Stationary Time Series”和 "Control Theory”这两本名著。 维纳是控制论领域的专家，重点讨论微弱信号的检测理论， 并形成了信息论的一个分支。他对信息作了如下定义：信 息是人们在适应外部世界和控制外部世界的过程中，同外 部世界进行交换的内容的名称。 补充：老三论（SCI论 ）： system, control, information 新三论：耗散结构论、协同论、突变论
信息论与编码 Information Theory & Coding
伟大的科学家-香农
伟大的科学家-香农
“通信的基本问题就是在一点重新准确地或 近似地再现另一点所选择的消息”。 这是数学家香农（Claude E.Shannon）在 他的惊世之著《通信的数学理论》中的一 句名言。正是沿着这一思路他应用数理统 计的方法来研究通信系统，从而创立了影 响深远的信息论。
1.1 信息论的形成和发展
①语言产生：人们用语言准确地传递感情和意图，使语言成为 传递信息的重要工具。 ②文字产生：人类开始用书信的方式交换信息，使信息传递的 准确性大为提高。 ③发明印刷术：使信息能大量存储和大量流通，并显著扩大了 信息的传递范围。 ④发明电报电话：开始了人类电信时代，通信理论和技术迅速 发展。这一时期还诞生了无线电广播和电视。更深入的问 题：如何定量研究通信系统中的信息，怎样更有效、更可 靠传递信息? ⑤计算机与通信结合：促进了网络通信的发展，宽带综合业务 数字网的出现，给人们提供了除电话服务以外的多种服务， 使人类社会逐渐进入了信息化时代。
  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
信息论与编码
陈运 电子工业出版社
1
参考书目
付祖芸： 信息论——基础理论与应用
余成波： 信息论与编码 吕 锋： 信息理论与编码 戴善荣： 信息论与编码基础
2
第一章
信息论的一般概念
概 论
信息的分类 信息论研究的内容及本课程学习的 内容
3
§1.1
信息的一般概念
一、 信息的重要性 组成客观世界的三大基本要素：
⒈ 通信系统的模型
信源
编码器
信道
译码器
信宿
噪声
10
§1.3
信源 编码器 信道 译码器 信宿
信息论研究的内容
11
§1.3
信息论研究的内容
二、本课程学习的内容
⒈ 信源研究内容：（第二章）


信源发出的消息的统计特性 用随机变量或随机过程来描述 信源产生信息的速率
⒉ 编码器

编码器的功能：将消息变成适合信道传输的信号 编码器包括： 信源编码器 信道编码器 （包括调制器）
13
§1.3
信息论研究的内容
（第三章）
⒊ 信道 研究信道的容量 ⒋ 译码器

译码器的功能：从接收到的信号中恢复消息。 译码器包括： 解调器 信道译码器 信源译码器
⒌ 信宿是消息传送的对象（人或机器）。
14
§1.3
信息论研究的内容
三、信息论与编码的特点
以概率论、随机过程为基本研究工具。 研究的是通信系统的整个过程，而不是单个环
香农第三定理：对于任意的失真度 D≧ 0 ， 只要码字足够长，那么总可以找到一种编码 方法，使编码后每个信源符号的信息传输率 ≧ R（D），而码的平均失真度 d≦ D 。
18
7
§1.2
自阅
信息的分类
8
§1.3
信息论研究的内容
一、信息论研究的内容 ⒈ 狭义信息论（香农信息论） 信息的测度、信道容量、信源和信道 本课程学习的内容 编码理论 ⒉ 一般信息论 噪声、滤波与预测、估计、保密等 ⒊ 广义信息论 所有与信息相关的领域
9
§1.3
信息论研究的内容
二、本课程学习的内容
12
§1.3
信息论研究的内容
⑴ 信源编码器： （第五章）
信源编码依赖于信源的特性 去除信源消息中的冗余度，提高传输的有效性。
⑵ 信道编码器： （第六章）

将信源编码后的符号加上冗余符号，提高传输的可 靠性。
⑶ 调制器：
功能：将信道编码后的符号变成适合信道传输的信
号 目的：提高传输效率

物质 —— 材料科学 能量 —— 能源科学 信息 —— 信息科学
没有物质什么都不存在，没有能量什么都
不会发生，没有信息什么都没有意义。 ——美国学者欧廷格
4
§1.1

信息的一般概念
二、信息论发展简史
用文字、符号、数据、语言、音符、图片、图像等能够被 人们感觉器官所感知的形式，把客观物质运动和主观思维 活动的状态表达出来，就成为消息。 消息是信息的外壳 P.2 透过各种现象，人们开 信息是消息的内核 始对信息进行研究 信号是信息的载体
节，并以编、译码器为重点。
关心的是最优系统的性能和怎样达到这个性能。
15
§1.3
信息论研究的内容
四、信息论与香农定理
⒈ 无失真信源编码，所需要的最少码符号数是 多少？
香农第一定理： 如果编码后的信源序列 信息传输速率不小于信源的熵，那么一 定存在一种无失真信源编码方法；否则， 不存在这样的一种无失真信源编码方法。
6
§1.1

信息的一般概念
1950年，维纳在“控制论与社会”，第一次引入 了广义信息论。与此同时人们如何对信 息编码进行了研究 1948年，香农在论文中提出并给出了简单的编码 方法(香农编码)。 1952年, 费诺(Fano)提出了一种费诺码。 同年， 霍夫曼(D．A．Huffman)构造了一种霍 夫曼编码方法，并证明了它是最佳码。

5
§1.1

信息的一般概念
1924年，Nyquist提出信息传输理论； 信号带宽与信息速率的关系 1928年，Hartly提出信息量概念； 概念：信息是选择通信符号的方式→定性 度量：选择的自由度→定量 1932年，Morse发明电报编码； 1948年，Shannon在“通信中的数学理论” ， 以概率论为工具，给出了信源信息量及 信道容量的计算方法，编码理论。
16
§1.3
信息论研究的内容
⒉ 在有噪声信道中，有没有可能以接近信道容 量来传输信息
香农第二定理：如果信息传输速率小于信 道容量，那么总可以找到一种编码方式， 使得当编码序列足够长时传输差错任意小； 否则，不存在使差错任意小的信道编码方 式。
17
§1ห้องสมุดไป่ตู้3
信息论研究的内容
⒊ 如果信源编码时，允许一定的失真，那么信 源编码所需要的最少码符号数又是多少？