信息论-第一章-绪论

信息论课程教学大纲Information Theory一、课程教学目标1、任务和地位：信息论是由Shannon奠基的一门数学学科，它产生于有效而可靠的通信问题中，并获得了广泛应用。

编码技术是信息论的重要分支的基础。

它在通信和计算机工程实践中得到了广泛的应用，成为通信系统设计中的一项通用技术。

通过本课程的学习，使学生对信息理论有一个比较全面和系统的了解，掌握信息论的基本概念和信息论方法，为从事信息科学的研究和应用打下一个坚实的基础。

课程以信号和信道的知识为基础，讲述信息论的基本概念，信源编码、信道编码和伪随机码的基本知识。

2、知识要求：通过一个学期的学习要达到如下要求:1)掌握平均信息量—熵的概念，了解信息论的基本知识和信道容量的计算。

2)掌握信源编码的意义，了解提高信息传输“有效性”的方法，掌握平均码长的计算和最佳信源编码的概念，通过仙农定理导出霍夫曼编码规则。

3)掌握信道编码的意义，了解提高信息传输“可靠性”的方法，掌握纠错编码的基本概念，重点讲解线性分组码的检错能力，介绍卷积码基本概念。

4)掌握伪随机码的基本概念，m序列码的产生及应用。

先修课程：信号与系统、数字逻辑电路、微机原理与应用、通信原理。

3、能力要求：本课程重点是通过讲解信息论与编码技术使学生掌握提高信道传输的“有效性”和“可靠性”的基本理论。

二、教学内容的基本要求和学时分配1.信息论与编码课程教学学时数分配表：2．具体要求第一章绪论[目的要求]了解信息论的产生、发展、应用，为以后学习打下基础[教学内容] 信息论研究的内容，信息的基本概念，通信系统模型及模型中各部分的作用，编码的种类[重点难点] 讲清通信系统模型及模型中各部分的作用。

[教学方法] 书本与多媒体课件相结合[作业] 无[课时] 3学时第二章信源及信源熵[目的要求] 弄清信源及信源熵的概念，深刻理解最大熵定理[教学内容] 信息论的基本概念，包括自信息量、条件自信息量、互信息量、条件互信息量、平均互信息量、单符号熵、熵的性质以及连续信源熵、最大熵定理和随机序列的熵等，解释冗余度的由来及作用[重点难点]重点是信息量、平均信息量、最大熵定理等概念的理解，难点是运用这些概念解决分析问题[教学方法] 书本与多媒体课件相结合，讲授与课堂讨论相结合[作业] 读书笔记一篇[课时] 9学时第三章无失真信源编码[目的要求] 掌握信源编码的意义，掌握最佳信源编码的概念及编码方法[教学内容] 无失真信源编码定理，包括定长编码定理和变长编码定理，详细阐述最佳编码中的香农码、费诺码和霍夫曼码的编码方法及其性能比较[重点难点]重点是香农码、费诺码和哈夫曼码为代表的最佳码的编码方法，难点是对无失真信源编码定理的理解。

可见，消息中包含信息，是信息的载体。得到消息， 从而获得信息。 同一则消息可用不同的形式来载荷。如球赛进展情
况可用电视图像、广播语言、报纸文字等不同形式来
表示。而一则消息也可载荷不同的信息，它可能包含
非常丰富的信息，也可能只包含有很少的信息。
因此，信息与消息是既有区别又有联系的。
又有人说信息就是信号，是一切我们所感知的有意
2. 信息定义上的困惑 信息的各种定义： 信息是事物之间的差异； 信息是事物联系的普遍形式；
信息是物质和能量在时间和空间中分布的不均匀性；
信息是能够用来消除随机不确定性的的东西； ……
各种信息定义都从不同层次、不同侧面描述了信 息的某些特征，但至今尚无一种定义能够为社会各
界所一致接受。
3. 本体论与认识论层次的信息概念 对信息可以从本体论和认识论两个层次上去理解。 本体论层次上的信息概念是广义的概念，将任何 事物的运动状态及其变化方式都理解为信息。
由于认识主体具有感觉能力、理解能力和目的性，
能够感知事物状态及其变化方式的外在形式、内在
含义并能够判断其效用价值，因此在认识论层次研
究信息时，一般要同时考虑到形式、含义和效用三 个因素。
4 . 语法信息、语义信息和语用信息 在认识论层次研究信息时: 把只考虑到形式因素的部分称为语法信息； 把只考虑到含义因素的部分称为语义信息； 把只考虑到效用因素的部分称为语用信息。 显然，语义信息和语用信息涉及认识主体的主观因素。 目前，信息论中主要研究语法信息。
并传递纸，纸就是载体。 承载消息的载体称为信道，现代最便于传输的信
号是电信号和光信号，相应的信道如电缆、传输电
磁波的空间和光缆等。
从通信的实质意义来讲，如果信宿收到的消息是

最普遍的层次，也是无约束条件的层次，定义 事物的“信息是该事物运动的状态和状态改变的 方式”. 我们把它叫做“本体论”层次. 最广义的 信息，使用范围也最广.
“认识论”定义
引入一个最有实际意义的约束条件：认识主体. 信息定义就转化为“认识论”层次的信息定义.
即：信息是认识主体（生物或机器）所感知的或 所表述的相应事物的运动状态及其变化方式（包 括状态及其变化方式的形式、含义和效用）。
信息的存在
信息科学和材料、能源科学一起被称为当 代文明的“三大支柱”。
一位美国科学家说过：“没有物质的世界 是虚无的世界；没有能源的世界是死寂的世 界；没有信息的世界是混乱的世界。”
Without materials nothing exists. Without energy nothing happens. Without information nothing makes sense.
维纳(N. Wiener)：为信息论的进一步发展和拓展作 了大量工作；主要在通信的统计理论与滤波器理论方面.
香农信息论主要讨论的是语法信息中的概率信息， 本书也以概率信息为主要研究对象.
1. 信息论研究的基本问题
达到不失真信源压缩编码的极限（最低） 编码速率是多少？
极限速率 = 该信源的信息熵 爷病重，速归
信息究竟是什么呢？
1928年,美国数学家 哈 特 莱 (Hartley)在 《贝尔系统电话杂志》上发表了一篇题为《信 息传输》的论文. 他认为“信息是选择的自由 度”.
事隔20年, 另一位美国数学家香农 (C. E. Shannon) 在《贝尔系统电话杂志》发表了 题为《通信的数学理论》的长篇论文。他创 立了信息论，但是却没有给出信息的确切定
“信息”不同于情报

国内外已有不下百余种流行的说法， 它们都是从不同的侧面和不同的层次来揭示信息的 本质的。
1928年，哈特莱(R．V．L Hartley) 在《信息传输》一文中提出：发信者所发出的信
息，就是他在通信符号表中选择符号的具体方式， 主张用所选择的自由度来度量信息。 局限性： ➢ 只考虑选择符号的方式，不涉及到信息的价值和具 体内容。 ➢ 没有考虑各种可能选择方法的统计特性。
信源编码器的主要指标
是它的编码效率。一般来说，效率越高，编译码 器的代价也将越大。
信源译码器
把信道译码器的输出变换成信宿所需的消息形式，
相当于信源编码器的逆过程。
19
信道编码器与译码器
信道编码 主要作用是提高信息传送的可靠性。
信道编码器的作用 在信源编码器输出的代码组上有目的地增加一些监督 码元,使之具有检错或纠错的能力。
an p(an )
样本空间 概率测度
先验概率p(xi)：
选择符号xi作为消息的概率。 11
例：气象预报
甲 X 晴 阴 大雨 小雨
p(x)
1/ 2,1/
4,
1/ 8,
1/8
乙
Y p(y)
晴 阴 1/4,1/4,
大雨 小雨
1/4, 1/4
“甲地晴”比“乙地晴”的不确定性小。
某一事物状态出现的概率越小，其不确定性越大。 某一事物状态出现的概率接近于1,即预料中肯定会 出现的事件，那它的不确定性就接近于零。
信道编码的主要方法 增大码率或频带,即增大所需的信道容量。这恰与信源 编码相反。
7
信息的表达层次
狭义而言，通信中对信息的表达分三个层次：信号、 消息、信息。 信号：信息的物理表达，是一个物理量，是一个载 荷信息的实体，可测量、可描述、可传输、可存储、 可显示。 消息 (或符号) ：信息的数学表达，承载了信息， 它是具体物理信号的数学抽象。如语言、文字、语音、 图像等。 信息：更高层次的哲学抽象，是信号与消息的承载 的对象，描述事物运动状态或存在方式的不确定性。