信息论教学大纲
一、课程概述
信息论是一门应用概率论、随机过程、数理统计和近世代数等方法，来研究信息的存储、传输和处理中一般规律的学科。它为通信、计算机科学、统计学等多个领域提供了理论基础。本课程旨在使学生系统地掌握信息论的基本概念、基本原理和基本方法，培养学生运用信息论知识分析和解决实际问题的能力。
二、课程目标
1、 使学生理解信息的度量、信源和信道的数学模型。
2、 掌握信息熵、互信息、信道容量等重要概念和计算方法。
3、 能够运用信息论的原理分析通信系统的性能。
4、 培养学生的数学推导和逻辑思维能力。
三、课程内容
（一）信息的基本概念
1、 信息的定义和性质
介绍不同领域对信息的定义和理解。
探讨信息的不确定性、可度量性等性质。 2、 信息的分类
按照产生的领域、作用、表现形式等进行分类。
（二）信息的度量
1、 自信息量
定义和计算方法。
举例说明不同概率事件的自信息量。
2、 联合自信息量与条件自信息量
两者的概念和计算。
与自信息量的关系。
3、 信息熵
熵的定义和物理意义。
计算离散信源的熵。
（三）信源
1、 离散无记忆信源
数学模型和特点。
熵的性质和计算。
2、 离散有记忆信源 介绍马尔可夫信源。
计算有记忆信源的熵。
3、 连续信源
连续信源的熵。
最大熵定理。
（四）信道
1、 信道的分类
按照输入输出的特点分类。
举例说明不同类型信道。
2、 信道的数学模型
转移概率矩阵。
信道容量的概念。
（五）信道容量
1、 离散无记忆信道容量
计算方法和步骤。
举例分析。
2、 离散有记忆信道容量 简要介绍计算方法。
3、 连续信道容量
香农公式及其应用。
（六）信息率失真函数
1、 失真测度
常见的失真度量方法。
失真矩阵的概念。
2、 信息率失真函数
定义和性质。
计算方法。
（七）信源编码
1、 无失真信源编码
定长编码定理和变长编码定理。
1 《信息论与编码》教学大纲
课程编码：1041812
课程性质：专业课程
适用专业：电子信息工程
学 分：2学分
学 时：36学时
开设学期：第5学期
一、教学目的
本课程的教学目的是使学生掌握信息处理的理论基础和各种编码原理、手段与方法。培养学生能够适应数字通信、信息处理、信息安全、计算机信息管理等编码工作的要求。使学生掌握信息理论的基本概念和信息分析方法及主要结论，为今后从事信息领域的科研及工程工作的进一步研究打下坚实的理论基础。
二、教学重点与难点
1．重点：信息以及失真的测度、信道及信道容量、无失真信源编码方法以及有噪信道编码方法。
2．难点：典型序列以及由此推导出的香农三大编码定理及其逆定理。
三、教学方法建议
讲授法：教师讲授信息论与编码的基本知识和研究现状。
讨论法：师生共同讨论信息论与编码中研究的问题。
探究法：师生共同探究信息论与编码中前沿问题。
四、教学内容
第一章 信息理论基础（4学时）
教学要求：了解信息论研究对象、目的、发展简史与现状；了解通信系统的模型以及通信系统各部分的主要组成以及作用。
1．信息论的形成和发展
2．通信系统的模型
3．信息论研究的内容
第二章 离散信源及其测度（8学时）
教学要求：了解信源的相关性和剩余度的概念，消息、信息、信号的概念，
2 信息，信号，消息，数据的关系及其联系。掌握信源的数学模型、离散无记忆信源、离散平稳信源和马尔可夫信源基本理论。
1．信源的数学模型及分类
2．信息熵及其基本性质
3．离散平稳信源
4．马尔可夫信源
5．信息剩余度
第三章 离散信道及其信道容量（8学时）
教学要求：了解一般信道容量的计算方法。掌握信道的数学模型，离散无记忆信道以及一些特殊信道容量的计算方法。
1．信道数学模型及分类
2．平均互信息及特点
3．信道容量及一般计算方法
4．离散无记忆扩展信道及其容量
第四章 无失真信源编码（8学时）
第二章 信源与信息熵（第二讲）
（2课时）
主要内容：（1）信源的描述（2）信源的分类
重点：信源的分类，马尔可夫信源。
难点：信源的描述，马尔可夫信源。
作业：2.1, 2.2, 2.3
说明：本堂课推导内容较多，枯燥平淡，不易激发学生兴趣，要注意多讨论用途。另外，注意，解题方法。多加一些内容丰富知识和理解。
2．1 信源的描述与分类
在通信系统中收信者在未收到消息以前对信源发出什么消息是不确定的，是随机的，所以可用随机变量、随机序列或随机过程来描述信源输出的消息，或者说用一个样本空间及其概率测度——概率空间来描述信源。
信源：产生随机变量、随机序列和随机过程的源。
信源的基本特性：具有随机不确定性。
信源的分类
离散信源：文字、数据、电报——随机序列
连续信源：话音、图像——随机过程
离散信源：输出在时间和幅度上都是离散分布的消息。
消息数是有限的或可数的，且每次只输出其中一个消息，即两两不相容。
发出单个符号的无记忆信源
离散无记忆信源： 发出符号序列的无记忆信源
离散信源
离散有记忆信源： 发出符号序列的有记忆信源
发出符号序列的马尔可夫信源
概率论基础：
无条件概率，条件概率和联合概率的性质和关系：
非负性
0()()(/)(/)()1ijjiijijpxpypyxpxypxy，，，，
完备性
111111()1,()1,(/)1,(/)1,()1nmnijijijimmnjiijjjipxpypxypyxpxy
11()(),()()nmijjijiijpxypypxypx
联合概率
()()(/)()(/)()()()(/)()(/)()ijijijijijijjijijipxypxpyxpypxyXYpxypxpypyxpypxypx当与相互独立时，，
《信 息 论》
讲 义
204教研室
2005年11月
1 主要内容：
第一章 绪论
第二章 离散信源及其信息测度
第三章 离散信道及其信道容量
第四章 无失真信源编码
第五章 有噪信道编码
2 第一章 绪论
信息论——人们在长期通信工程的实践中，由通信技术与概率论、随机过程和数理统计相结合而逐步发展起来的一门学科。
奠基人——香农
1948年发表了著名的论文——《通信的数学理论》，为信息论奠定了理论基础。
1.1 信息的概念
人类离不开信息，信息的接收、传递、处理和利用时时刻刻都在发生。
如：“结绳记事”、“烽火告警”，信息的重要性是不言而喻的。
什么是信息？——信息论中最基本、最重要的概念。
信息与“消息”、“情报”、“知识”、“情况”等的区别：
“情报”——人们对于某个特定对象所见、所闻、所理解而产生的知识。是一类特定的信息。
“知识”——人们根据某种目的，从自然界收集得来的数据中，整理、概括、提取得到的有价值的、人们所需的信息。是一种具有普遍和概括性质的高层次的信息。
“消息”——以文字、符号、数据、语言、音符、图片、图像等能够被人们感觉器官所感知的形式，表达客观物质运动和主观思维活动的状态。
消息包含信息，是信息的载体。二者既有区别又有联系。
“信号”——消息的运载工具。
香农从研究通信系统传输的实质出发，对信息作了科学的定义，并进行了定性和定量的描述。
收信者：
收到消息前，发送者发送的消息——1、描述的是何种事物运动状态的具体消息；2、描述的是这种消息还是那种消息；3、若存在干扰，所得消息是否正确与可靠。
存在“不知”、“不确定”或“疑问”
收到消息后，知道消息的具体内容，原先的“不知”、“不确定”或“疑问”消除或部分消除了。
消息传递过程——从不知到知的过程；从知之甚少到知之甚多的过程；从不确定到部分确定或全部确定的过程。
通信过程——消除不确定性的过程。
不确定性的消除，就获得了信息。
