信息论基础及应用第1章 概论

通信原理知识要点第一章概论1 、通信的目的2 、通信系统的基本构成●模拟信号、模拟通信系统、数字信号、数字通信系统●两类通信系统的特点、区别、基本构成、每个环节的作用3 、通信方式的分类4 、频率和波长的换算5 、通信系统性能的度量6 、传码速率、频带利用率、误码率的计算第二章信息论基础1 、信息的定义2 、离散信源信息量的计算（平均信息量、总信息量）3 、传信率的计算4 、离散信道的信道容量5 、连续信道的信道容量：掌握香农信道容量公式第三章信道与噪声了解信道的一般特性第四章模拟调制技术1 、基带信号、频带信号、调制、解调2 、模拟调制的分类、线性调制的分类3 、 AM 信号的解调方法、每个环节的作用第五章信源编码技术1 、低通、带通信号的采样定理（例 5 － 1 、例 5 －2 ）2 、脉冲振幅调制3 、量化：●均匀量化：量化电平数、量化间隔、量化误差、量化信噪比●非均匀量化： 15 折线 u 律、 13 折线 A 律4 、 13 折线 A 律 PCM 编码（过载电压问题－ 2048 份）5 、 PCM 一次群帧结构（ P106 ）6 、 PCM 系统性能分析7 、增量调制 DM 、增量脉码调制 DPCM ：概念、特点、与 PCM 的比较第六章数字基带信号传输1 、熟悉数字基带信号的常用波形2 、掌握数字基带信号的常用码型3 、无码间干扰的时域条件、频域条件（奈奎斯特第一准则）4 、怎样求“等效”的理想低通（）5 、眼图分析（示波器的扫描周期）6 、均衡滤波器第七章数字调制技术1 、 2ASK 、 2FSK 、 2PSK 、 2DPSK 的典型波形图2 、上述调制技术的性能比较3 、 MASK 、 MFSK 、 MPSK 、 MDPSK 、 QPSK 、 QDPSK 、 MSK （ h=0.5 ）、APK 的含义、特点4 、数字调制技术的改进措施第七章复用与多址技术1 、复用与多址技术的基本概念、分类、特点、目的（区别）2 、同步技术的分类、应用第九章差错控制技术1 、常用的差错控制方式（ ARQ 、 FEC 、 HEC ）、优缺点2 、基本概念3 、最小码距与检错纠错能力的关系4 、常用的简单差错控制编码（概念、特点、编写）5 、线性分组码：基本概念、特点6 、汉明码的特点6 、循环码●概念●码字的多项式描述、模运算、循环多项式的模运算●循环码的生成多项式●根据生成多项式求循环码的：码字、（典型）生成矩阵、监督多项式、（典型）监督矩阵较大题目的范围1 、信息量的度量2 、信道容量的计算3 、 13 折线 A 律 PCM 编码4 、均衡效果的计算5 、数字调制波形的绘制6 、 HDB3 编码、解码7 、循环码重点Part I 基础知识1. 通信系统的组成框图 , 数字 / 模拟通信系统的组成框图。

信息论形成的背景与基础人们对于信息的认识和利用，可以追溯到古代的通讯实践可以说是传递信息的原始方式。

随着社会生产的发展，科学技术的进步，人们对传递信息的要求急剧增加。

到了20世纪20年代，如何提高传递信息的能力和可靠性已成为普遍重视的课题。

美国科学家N.奈奎斯特、德国K.屈普夫米勒、前苏联A.H.科尔莫戈罗夫和英国R.A.赛希尔等人，从不同角度研究信息，为建立信息论做出了很大贡献。

信息论是在人们长期的通信工程实践中，由通信技术和概率论、随机过程和数理统计相结合而逐步发展起来的一门学科。

信息论的奠基人是美国伟大的数学家、贝尔实验室杰出的科学家 C.E.香农(被称为是“信息论之父”)，他在1948年发表了著名的论文《通信的数学理论》，1949年发表《噪声中的通信》，为信息论奠定了理论基础。

20世纪70年代以后，随着数学计算机的广泛应用和社会信息化的迅速发展，信息论正逐渐突破香农狭义信息论的范围，发展为一门不仅研究语法信息，而且研究语义信息和语用信息的科学。

近半个世纪以来，以通信理论为核心的经典信息论，正以信息技术为物化手段，向高精尖方向迅猛发展，并以神奇般的力量把人类社会推入了信息时代。

信息是关于事物的运动状态和规律，而信息论的产生与发展过程，就是立足于这个基本性质。

随着信息理论的迅猛发展和信息概念的不断深化，信息论所涉及的内容早已超越了狭义的通信工程范畴，进入了信息科学领域。

信息论定义及概述信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。

核心问题是信息传输的有效性和可靠性以及两者间的关系。

它主要是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。

基于这一理论产生了数据压缩技术、纠错技术等各种应用技术，这些技术提高了数据传输和存储的效率。

信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。

中国海洋大学本科生课程大纲课程名称信息论基础Information Theory课程代码 0753********课程属性 专业知识 课时/学分 32/2课程性质 选修 实践学时责任教师 赵勇 课外学时 64(32×2) 课程属性：公共基础/通识教育/学科基础/专业知识/工作技能，课程性质：必修、选修一、课程介绍1.课程描述：信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。

它主要是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。

本课程的主要内容包括信源和信道两大部分。

信源方面主要包括：信源的数学模型及分类、离散信源的自信息和信息熵、信息熵的基本性质、离散无记忆的扩展信源、离散平稳信源、马尔科夫信源、信源剩余度与自然语言的熵、意义信息和加权熵。

信道方面主要包括：信道的数学模型及分类、平均互信息及平均条件互信息、平均互信息的特性、信道容量及其一般计算方法、离散无记忆扩展信道及其信道容量、独立并联信道及其信道容量、串联信道的互信息和数据处理定理、信源与信道的匹配。

2.设计思路：当前信息产业发展很快，需要大量的从事信息、通信、电子工程类专业的人才，本课程正是这类专业的基础课程，也是信息与计算科学专业的专业选修课。

课程从各种信源开始，重点是讲授其信息熵的计算方法；然后是各种信道，重点是讲授其信道容量的计算方法。

信源是发出信息的，信息熵是衡量信息量的重要标准。

信道是传输信息的，信道容量反映了信道所能传输的最大信息量。

- 1 -3.其他课程的关系：先修课程：《概率论》二、课程目标通过本课程的学习，学生能够掌握有关信息论的基本理论和实现原理，并能根据所学的内容进行一些初步的应用。

到课程结束时，学生应该（1）理解各种信源的信息熵、各种信道的容量，及其计算方法。

（2）能够将相关知识应用到具体的数据处理中。

⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡)()()()(2211I Ix q x x q x x q x X q X ΛΛ∑==I i ix q 11)(⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡)()()()(2211m q q q q x x x x x x X X m ΛΛ∏=Ni i x q 1)(第1章 信息论基础信息是物质和能量在空间和时间上分布的不均匀程度，或者说信息是关于事物运动的状态和规律。

消息是能被人们感觉器官感知的客观物质和主观思维的运动状态或存在状态。

通信系统中形式上传输的是消息，实质上传输的是信息，消息中包含信息，消息是信息的载体。

信息论是研究信息的基本性质及度量方法，研究信息的获取、传输、存储和处理的一般规律的科学。

狭义信息论信息论研究的范畴： 实用信息论广义信息论信息传输系统信息传输系统的五个组成部分及功能：1. 信源 信源是产生消息的源。

2. 编码器 编码器是将消息变换成适合于信道传送的信号的设备。

编码器分为信源编码器和信道编码器两种。

3. 信道 信道是信息传输和存储的媒介，如光纤、电缆、无线电波等。

4.译码器 译码器是编码器的逆变换，分为信道译码器和信源译码器。

5. 信宿 信宿是消息的接收者，可以是人，也可以是机器。

离散信源及其数学模型离散信源—消息集X 为离散集合，即时间和空间均离散的信源。

连续信源—时间离散而空间连续的信源。

波形信源—时间和空间均连续的信源。

无记忆信源—X 的各时刻取值相互独立。

有记忆信源—X 的各时刻取值互相有关联。

离散无记忆信源的数学模型—离散型的概率空间：x i ∈{a 1,a 2,…,a k } 1≤i ≤I0≤q(x i )≤1离散无记忆N 维扩展信源的数学模型： x ＝x 1x 2…x N x i ∈{a 1,a 2,…,a k } 1≤i ≤Nq (x )＝q (x 1x 2 … x N )＝离散信道及其数学模型离散信道—信道的输入和输出都是时间上离散、取值离散的随机序列。