- 1 - 信息论与编码知识点总结
信息论与编码
随着计算机技术的发展，人类对信息的传输、存储、处理、交换和检索等的研究已经形成一门独立的学科，这门学科叫做信息论与编码。我们来看一下信息论与编码知识点总结。
二、决定编码方式的三个主要因素
1。信源—信息的源头。对于任何信息而言，它所包含的信息都是由原始信号的某些特征决定的。 2。信道—信息的载体。不同的信息必须有不同的载体。 3。编码—信息的传递。为了便于信息在信道中的传输和解码，就需要对信息进行编码。三、信源编码（上） 1。模拟信号编码这种编码方式是将信息序列变换为电信号序列的过程，它能以较小的代价完成信息传送的功能。如录音机，就是一种典型的模拟信号编码。 2。数字信号编码由0和1表示的数字信号叫做数字信号。在现实生活中，数字信号处处可见，像电话号码、门牌号码、邮政编码等都是数字信号。例如电话号码，如果它用“ 11111”作为开头，那么这串数字就叫做“ 11”位的二进制数字信号。数字信号的基本元素是0和1，它们组成二进制数，其中每一个数码都是由两个或更多的比特构成的。例如电话号码就是十一位的二进制数。
我们平常使用的编码方法有： A、首部-----表明发送者的一些特征，如发送者的单位、地址、性别、职务等等B、信源-----表明信息要发送的内容C、信道-----信息要通过的媒介D、信宿-----最后表明接受者的一些特征E、加密码----对信息进行加密保护F、均 - 2 - 匀量化----对信息进行量化G、单边带----信号只在一边带宽被传输H、调制----将信息调制到信号载波的某一特定频率上I、检错----信息流中若发生差错，则输出重发请求消息
，比如表达公式时，可写成“ H=k+m-p+x”其中H=“ X+m-P-k”+“ y+z-p-x”+“ 0-w-k-x”，这样通过不断积累，就会发现：用无限长字符可以表达任意长度的字符串；用不可再分割的字符串表达字符串，且各字符之间没有空格等等，这些都表明用无限长字符串表达字符串具有很大的优越性，它的许多优点是有限长字符串不能取代的。同样的，在无线传输中也应采用无限长字符串作为无线数据帧的一个字符。用有限长字符串表达字符串，可提高信息存储容量，减少通信系统中数据传输的带宽，减少频谱占用的面积。
《信息论与编码》课程自学报告
题 目： AAC音频压缩编码
学 号： xxxxxxxxx
姓 名： xxxxxxx
任课教师： xxxxxxx
联系方式： xxxxxxxxxxxxx
二零一六 年 一 月 一 日
一、自学内容小结与分析
1. 基本概念
要想无失真地传送连续信源的消息，要求信息率R必须为无穷大。这实际上是做不到的，因此实际通信系统允许一定的失真存在，那么对信息率的要求便可降低，换言之，就是允许压缩信源输出的信息率。信息率失真理论研究的就是信息率与允许失真之间的关系。
1.1 失真函数与平均失真度
为了定量地描述信息率与失真的关系，首先定义失真的测度。
设离散无记忆信源1212 , , ,
(),(),,()()nnaaaXpapapaPX。信源符号通过信道传送到接收端Y，1212 , , ,
(),(),,()()mmbbbYpbpbpbPY。对于每一对,ijab，指定一个非负的函数
,0ijdab (1)
称𝑑(𝑎𝑖,𝑏𝑗)为单个符号的失真度或失真函数。用它来表示信源发出一个符号𝑎𝑖，而在接收端再现𝑏𝑗所引起的误差或失真。
由于𝑎𝑖和𝑏𝑗都是随机变量，所以失真函数𝑑(𝑎𝑖,𝑏𝑗)也是随机变量，限失真时的失真值，只能用它的数学期望或统计平均值，因此将失真函数的数学期望称为平均失真度，记为
信息论与编码概念总结
信息论最初由克劳德·香农在1948年提出，被称为“信息论的父亲”。它主要研究的是如何最大化信息传输的效率，并对信息传输的性能进行量化。信息论的核心概念是信息熵，它描述了在一个信息源中包含的信息量的平均值。信息熵越高，信息量越大，反之亦然。具体来说，如果一个信源生成的信息是等可能的，那么它的信息熵达到最大值，可以通过二进制对数函数计算。此外，信息论还提出了联合熵、条件熵、相对熵等概念，用于分析复杂的信息源与信道。
除了信息熵，信息论对信道容量的定义也是非常重要的。信道容量指的是信道可以传输的最大信息速率，单位是bit/s。在信息论中，最为典型的信道是噪声信道，它在传输数据过程中会引入随机噪声，从而降低传输的可靠性。通过信道编码，可以在一定程度上提高信号的可靠性。信息论提出了香农编码定理，它给出了当信道容量足够大时，存在一种信道编码方式，可以使误码率趋近于零，实现可靠的数据传输。
信息论不仅可以应用于通信领域，还可以应用于数据压缩。数据压缩主要有无损压缩和有损压缩两种方式。无损压缩的目标是保持数据的原始信息完整性，最常见的压缩方式是霍夫曼编码。它通过统计原始数据中的频率分布，将高频率的符号用较短的编码表示，从而减小数据的存储空间。有损压缩则是在保证一定的视觉质量、音频质量或其他质量指标的前提下，对数据进行压缩。有损压缩的目标是尽可能减小数据的存储空间和传输带宽。常见的有损压缩方法包括JPEG、MP3等。
编码是信息论的应用之一，它是实现信息传输与处理的关键技术。编码主要分为源编码和信道编码两个方面。源编码是将源信号进行编码，以减小信号的冗余，并且保持重构信号与原信号的接近程度。常见的源编码方法有霍夫曼编码、香农-费诺编码等。信道编码则是在信道传输中引入冗余信息，以便在传输过程中检测和修复错误。常见的信道编码方法有海明码、卷积码、LDPC码等。这些编码方法可以通过增加冗余信息的方式来提高传输的可靠性和纠错能力。此外，编码还可以用于加密，以保护信息的安全性。
第一章 绪论
第二章 信源与信息熵
离散信源的信息量
自信息量
条件自信息量
联合自信息量
单符号离散信源熵
熵的性质
1.非负性
2.对称性
3.确定性
4.扩展性
5.连续性
二元联合信源的共熵与条件熵
二元联合信源的共熵
二元联合信源的条件熵
独立熵、联合熵与条件熵的关系
独立熵、联合熵与条件熵的物理意义
离散无记忆信源N次扩展信源 离散信道的平均交互信息量
离散信道三种描述方法
1.概率空间描述
2.转移矩阵描述
3.图示法描述
离散信道的互信息量
互信息量
性质
1.互易性-对称性
2.
3.互信息量可正可负
4.任何两个事件之间的互信息不可能大于其中任何一个事件的自信息量
5.
离散信道的平均互信息量
平均互信息量与联合熵、独立熵的关系
一般关系
X 和Y 相互独立时
X 和Y 一一对应时
数据处理定理
信息不增性
连续信源的熵
连续信源
均匀分布：
高斯分布：
指数分布：
连续信源的最大熵定理
输出峰值受限时的最大熵（瞬时功率受限/幅度受限）：
当概率密度分布为均匀分布时，信源具有最大熵
输出平均功率受限时的最大熵：
当其概率密度函数为高斯分布时，具有最大熵
均值受限时的最大熵：
其输出信号幅度呈指数分布时连续信源X 具有最大熵值
信源的剩余度/多余度/冗余度
离散信源的剩余度/多余度/冗余度：
连续信源的剩余度/多余度/：
第三章 信道容量
离散无噪声信道的熵速率和信道容量
熵速率：
信道容量：
几种离散无噪声信道举例：
1、具有一一对应关系的无噪信道
2、具有扩展性能的无噪信道
3、具有归并性能的无噪信道
离散有噪声信道的熵速率和信道容量
接收熵速率：
信道容量：
连续信道中的熵速率与信道容量
连续无噪声信道的熵速率和信道容量
熵速率
信道容量
连续有噪声信道
熵速率
信道容量
第四章 信源编码
编码的定义
1、二元码/多元码
2、同价码
3、等长码
4、变长码
