信息编码（数字化）知识点
一、二进制、十六进制与十进制的相互转换
计算机内部的所有信息都采用二进制表示。为了读和写的方便，在实际表示中，人们常常采用等值的十六进制或者十进制的形式。通常用一个下标来表示该数的进位制；或在该数的最后以字母B、D、H分别来标识二进制、十进制和十六进制。
十六进制的数字有：0—9，A, B, C, D, E, F。
1.二进制数由“0”与“1”两个数码组成，运算规则为“逢二进一”，每个数码在不同的数位上，对应不同的权值。
2.将十进制整数转换成二进制整数可用“除二倒取余”法，将二进制转换成十进制数可用“按权展开相加”法，
二进制转换为十进制：
对于任意一个二进制整数a n a n-1…a2a1，可以表示为一般式：
a n * 2n-1 + a n-1 * 2n-2 +… + a2 * 21 + a1 * 20
二进制数中第n位的权值是2n-1
十进制整数转换为二进制数：
除以2倒取余法
?十进制转换为十六进制：
?短除法：除以16倒取余数
?十六进制数a n a n-1…a2a1转换为十进制：
?a n * 16n-1 + a n-1 * 16n-2 +… + a2 * 161 + a1 * 160
3.二进制数转换成十六进制数，从二进制数的低位开始，每四位二进制数转换成一位十六进制数；反之，每一位十六进制数转换成四位二进制数,不足四位的用0填充高位以足4位。
例:110110110B＝1B6H 1A2H =110100010B
二、ASCII码和汉字编码
编码:用预先规定的方法将文字、数字或其他对象编成数码
计算机中的所有信息都采用“二进制”来表示.
计算机中信息的存储单位
8个位组成一个字节（Byte，缩写为B），字节是存储信息的基本单位
存储单位换算
1字节（B）＝8位（bit）
1KB＝1024B 1MB＝1024KB
1GB＝1024MB 1TB＝1024GB
1.ASCII码(美国信息交换标准码)
计算机内的英文字符也是以二进制编码的形式来表示的，其中使用最广泛的是ASCII码，即美国国家信息交换标准码。一个ASCII码占一个字节，字节最左边这一位是0，ASCII码表中有128个字符，其中数字、字母是按顺序依次排列的。
2.汉字的编码:
汉字在计算机内同样是以二进制编码形式表示的。
（1）汉字的编码有输入码、交换码（国标码）、处理码（机内码）、字形码。区位码分成94个区，每区包含94个位，分别用1个字节标记区码和位码，交换码（国标码）是区位码的每个字节加上20H得到，机内码（处理码）是交换码的每个字节加上80H得到。
处理码：计算机内部用于信息处理的汉字代码，也称汉字机内码。同一个汉字可以有多
种输入码（外码），但它的处理码（内码）是唯一的。一个常用简体汉字的机内码占2B。
（2）用UltraEdit或WinHex软件观察内码时，1个ASCII码字符占1个字节，ASCII码的最大值用十进制表示是127，十六进制表示是7FH；1个GB2312编码的字符（如常见简体汉字）占2个字节。
三、图像、音频与视频数字化概念
1.位图图像数字化
位图是由像素构成的，通常以800*600像素这样的方式描述一幅位图的宽高。
位图图像数字化是将一幅图像在水平和垂直方向上等间距地分割成矩形网状结构，即被分割成有限个像素点；在量化每个像素点的色彩值（或亮度值）时，采用二进制位数为量化字长，一般可用8位、16位、24位或更高的量化字长来表示图像的颜色；量化字长越长，则越能真实地反映原有图像的颜色，但得到的数字图像的容量也越大。
单位长度（或面积）的像素成为分辨率。在图像的输入或输出设备中，如扫描或打印图像的分辨率单位是DPI（dots per inch），即每英寸中有几个像素。
2.声音数字化
声音信号是通过采样和量化实现模拟量的数字化。采样频率越高，声音就越真实，存储容量也越大。量化位数越大，其量化值越接近采样值，即精度越高，存储容量也越大。常见的量化位数有8bit、16bit、32bit。
3.视频数字化
视频是由一幅幅的静止图像组成的。一幅图像就叫作一帧，因此视频就是由一帧帧静止的图像组成。
PAL制式每秒显示25帧，NTSC制式每秒显示30帧。
四、图像、音频、视频存储量的计算
1.图像存储容量的计算
影响位图图像存储容量的因素有像素总数和量化字长。
未经压缩的BMP图像存储容量的计算方法为：
存储容量= 总像素数×每像素编码位数/ 8 （单位：字节B）
位图图像的量化字长（位深度）越大，图像所支持的颜色数量就越多。例如，一个字节（8位）能够编码的颜色数为28（256）种，而24位能够编码的颜色数多达224（16777216）种。
下面表格以800*600像素的BMP图像为例，计算各种类别BMP图像的存储容量：
未经压缩的Wave文件所占磁盘的存储容量
计算方法一：
存储容量= 采样频率（Hz）×量化位数×声道数×时间（s）/ 8 （单位：字节B）计算方法二：
存储容量=速率*时间（根据具体的速率单位转换）
例：在GoldWave软件中录制了一段10分钟的Wave格式音频，状态信息如图所示：
方法一：10*60*44100*16*2/8 B
方法二：1411*10*60/8 KB
3.视频存储容量的计算
未经压缩的视频文件存储容量
计算方法一：
存储容量= 一帧图像存储容量×帧频×播放时间
计算方法二：
存储容量=速率*时间（根据具体的速率单位转换）
例：一段40秒的600*400像素的16色的视频存储空间为多少？（视频采用的是NTSC 制）
视频的存储量：40*30*600*400*4/8 B =137.33MB
五、多媒体压缩技术
数据能被压缩的原因在于：首先是数据本身存在着冗余，其次在许多情况下媒体本身允许有少量失真。
多媒体数据中存在多种数据冗余：空间冗余、视觉冗余、结构冗余、时间冗余。
空间冗余：在同一幅图像中，规则物体和规则背景的表面物理特性具有相关性，这些相关性的光成像结构在数字化图像中表现为空间冗余。例如：图像中有一片连续的区域，其像素为相同的颜色，空间冗余产生。
结构冗余：在某些场景中，存在着明显的图像分布模式，这种分布模式称作结构。图像中重复出现或相近的纹理结构，结构可以通过特定的过程来生成。例如：方格状的地板，蜂窝，砖墙，草席等图结构上存在冗余。已知分布模式，可以通过某一过程生成图像。
视觉冗余：人类视觉系统一般的分辨能力约为26灰度等级，而一般图像量化采用28灰度等级，这类冗余称为视觉冗余。
时间冗余：序列图像中经常包含的冗余。一组连续的画面之间往往存在着时间和空间的相关性。例如：房间里的两个人在聊天，在这个聊天的过程中，背景（房间和家具）一直是相同的，同时也没有移动，而且是同样的两个人在聊天，只有动作和位置的变化。
答案：D
压缩分为有损压缩与无损压缩。常见的无损压缩：rar，zip。多媒体数据文件从一种格式压缩为另一种格式，通常是有损压缩。如：wav转成mp3，bmp转成jpg。
衡量压缩技术的技术指标是：压缩比要大，算法要简单，压缩、解压的速度要快，尽可能做到实时压缩，失真要小，解压后能尽可能恢复原数据。
VCD压缩标准：MPEG-1 压缩标准，DVD压缩标准：MPEG-2 压缩标准。
目前最流行的编码和压缩国际标准有三种：
（1）图像压缩标准：JPEG
（2）声音压缩标准：MP3
（3）视频压缩标准：MPEG
压缩比=压缩前的数据大小/压缩后的数据大小
信息论与编码理论习题 答案 LG GROUP system office room 【LGA16H-LGYY-LGUA8Q8-LGA162】
第二章 信息量和熵 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速 率。 解：同步信息均相同，不含信息，因此 每个码字的信息量为 2?8log =2?3=6 bit 因此，信息速率为 6?1000=6000 bit/s 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信息 量。 解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} )(a p =366=6 1 得到的信息量 =) (1 log a p =6log = bit (2) 可能的唯一，为 {6，6} )(b p =361 得到的信息量=) (1 log b p =36log = bit 经过充分洗牌后的一副扑克（52张），问： (a) 任何一种特定的排列所给出的信息量是多少？ (b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？ 解：(a) )(a p =! 521 信息量=) (1 log a p =!52log = bit (b) ? ??????花色任选种点数任意排列 13413!13 )(b p =13 52134!13A ?=1352 13 4C 信息量=1313 52 4log log -C = bit 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和， Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、 )|,(Y Z X H 、)|(X Z H 。
信息论与编码 《信息论与编码》这门课程给我带了很深刻的感受。信息论是人类在通信工程实践之中总结发展而来的，它主要由通信技术、概率论、随机过程、数理统计等相结合而形成。它主要研究如何提高信息系统的可靠性、有效性、保密性和认证性，以使信息系统最优化。学习这门课程之后，我学到了很多知识，总结之后，主要有以下几个方面： 首先是基本概念。信息是指各个事物运动的状态及状态变化的方式。消息是指包括信息的语言、文字和图像等。信号是消息的物理体现，为了在信道上传输消息，就必须把消息加载到具有某种物理特性的信号上去。信号是信息的载荷子或载体。信息的基本概念在于它的不确定性，任何已确定的事物都不含有信息。信息的特征：（1）接收者在收到信息之前，对其内容是未知的。（2）信息是能使认识主体对某一事物的未知性或不确定性减少的有用知识。（3）信息可以产生，也可以消失，同时信息可以被携带、存储及处理。（4）信息是可以量度的，信息量有多少的差别。编码问题可分解为3类：信源编码、信道编 码、加密编码。= 理论上传输的最少信息量 编码效率实际需要的信息量。 接下来，学习信源，重点研究信源的统计特性和数学模型，以及各类离散信源的信息测度 —熵及其性质，从而引入信息理论的一些基本概念和重要结论。本章内容是香农信息论的基础。重点要掌握离散信源的自信息，信息熵（平均自信息量），条件熵，联合熵的的概念和求法及其它们之间的关系，离散无记忆的扩展信源的信息熵。另外要记住信源的数学模型。通过学习信源与信息熵的基本概念，了解了什么是无记忆信源。信源发出的序列的统计性质与时间的推移无关，是平稳的随机序列。当信源的记忆长度为m+1时，该时刻发出的符号与前m 个符号有关联性，而与更前面的符号无关，这种有记忆信源叫做m 阶马尔可夫信源。若上述条件概率与时间起点无关，则信源输出的符号序列可看成齐次马尔可夫链，这样的信源叫做齐次马尔可夫信源。之后学习了信息熵有关的计算，定义具有概率为 () i p x 的符号i x 的自信息量为：()log ()i i I x p x =-。自信息量具有下列特性：（1） ()1,()0i i p x I x ==（2）()0,()i i p x I x ==∞（3）非负性（4）单调递减性（5）可加 性。信源熵是在平均意义上来表征信源的总体特征，它是信源X 的 函数，一般写成H （X ）。信源熵：()()log ()i i i H X p x p x =-∑，条件熵：(|)(,)log (|) i j i j ij H X Y p x y p x y =-∑联合 熵(|)(,)log (,)i j i j ij H X Y p x y p x y =-∑，联合熵 H(X,Y)与熵H(X)及条件熵H(Y|X)的关系： (,)()(|)()(|)H X Y H X H Y X H X H X Y =+=+。互信息: ,(|)(|)(;)(,)log ()(|)log () () j i j i i j i j i ij i j j j p y x p y x I X Y p x y p x p y x p y p y = = ∑ ∑ 。熵的性质：非负性，对称性，确定 性，极值性。 接下来接触到信道，知道了信道的分类，根据用户数可以分为，单用户和多用户；根
1 数字化相关概念 1.1 数字化相关名词 模型：相当于我们常规站的模板一样，各个厂家都按照61850的规则来做。这项工作对于外厂家设备模型文件由外厂家提供，如果是我们自己的，可以向公司技术支持索取。 智能终端：即是操作箱，配置了MASTER板--GOOSE通讯，通过光纤上GOOSE交换机， 走GOOSE报文；开入板--开关刀闸等硬接点开入即是原来测控的功能；开出板--遥控出口、跳闸出口等；直流板--采集温度也是原来测控的功能；从GOOSE板—GOOSE直接跳闸，走GOOSE报文。 直跳：保护发跳闸令后由自己的光纤口通过光缆直接发到智能终端的从GOOSE板光纤 口，没有经过GOOSE交换机的，这种跳闸俗称“直跳”。 直采：光PT、光CT采集数字量后通过光缆发给MU（合并单元），MU再把数字量由自 己的光纤口直接发到各个装置（如测控、保护、电度表）的光纤口，没有经过GOOSE交换机的，这种采集俗称“直采”。 IEDNAME: 即是智能设备名称，61850通讯时，通讯子系统是依据这个IEDNAME来和 每个装置通讯的，所以全站的每个设备IEDNAME都是唯一的，不相同的。 MU: 合并单元的简称，也就是一次设备电压电流量经过光CT、PT转化后，发到合并单 元，合并单元再发给各个装置（保护、测控、电度表）。 MAC地址: GOOSE报文需要用到这个地址，每个设备都有自己的MAC地址，都是唯一 的，这样就好比给每个装置编好号一样，一起上GOOSE网后就可以互相识别谁是谁了。目标MAC地址和源MAC地址，相对于一个装置而言的，MAC源地址类似网卡功能，从源地址发送到目标地址,所以目标MAC地址还是装置本身的。 VLANID: 为了减轻交换机通讯压力，可以通过给装置划分VLAN的方法避免，防止网络 风暴。比如给220KV所有测控VLAN划成3，那么VLANID就是3，这样这些测控可以互相接收以及发送信息而不能接收到以及发送给其他VLAN不是3的装置。说白了就是划成不同的团体。 数据集：即是数据的集合，就是把一个装置的所有信号分成几个小块，一个小块包含一 些装置信息，所有小块组合才是这个装置的完整信息。 61850变电站icd scd cid 文件比较 1）icd文件是单装置能力描述文件，由装置制造厂商提供给系统集成厂商，该文件描述了IED 提供的基本数据模型及服务，但不包含IED实例名称和通信参数。（可认为单装置端子图）2）scd文件是全站描述文件，全站统一的数据源，描述了所有IED的实例配置和通信参数，IED之间的通信配置以及信号联系信息（比如GOOSE连线），由系统集成厂商完成。scd文件是全站icd文件的集合，并完成通信参数和信号联系配置。（可认为全站二次回路图）3）cid文件由装置制造厂商使用装置配置工具根据scd文件中与特定的IED的相关信息自动导出生成，是经过工程配置后（配置iedname，通信参数和GOOSE连线等）的icd文件，现场具体的工程中装置使用cid文件。（可认为是单装置二次回路的联接）
《信息论与编码》教学大纲 一课程简介 课程编号：04254002 课程名称：信息论与编码Informatics & Coding 课程类型：基础课必修课 学时：32 学分：2 开课学期：第六学期 开课对象：通信、电子专业 先修课程：概率论与数理统计、信号与系统、随机信号原理。 参考教材：信息论与编码，陈运，周亮，陈新，电子工业出版社，2002年8月 二课程性质、目的与任务 信息论在理论上指出了建立最佳编码、最佳调制和最佳接收方法的最佳系统的理论原则，它对通信体制和通信系统的研究具有指导意义。提高信息传输的可靠性和有效性始终是通信工作所追求的目标。因此，信息论与编码是从事通信、电子系统工程的有关工程技术人员都必须掌握的基本理论知识。 内容提要：本课程包括狭义相对论和提高通信可靠性的差错控制编码理论。信息论所研究的主要问题是在通信系统设计中如何实现有效性和可靠性。 三教学基本内容与基本要求 本课程总学时为32。其中理论教学为28，实验学时为4。 主要的理论教学内容包括：离散信源和连续信源的熵、条件熵、联合熵和平均互信息量的概念及性质；峰值功率受限和平均功率受限下的最大熵定理和连续信源熵的变换；变长码的霍夫曼编码方法，熟悉编码效率和平均码长的计算；最大后验概率准则和最大似然译码准则等。 实验内容主要包括：离散无记忆信道容量的迭代算法，循环码的编译码。 四教学内容与学时分配 第3章离散信源无失真编码
第6章网络信息论 （教学要求：A—熟练掌握；B—掌握；C—了解） 五实习、实验项目及学时分配 1．离散无记忆信道容量的迭代算法2学时 要求用Matlab编写计算离散信道容量的实用程序并调试成功，加深对信道容量的理解。 2．循环码的编译码2学时 要求用Matlab编写程序，用软件完成循环码的编译码算法。 六教学方法与手段 常规教学与多媒体教学相结合。
《信息论与编码技术》教学大纲 一、课程信息 课程代码：T0808007 课程名称：信息论与编码技术 英文名称：Information Theory and Coding Techniques 课程类别：拓展课 总学时：36 学时 理论学时：36 学时 实践学时：2 学时 学分： 2 学分 开设学期：第6学期 适用对象: 通信工程本科专业学生 考核方式：考查 先修课程：信号与系统，数字信号处理，通信原理，概率论与数理统计 大纲拟定人：张岩 大纲审定人：吴顺伟 二、课程简介 《信息论与编码技术》课程是通信工程专业的专业拓展课，是通信工程专业的选修课程。本课程的主要内容是应用概率统计方法来研究信息的传输、存储和处理，建立通信系统的统计模型，对系统中的每个部分进行系统地描述，信息论理论应用于信源和信道就是编码。信息论与编码技术是一门对现代科学技术的发展具有重大的影响学科。本课程的教学目的是让学生了解香农信息论的基本内容，掌握其中的基本公式和基本运算，培养利用信息论的基本原理分析和解决实际问题的能力，为进一步学习通信和信息以及其他相关领域的高深技术奠定良好的理论基础。 第一章：概论 教学目标和要求：了解信息论的发展的历史，特别是香农信息论的发展；了解本书的主要内容；了解通信系统的模型，信息的传递，概率统计模型。 教学重点与难点：通信系统的数学模型
实践环节：无 建议使用的教学方法与手段：图文结合多媒体讲授 教学学时：理论2学时实践0学时 第一节信息论的发展概况 信息的一般概念；香农信息定义；信息论与编码发展简史、数字通信系统模型 第二节信息论与编码理论的主要内容 第二章：信息熵 教学目标和要求：掌握熵的定义及其性质，掌握各种信源信息熵的相关理论，会计算各种信源的信息熵。 教学重点与难点：信息熵的定义及各种熵的计算 实践环节：无 建议使用的教学方法与手段：图文结合多媒体讲授 教学学时：理论10学时实践0学时 第一节单符号离散信源 信源的数学模型及分类：信源的数学模型；信源的分类，离散信源的信息熵及其性质。自信息；信源的信息熵；熵的基本性质。 第二节多符号离散信源 离散无记忆信源的扩展信源，离散平稳信源，平稳信源的概念；二维平稳信源；一般离散平稳信源 第三节连续信源 单符号连续信源的熵；波形信源的熵；最大熵定理。 第四节离散无失真信源编码定理 第三章：信道容量 教学目标和要求：了解信道容量的定义，掌握各种信道的信道容量的计算方法 教学重点与难点：特殊信道的信道容量；连续信道的信道容量。 实践环节：无 建议使用的教学方法与手段：图文结合多媒体讲授 教学学时：理论6学时实践0学时
信息论与编码 1. 通信系统模型 信源—信源编码—加密—信道编码—信道—信道解码—解密—信源解码—信宿 | | | （加密密钥） 干扰源、窃听者 （解密秘钥） 信源：向通信系统提供消息的人或机器 信宿：接受消息的人或机器 信道：传递消息的通道，也是传送物理信号的设施 干扰源：整个系统中各个干扰的集中反映，表示消息在信道中传输受干扰情况 信源编码： 编码器：把信源发出的消息变换成代码组，同时压缩信源的冗余度，提高通信的有效性 （代码组 = 基带信号；无失真用于离散信源，限失真用于连续信源） 译码器：把信道译码器输出的代码组变换成信宿所需要的消息形式 基本途径：一是使各个符号尽可能互相独立，即解除相关性；二是使各个符号出现的概率尽可能相等，即概率均匀化 信道编码： 编码器：在信源编码器输出的代码组上增加监督码元，使之具有纠错或检错的能力，提高通信的可靠性 译码器：将落在纠检错范围内的错传码元检出或纠正 基本途径：增大码率或频带，即增大所需的信道容量 2. 自信息：()log ()X i i I x P x =-，或()log ()I x P x =- 表示随机事件的不确定度，或随机事件发生后给予观察者的信息量。 条件自信息：//(/)log (/)X Y i j X Y i j I x y P x y =- 联合自信息：(,)log ()XY i j XY i j I x y P x y =- 3. 互信息：;(/) () (;)log log ()()()i j i j X Y i j i i j P x y P x y I x y P x P x P y == 信源的先验概率与信宿收到符号消息后计算信源各消息的后验概率的比值，表示由事件y 发生所得到的关于事件x 的信息量。 4. 信息熵：()()log ()i i i H X p x p x =-∑ 表示信源的平均不确定度，或信源输出的每个信源符号提供的平均信息量，或解除信源不确定度所需的信息量。 条件熵：,(/)()log (/)i j i j i j H X Y P x y P x y =- ∑ 联合熵：,()()log ()i j i j i j H XY P x y P x y =-∑ 5. 平均互信息：,()(;)()log ()() i j i j i j i j p x y I X Y p x y p x p y =∑
信息论与编码理论习题解 第二章-信息量和熵 解: 平均每个符号长为:154 4.0312.032= ?+?秒 每个符号的熵为9183.03log 3 1 23log 32=?+?比特/符号 所以信息速率为444.34 15 9183.0=?比特/秒 解: 同步信号均相同不含信息,其余认为等概, 每个码字的信息量为 3*2=6 比特； 所以信息速率为600010006=?比特/秒 解:(a)一对骰子总点数为7的概率是 36 6 所以得到的信息量为 585.2)366(log 2= 比特 (b) 一对骰子总点数为12的概率是36 1 所以得到的信息量为 17.536 1 log 2= 比特 解: (a)任一特定排列的概率为 ! 521 ,所以给出的信息量为 58.225! 521 log 2 =- 比特 (b) 从中任取13张牌,所给出的点数都不相同的概率为 1352 13 13 521344!13C A =? 所以得到的信息量为 21.134 log 1313 52 2=C 比特. 解:易证每次出现i 点的概率为 21 i ,所以
比特比特比特比特比特比特比特398.221 log 21)(807.1)6(070.2)5(392.2)4(807.2)3(392.3)2(392.4)1(6,5,4,3,2,1,21 log )(26 12=-==============-==∑ =i i X H x I x I x I x I x I x I i i i x I i 解: 可能有的排列总数为 27720! 5!4!3! 12= 没有两棵梧桐树相邻的排列数可如下图求得， Y X Y X Y X Y X Y X Y X Y X Y 图中X 表示白杨或白桦，它有???? ??37种排法，Y 表示梧桐树可以栽 种的位置，它有???? ??58种排法，所以共有???? ??58*???? ??37=1960种排法保证没有 两棵梧桐树相邻，因此若告诉你没有两棵梧桐树相邻时，得到关于树排列的信息为1960log 27720log 22-= 比特 解: X=0表示未录取，X=1表示录取； Y=0表示本市，Y=1表示外地； Z=0表示学过英语，Z=1表示未学过英语，由此得
第一章 1.通信系统的基本模型: 2.信息论研究内容：信源熵，信道容量，信息率失真函数，信源编码，信道编码，密码体制的安全性测度等等 第二章 １.自信息量：一个随机事件发生某一结果所带的信息量。 ２.平均互信息量：两个离散随机事件集合X 和Y ，若其任意两件的互信息量为 I （Xi;Yj ），则其联合概率加权的统计平均值，称为两集合的平均互信息量，用I （X;Y ）表示 ３.熵功率：与一个连续信源具有相同熵的高斯信源的平均功率定义为熵功率。如果熵功率等于信源平均功率，表示信源没有剩余；熵功率和信源的平均功率相差越大，说明信源的剩余越大。所以信源平均功率和熵功率之差称为连续信源的剩余度。信源熵的相对率(信源效率)：实际熵与最大熵的比值 信源冗余度： 0H H ∞=ηη ζ-=1
意义：针对最大熵而言，无用信息在其中所占的比例。 ３.极限熵： 平均符号熵的N 取极限值，即原始信源不断发符号，符号间的统计关系延伸到无穷。 ４. ５.离散信源和连续信源的最大熵定理。 离散无记忆信源，等概率分布时熵最大。 连续信源，峰值功率受限时，均匀分布的熵最大。 平均功率受限时，高斯分布的熵最大。 均值受限时，指数分布的熵最大 ６.限平均功率的连续信源的最大熵功率： 称为平均符号熵。 定义：即无记忆有记忆N X H H X H N X H X NH X H X H X H N N N N N N )() ()()()()()(=≤∴≤≤
若一个连续信源输出信号的平均功率被限定为p ，则其输出信号幅度的概率密度分布是高斯分布时，信源有最大的熵，其值为 1log 22 ep π.对于N 维连续平稳信源来说，若其输出的N 维随机序列的协方差矩阵C 被限定，则N 维随机矢量为正态分布时信源 的熵最大，也就是N 维高斯信源的熵最大，其值为1log ||log 222N C e π+ 7.离散信源的无失真定长编码定理： 离散信源无失真编码的基本原理 原理图 说明： （1） 信源发出的消息：是多符号离散信源消息，长度为L,可以用L 次扩展信 源表示为： X L =(X 1X 2……X L ) 其中，每一位X i 都取自同一个原始信源符号集合（n 种符号）： X={x 1，x 2，…x n } 则最多可以对应n L 条消息。 （2）信源编码后，编成的码序列长度为k,可以用k 次扩展信宿符号表示为： Y k =(Y 1Y 2……Y k ) 称为码字/码组 其中，每一位Y i 都取自同一个原始信宿符号集合： Y={y 1，y 2，…y m } 又叫信道基本符号集合（称为码元，且是m 进制的） 则最多可编成m k 个码序列，对应m k 条消息 定长编码：信源消息编成的码字长度k 是固定的。对应的编码定理称为定长信源编码定理。 变长编码：信源消息编成的码字长度k 是可变的。 8.离散信源的最佳变长编码定理 最佳变长编码定理：若信源有n 条消息，第i 条消息出现的概率为p i ，且 p 1>=p 2>=…>=p n ，且第i 条消息对应的码长为k i ，并有k 1<=k 2<=…<=k n
一、概念简答题（每题5分，共40分） 1.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？ 答：平均自信息为 表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。 平均互信息 表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。 2.简述最大离散熵定理。对于一个有m个符号的离散信源，其最大熵是多少？答：最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。 最大熵值为。 3.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？ 答：信息传输率R指信道中平均每个符号所能传送的信息量。信道容量是一个信道所能达到的最大信息传输率。信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。 平均互信息是信源概率分布的∩型凸函数，是信道传递概率的U型凸函数。 4.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。 答：通信系统模型如下：
数据处理定理为：串联信道的输入输出X、Y、Z组成一个马尔可夫链，且有 ，。说明经数据处理后，一般只会增加信息的损失。 5.写出香农公式，并说明其物理意义。当信道带宽为5000Hz，信噪比为30dB时求信道容量。 .答：香农公式为，它是高斯加性白噪声信道在单位时间内的信道容量，其值取决于信噪比和带宽。 由得，则 6.解释无失真变长信源编码定理。 .答：只要，当N足够长时，一定存在一种无失真编码。 7.解释有噪信道编码定理。 答：当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。 8.什么是保真度准则？对二元信源，其失真矩阵，求a>0时率失真函数的和？ 答：1）保真度准则为：平均失真度不大于允许的失真度。 2）因为失真矩阵中每行都有一个0，所以有，而 。 二、综合题（每题10分，共60分） 1.黑白气象传真图的消息只有黑色和白色两种，求：
第二章 信息量和熵 2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它 的信息速率。 解：同步信息均相同，不含信息，因此 每个码字的信息量为 2?8log =2?3=6 bit 因此，信息速率为 6?1000=6000 bit/s 2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少 信息量。 解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} )(a p = 366=6 1 得到的信息量 =) (1 log a p =6log =2.585 bit (2) 可能的唯一，为 {6，6} )( b p = 36 1 得到的信息量=) (1 log b p =36log =5.17 bit 2.4 经过充分洗牌后的一副扑克（52张），问： (a) 任何一种特定的排列所给出的信息量是多少？ (b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？
解：(a) )(a p = ! 521 信息量=) (1 log a p =!52log =225.58 bit (b) ???????花色任选 种点数任意排列 13413!13 )(b p =13 52134!13A ?=1352 13 4C 信息量=1313 52 4log log -C =13.208 bit 2.9 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的 点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、 ),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。 解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立， 则1x X =，21x x Y +=，321x x x Z ++= )|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H =2?( 361log 36+362log 18+363log 12+364log 9+365log 536)+36 6 log 6 =3.2744 bit )|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ] 而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H =1.8955 bit 或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H
第一单元信息的数字化复习要点 一、信息的基础知识 ★信息的概念 1、信息论的创始人克老德·香农对信息的定义：“信息是能够用来消除不确定性的东西”信息：是指数据、信号、消息中所包含的意义 2、人类社会赖以生存和发展的三大资源:信息、物质、能量（能源） ★信息的特征 1、信息的主要特征：传载性、共享性、可处理性、时效性 信息的其他特征：真伪性、价值相对性 2、信息与载体的联系与区别 【判断题】：信息是一抽象物体，可以独立存在，不需承载于任何物体。（×） 分析：信息可以传递，并且在传递中必须依附于某种载体。 数据所包含的内容是信息，数据是信息的载体。（√） ★信息的处理过程 信息处理的含义和信息处理的过程（获取、存储、加工、表达） 二、信息与数字化 ▲计算机内部的用二进制来表示的原因 1.电路简单，易于表示 2.可靠性高 3.运算简单 【例】以下选项中，（）不是计算机采用二进制的原因。 A 便于识别 B 器件上容易实现 C 节省存储空间 D 运算规律简单 ★数制及数制转换 1、数制中的相关概念。（数码、基数、数位和位权）
2、十进制数与二进制数（整数）之间的转换 1）二进制数转换成十进制数：将二进制数按权值展开求和 2）十进制数转换成二进制数（整数部分）：采用“除2取余，逆序排列”法
答案二进制数右起第n位的值应乘以2n-1 二进制数右起第n位的值应乘以2n 二进制数左起第n位的值应乘以2n 3、计算机中的三种基本运算 （1）算术运算 （2）关系运算 （3）逻辑运算（NOT/AND/OR） 4、二进制数的单位及换算关系 ★信息的数字化 信息数字化（信息编码）的目的及含义 目的：由于计算机内部采用二进制数进行运算和存储，因此，在用计算机进行信息处理之前，首先要把待处理的信息用二进制数来表示，即解决信息的数字化问题。 含义：把各种形式的信息转化为二进制数形式的过程就是信息的数字化，或者叫做信息的 编码。
一填空题（本题20分，每小题2分） 1、平均自信息为 表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。 平均互信息 表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。 2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。 3、最大熵值为。 4、通信系统模型如下： 5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。
6、只要，当N足够长时，一定存在一种无失真编码。 7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。 8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。 9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。 按照信息的地位，可以把信息分成客观信息和主观信息。 人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。 信息的可度量性是建立信息论的基础。 统计度量是信息度量最常用的方法。 熵是香农信息论最基本最重要的概念。 事物的不确定度是用时间统计发生概率的对数来描述的。 10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。 11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对
数的负值 。 12、自信息量的单位一般有 比特、奈特和哈特 。 13、必然事件的自信息是 0 。 14、不可能事件的自信息量是 ∞ 。 15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。 16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。 17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。 18、离散平稳有记忆信源的极限熵，=∞H )/(lim 121-∞→N N N X X X X H 。 19、对于n 元m 阶马尔可夫信源，其状态空间共有 nm 个不同的状态。 20、一维连续随即变量X 在[a ，b]区间内均匀分布时，其信源熵为 log2（b-a ） 。 21、平均功率为P 的高斯分布的连续信源，其信源熵，Hc （X ）=eP π2log 21 2。 22、对于限峰值功率的N 维连续信源，当概率密度 均匀分布 时连续信源熵具有最大值。 23、对于限平均功率的一维连续信源，当概率密度 高斯分布 时，信源熵有最大值。 24、对于均值为0，平均功率受限的连续信源，信源的冗余度决定于平均功率的限定值P 和信源的熵功率P 之比 。
新修订高中阶段原创精品配套教材 信息的数字化表示――编码教材定制 / 提高课堂效率 /内容可修改 Digital representation of information-coding 教师：风老师 风顺第二中学 编订：FoonShion教育
信息的数字化表示――编码 一、课题： 二、教学要求： 使学生进一步理解数的编码方式，并能进行数制的转换。 三、教学的重点与难点： 把十进制数转换成二进制数。 四、教学过程： 1．引言 信息时代几乎一切信息都要转换成数字，才能用计算机和通信技术进行传播和交流。用数字表示各种信息，叫做信息的数字化表示，也叫信息的编码，这是信息技术的重要环节。这节课我们一起来学习：数的编码方式。 2．十进制和二进制 向学生分别介绍十进制数和二进制数的特点。 (1) 把十进制整数转换为二进制数 因为同学们第一次进行这种运算，所以老师必须一步一步讲清楚，让同学掌握数制转换的方法。
(2) 除2取余 把一个十进制整数转换为十进制数，只要将这个十进制整数一次又一次地被2除，得到的余数（从最后一次的余数写起）就是用二进制表示的数。 [例1] 把十进制数17转换为二进制数 解： 2 2 2 2 2 2 17 8 1 4 0 4 0 2 0 1 1 ∴ 17（10）＝10001(2) 让学生练习：11（10）＝(2) 92（10）＝(2)
129（10）＝(2) 136（10）＝(2) 248（10）＝(2) 注意：把一个十进制数转换为二进制数，整数部分可以用除2取余法，对于小数部分就用基数2连续去乘它，直到乘积的小数部分等于“0”为止。如果十进制小数不能用有限位二进制小数表示时，那么可以根据对精度的要求，选取一定的位数。下面列举两个例子： [例2] 把十进制数123.75转换为二进制数 解： 2 2 2 2 2 2 2 2 123 61 1 30 1 15 0
1. 在无失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。 2. 要使通信系统做到传输信息有效、可靠和保密，必须首先 信源 编码， 然后_____加密____编码，再______信道_____编码，最后送入信道。 3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)C W SNR =+；当归一化信道容量C/W 趋近于零时，也即信道完全丧失了通信能力，此时E b /N 0为 -1.6 dB ，我们将它称作香农限，是一切编码方式所能达到的理论极限。 4. 保密系统的密钥量越小，密钥熵H (K )就越 小 ，其密文中含有的关于明文的信息量I (M ；C )就越 大 。 5. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001?? ???? ；D max ＝ 0.5 ，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010?? ???? 。 二、判断题 1. 可以用克劳夫特不等式作为唯一可译码存在的判据。 （√ ） 2. 线性码一定包含全零码。 （√ ） 3. 算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的 编码，是以另外一种形式实现的最佳统计匹配编码。 （×） 4. 某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，就有信息量。 （×） 5. 离散平稳有记忆信源符号序列的平均符号熵随着序列长度L 的增大而增大。 （×） 6. 限平均功率最大熵定理指出对于相关矩阵一定的随机矢量X ，当它是正态分布时具 有最大熵。 （√ ） 7. 循环码的码集中的任何一个码字的循环移位仍是码字。 （√ ） 8. 信道容量是信道中能够传输的最小信息量。 （×） 9. 香农信源编码方法在进行编码时不需要预先计算每个码字的长度。 （×） 10. 在已知收码R 的条件下找出可能性最大的发码i C 作为译码估计值，这种译码方 法叫做最佳译码。 （√ ） 三、计算题 某系统（7，4）码 )()(01201230123456c c c m m m m c c c c c c c ==c 其三位校验 位与信息位的关系为：
信息论与编码理论习题（三） 一、填空题（每空2分，共32分）。 1.在现代通信系统中，信源编码主要用于解决信息传输中的 ，信道编码主要用于解决信息传输中的 ，加密编码主要用于解决信息传输中的 2.离散信源?? ????=??????8/18/14/12/1)(4321x x x x x p X ，则信源的熵为 。 3.采用m 进制编码的码字长度为K i ，码字个数为n ，则克劳夫特不等式为 ，它是判断 的充要条件。 4.如果所有码字都配置在二进制码树的叶节点，则该码字为 。 5.齐次马尔可夫信源的一步转移概率矩阵为P ，稳态分布为W ，则W 和P 满足的方程为 。 6.设某信道输入端的熵为H(X)，输出端的熵为H(Y)，该信道为无噪有损信道，则该信道的容量为 。 7.某离散无记忆信源X ，其符号个数为n ，则当信源符号呈 分布情况下，信源熵取最大值 。 8.在信息处理中，随着处理级数的增加，输入消息和输出消息之间的平均互信息量趋于 。 二．选择题（共10分，每小题2分） 1、有一离散无记忆信源X ，其概率空间为? ? ????=??????125.0125.025.05.04321x x x x P X ，则其无记忆二次扩展信源的熵H(X 2)=( ) A 、1.75比特/符号； B 、3.5比特/符号； C 、9比特/符号； D 、18比特/符号。 2、信道转移矩阵为112132425363(/)(/) 000000(/)(/)000000(/)(/)P y x P y x P y x P y x P y x P y x ?????? ???? ，其中(/)j i P y x 两两不相等，则该信道为 A 、一一对应的无噪信道 B 、具有并归性能的无噪信道 C 、对称信道 D 、具有扩展性能的无噪信道 3、设信道容量为C ，下列说法正确的是：（ ） A 、互信息量一定不大于C
实验报告 课程名称：信息论与编码姓名： 系：专 业：年 级：学 号：指导教 师：职 称：
年月日 目录 实验一信源熵值的计算 (1) 实验二Huffman 信源编码. (5) 实验三Shannon 编码 (9) 实验四信道容量的迭代算法 (12) 实验五率失真函数 (15) 实验六差错控制方法 (20) 实验七汉明编码 (22)
实验一信源熵值的计算 、实验目的 1 进一步熟悉信源熵值的计算 2 熟悉Matlab 编程 、实验原理 熵(平均自信息)的计算公式 q q 1 H(x) p i log2 p i log2 p i i 1 p i i 1 MATLAB实现：HX sum( x.* log2( x))；或者h h x(i)* log 2 (x(i )) 流程：第一步：打开一个名为“ nan311”的TXT文档，读入一篇英文文章存入一个数组temp，为了程序准确性将所读内容转存到另一个数组S，计算该数组中每个字母与空格的出现次数( 遇到小写字母都将其转化为大写字母进行计数) ，每出现一次该字符的计数器+1；第二步：计算信源总大小计算出每个字母和空格出现的概率；最后，通过统计数据和信息熵公式计算出所求信源熵值(本程序中单位为奈特nat )。 程序流程图： 三、实验内容 1、写出计算自信息量的Matlab 程序 2、已知：信源符号为英文字母(不区分大小写)和空格输入：一篇英文的信源文档。输出：给出该信源文档的中各个字母与空格的概率分布，以及该信源的熵。 四、实验环境 Microsoft Windows 7
五、编码程序 #include"stdio.h" #include
2进制数 数制是人们利用符号进行计数的科学方法。数制有很多种，在计算机中常用的数制有：十进制，二进制和十六进制。 1．十进制数 人们通常使用的是十进制。它的特点有两个：有0，1，2….9十个基本字符组成,十进制数运算是按“逢十进一”的规则进行的. 在计算机中,除了十进制数外,经常使用的数制还有二进制数和十六进制数.在运算中它们分别遵循的是逢二进一和逢十六进一的法则. 2．二进制数 3．二进制数有两个特点：它由两个基本字符0，1组成，二进制数运算规律是逢二进一。 为区别于其它进制数，二进制数的书写通常在数的右下方注上基数2，或加后面加B表示。 例如：二进制数10110011可以写成（10110011）2,或写成10110011B,对于十进制数可以不加注.计算机中的数据均采用二进制数表示,这是因为二进制数具有以下特点： 1）二进制数中只有两个字符0和1，表示具有两个不同稳定状态的元器件。例如，电路中有，无电流，有电流用1表示，无电流用0表示。类似的还比如电路中电压的高，低，晶体管的导通和截止等。 2）二进制数运算简单，大大简化了计算中运算部件的结构。 二进制数的加法和乘法运算如下： 0+0=0 0+1=1+0=1 1+1=10 0×0=0 0×1=1×0=0 1×1=1 由于二进制数在使用中位数太长,不容易记忆,所以又提出了十六进制数. 3.十六进制数
十六进制数有两个基本特点:它由十六个字符0～9以及A，B，C，D，E，F组成（它们分别表示十进制数0～15），十六进制数运算规律是逢十六进一，鹩谄渌剖氖樾赐ǔT谑挠蚁路阶⑸保叮蚣雍竺婕樱缺硎尽?/SPAN> 例如：十六进制数4AC8可写成（4AC8）16，或写成4AC8H。 4．数的位权概念 5．一个十进制数110，其中百位上的1表示1个102，既100，十位的1表示1个101，即10，个位的0表示0个100，即0。 一个二进制数110，其中高位的1表示1个22，即4，低位的1表示1个21，即2，最低位的0表示0个20，即0。 一个十六进制数110，其中高位的1表示1个162，即256，低位的1表示1个161，即16，最低位的0表示0个160，即0。 可见，在数制中，各位数字所表示值的大小不仅与该数字本身的大小有关，还与该数字所在的位置有关，我们称这关系为数的位权。 十进制数的位权是以10为底的幂，二进制数的位权是以2为底的幂，十六进制数的位权是以16为底的幂。数位由高向低，以降幂的方式排列。 1.二进制数、十六进制数转换为十进制数（按权求和） 二进制数、十六进制数转换为十进制数的规律是相同的。把二进制数（或十六进制数）按位权形式展开多项式和的形式，求其最后的和，就是其对应的十进制数——简称“按权求和”. 例如:把(1001.01)2转换为十进制数。 解：（1001.01）2 =1×23+0×22+0×21+1×20+0×2-1+1×2-2 =8+0+0+1+0.5+0.25
信息论与编码知识点分布 注： （1）复习过程中参考如下知识点，重点复习教材与多媒体讲义中的相关内容，在理解的基础上进行针对性公式记忆。 （2）期末考试题量较大，题型较为灵活，求解速度很重要。因此复习中对典型例题、讲义中典型习题、教材中模拟题等要熟练掌握求解方法。 第二章 信源与信源熵 1信源的不确定性 2单符号离散信源 （1）单符号离散信源的数学模型 1212,, ,,,(), (), ,(), , ()()i n i n x x x x X p x p x p x p x P X ?? ??? =???????? ? （2）单符号离散信源的信息量（自信息量 、联合信息量、条件信息量及三种信息量的关系） 自信息量： ()log ()i i I x p x =- 条件信息量： 2(/)log (/)i j i j I x y p x y =- 联合信息量： 22()log ()log ()(/)()(/)()(/) i j i j j i j i i j j j i I x y p x y p y p x y I x I x y I y I y x =-=-=+=+ 互信息量： 2 (/)(;)log ()(/)()()()() i j i j i i j i j i j i p x y I x y I x I x y I x I y I x y p x ==-=+- 信源熵： ∑=-===n i i i i i x p x p x p E x I E X H 1 22)(log )(])(1 [log )]([)( 条件熵： ∑∑=== =m j n i j i j i j i y x I y x p y x I E Y X H 1 1 )/()()]/([)/( 联合熵： ∑∑∑∑====-== n i m j n i m j j i j i j i j i y x p y x p y x I y x p XY H 1 1 1 1 2 )(log )()()()( 熵函数的性质：非负性；对称性；最大离散熵定理；扩展性；可加性；极值性； 平均互信息量：