北京理工大学信息论第八章

数学期望和方差是两个重要的数字特征，分别表示单个随机变量的平均值和离散程度；而对于多维随机变量，不仅能够确定边缘分布，还包含各分量之间关系的信息.刻划两个r.v.间相互关系的一个重要数字特征：协方差和相关系数若DX 、DY 存在，则有D (X ±Y )=DX +DY ±2E [(X−EX )(Y−EY )]这说明E [(X −EX )(Y −EY )]表达了X 与Y 之间的某种关系.且当X 和Y 独立时，有D (X ±Y )=DX +DY即：若X 和Y 独立，从而有结论：若E [(X −EX )(Y −EY )]≠0，则X 和Y 不独立.则有E [(X−EX )(Y−EY )]=0协方差1.定义设：二维随机变量(X ,Y )，它的分量的数学期望为E (X )和E (Y )，若E [(X −E (X ))(Y −E (Y ))]存在，则称它为X ,Y 的协方差，记为Cov (X ,Y )，即一、协方差（Covariance ）()(,)(())(())Cov X Y E X E X Y E Y =--协方差为正说明同向变化程度更高;协方差为负说明反向变化程度更高2.计算（1）若二维离散型随机变量(X ,Y )的联合分布律为P (X =x i ,Y =y j )=p ij i,j =1,2,…（2）若二维连续型随机变量(X ,Y )的密度函数为f (x ,y )且Cov (X,Y )存在，则E [g (X ,Y )] E [g (X ,Y )] (,)[(())(())]Cov X Y E X E X Y E Y =--11(())(())i j iji j x E X y E Y p ∞∞===--∑∑(,)[(())(())]Cov X Y E X E X Y E Y =--(())(())(,)x E X y E Y f x y dxdy+∞+∞-∞-∞=--⎰⎰可见，若X 与Y 独立，Cov (X ,Y )=0.Cov (X ,Y )=E {[X -E (X )][Y -E (Y )]}=E (XY )-E (X )E (Y )-E (Y )E (X )+E (X )E (Y )=E (XY )-E (X )E (Y )=E {XY -XE (Y )-YE (X )+E (X )E (Y )}（3）Cov (X ,Y )=E (XY )-E (X )E (Y )证明：（5）Cov (X 1+X 2,Y )=Cov (X 1,Y )+Cov (X 2,Y )（2）Cov (X ,Y )=Cov (Y ,X )3.简单性质（4）Cov (aX ,bY )=abCov (X ,Y )a ,b 是常数（6）若X ,Y 的协方差Cov (X ,Y )存在，则E (XY )=E (X )E (Y )+Cov (X ,Y )（3）Cov (X ,X )=D (X )（1）Cov (X ,a )=0若X 1,X 2,…,X n 两两独立，则有D (X +Y )=D (X )+D (Y )+2Cov (X ,Y )4.随机变量和的方差与协方差的关系11()()n ni i i i D X D X ===∑∑11()()2(,)n ni i i j i j i i D X D X Cov X X <===+∑∑∑∑例1.设：随机变量X 和Y 的联合概率分布为求X 和Y 的协方差.解：,()[()](,)i j iji j E Z E g X,Y g x y p ==∑YX−1 0 1 010.06 0.18 0.160.080.32 0.20Cov (X ,Y )=E (XY )-E (X )E (Y )E (XY )=0×(−1)×0.06+0×0×0.18+0×1×0.16+1×(−1)×0.08+1×0×0.32+1×1×0.20=0.12另外，X 和Y 的边缘分布律分别为所以YX−1 0 1 010.06 0.18 0.160.080.32 0.20X 0 1P 0.4 0.6Y−1 0 1 P 0.14 0.5 0.36EY =−1×0.14+0×0.5+1×0.36=0.22EX =0×0.4+1×0.6=0.6E (XY )=0.12Cov (X ,Y )=E (XY )-E (X )E (Y )Cov (X ,Y )=E (XY )-E (X )E (Y )=0.12-0.6×0.22=-0.012例2.设：(X,Y)在圆域D={(x,y):x2+y2≤r2(r>0)}上服从均匀分布，求Cov(X,Y).解：易知(X,Y)的联合概率密度为所以22222221,(,)0,x y r f x y rx y rπ⎧+≤⎪=⎨⎪+>⎩22221x y ry dxdyrπ+≤=⋅⎰⎰=22221x y rx dxdyrπ+≤=⋅⎰⎰=(,)EX xf x y dxdy+∞+∞-∞-∞=⎰⎰(,)EY yf x y dxdy+∞+∞-∞-∞=⎰⎰所以E (X )=E (Y )=0Cov (X ,Y )=E (XY )-E (X )E (Y )=0此题表明，Cov (X ,Y )等于0,但X 与Y 不独立，.22222221, (,)0,x y r f x y r x y r π⎧+≤⎪=⎨⎪+>⎩(,)EXY xyf x y dxdy +∞+∞-∞-∞=⎰⎰22221x y r xy dxdy r π+≤=⋅⎰⎰0=协方差衡量了X和Y之间同向或反向的变化趋势。

北理工《多媒体技术》拓展资源（八）第八章多媒体网络基础一、多媒体服务类型的分类。

1、段行为(PHB)使用6位区分服务码点(DSCP)表示在理论上，6位代码可定义64种不同的交通类型和等级，但RFC文件仅定义了为数不多的服务类型和等级，其余的留给网络操作员定义。

2、IETF已经定义的段行为(PBH)有如下4种(1) 默认型PHB(定义在RFC 2474中)典型的尽力服务型，其行为是尽力转发数据包。

不适合其他类型的段行为都归到这里，推荐使用的区分服务码点(DSCP)为000000。

(2) 急转(expedited forwarding, EF)型PBH(定义在RFC 3246中)最简单的服务类型，提供时延短、抖动小和丢包少的服务，适合用于声音、影视和其他实时应用的服务。

急转型的交通可以这样理解: 假设网络只提供常规和急转两个等级的服务，大多数(如80%)数据包都是常规的，只有少量数据包(如(20%))是要急转的。

实现这种服务策略的一种方法是，在路由器中编写一段有两个输出队列的程序，一个用于转发常规数据包，另一个用于转发急转数据包。

在这种情况下，可将30%甚至更多的带宽专门用于转发20%的急转数据包，其他的带宽用于转发常规数据包(3) 保障转发型(assured forwarding, AF) PBH(RFC2597)服务质量等级的详细描述。

保障服务指定了4种优先等级，每级都规定了使用的资源(如缓存大小，接口带宽)。

到底使用哪一级转发数据包，这要取决于服务商的服务等级协议(SLA)该方案还定义了在网络遭遇拥塞时，把数据包扔掉的3种概率：低(Low Drop)、中(Med Drop)和高(High Drop)。

因此服务质量等级就有4×3=12种。

参考用的12种服务质量等级的区分服务码点(DSCP)见表17-3。

保障转发数据包的过程见图17-14，步骤如下1）使用分类器(classifier)将数据包分到4个等级中的一个2）按照给定的服务等级，使用标记器(marker)对数据包做标记，也就是分配区分服务码点(DSCP)3）将数据包送到整形器/删除器(shaper/dropper)进行调整，产生符合服务质量等级要求的数据包流。

信息论复习1．消息、信号、信息的含义、定义及区别。

信息是指各个事物运动的状态及状态变化的方式。

消息是指包含信息的语言，文字和图像等。

信号是消息的物理体现。

消息是信息的数学载体、信号是信息的物理载体信号：具体的、物理的消息：具体的、非物理的信息：非具体的、非物理的同一信息，可以采用不同形式的物理量来载荷，也可以采用不同的数学描述方式。

同样，同一类型信号或消息也可以代表不同内容的信息信息是可以量度的，信息量有多少的差别。

4．信息论的起源、历史与发展。

1948年，Shannon提出信息论，“通信中的数学理论”—现代信息论的开创性的权威论文，为信息论的创立作出了独特的贡献。

6．通信的目的？要解决的最基本问题？通信有效性的概念。

提高通信有效性的最根本途径？通信可靠性的概念。

提高通信可靠性的最根本途径？通信安全性的概念，提高通信安全性的最根本途径？通信系统的性能指标主要是有效性，可靠性，安全性和经济性。

通信系统优化就是使这些指标达到最佳。

从提高通信系统的有效性意义上说，信源编码器的主要指标是它的编码效率，即理论上所需的码率与实际达到的码率之比。

提高通信有效性的最根本途径是信源编码。

减少冗余。

提高可靠性：信道编码。

增加冗余。

7．随机事件的不确定度和它的自信息量之间的关系及区别？单符号离散信源的数学模型，自信息量、条件自信息量、联合自信息量的含义？信源符号不确定度：具有某种概率的信源符号在发出之前，存在不确定度，不确定度表征该符号的特性。

符号的不确定度在数量上等于它的自信息量，两者的单位相同，但含义不同：•不确定度是信源符号固有的，不管符号是否发出；•自信息量是信源符号发出后给予收信者的；•为了消除该符号的不确定度，接受者需要获得信息量。

自信息量条件自信息量：联合自信息量：8．信息量的性质？含义？分别从输入端、输出端和系统总体来理解互信息量的含义。

自信息量指的是该符号出现后，提供给收信者的信息量。

9. 各种熵（信源熵，条件熵，联合熵（共熵），等）的含义及其关系。

北京理工大学2016版学术型研究生培养方案学科专业：信息与通信工程学科代码：081000信息与通信工程（081000）一、学科简介及研究方向“信息与通信工程”一级学科包含4个二级学科：通信与信息系统，信号与信息处理，信息安全与对抗，目标探测与识别。

本学科点始于1953年建立的雷达专业和遥控遥测专业，是我国首批从事雷达、遥控遥测领域科研与专业人才培养的单位之一，是我国第一个完成电视发射和接收试验系统并拥有我国第一频道的学科点。

1956年开始招收二年制研究生。

1984年建立通信与电子系统博士点，1987、2002年均被评为国家重点学科。

2007年被评为国家一级重点学科。

经过六十余年的发展，本学科已成为我国在信息与通信工程学科领域承担国家和国防重大课题研究、高新技术研发与高层次人才培养的重要基地，在不同时期均产生出技术引领和带动作用显著的代表性研究成果，并为国家和国防科研部门等单位输送了大批优秀人才。

本学科从事各类电子信息与通信系统的原理、体制与处理方法研究，包括信息获取、传输、处理、存储、交换、识别、对抗等。

主要研究方向有:通信与信息系统：该方向主要包括高效空间信号处理技术与信源编译码技术，高数据速率、低信噪比无线传输技术，复杂电磁环境下的无线传输技术，宽带卫星传输与网络技术，空天地一体化信息网络,无线宽带多媒体通信、处理、计算与存储一体化技术，移动通信和网络技术，分布式网络和信息系统等。

该学科方向在下一代移动通信、空间通信信号处理方面的研究工作在国际和国内都具有较强的影响力。

信号与信息处理：该方向主要研究信号处理基础理论及其在新体制雷达、航天测控通信、卫星导航定位、空间目标探测与识别、电子信号侦察等领域的应用。

具体研究内容包括：高速交会目标相对定位测量方法与技术、天基空间目标与环境感知技术、航天测控通信技术、卫星导航定位技术、空间目标探测与成像技术、复杂战场环境下目标探测信号处理技术、高灵敏度电子信号侦察处理技术等，在高速交会目标无线电相对定位测量和空间目标雷达探测方面处于国际领先水平。

852宏微观经济学知识点一、参考资料1、《宏观经济学》、《微观经济学》（高鸿业版）2、与上述教材配套的课后习题集3、北京理工大学应用经济专业历年考研真题4、金圣才考研真题（选做）二、各章知识点学习内容（章节要求、知识点）第一章了解第二章主要内容是需求和供给曲线,内容较简单，只需掌握基本概念即可。

以下术语可能会考名词解释：需求函数，需求曲线，需求弹性（包括价格弹性和交叉弹性），供给函数，供给曲线，供给弹性，恩格尔定律，等等，但考试几率较小，不过这些概念都比较基本，所以掌握也比较容易。

同时要了解影响需求，供给弹性的因素。

总体上来说，本章考点不多。

第三章效用论，重要知识点较多。

（1）名词解释：边际效用递减规律；消费者均衡、消费者剩余；无差异曲线；边际替代率；边际替代率递减规律；预算约束线；补偿预算线；三个曲线（价格消费曲线，收入消费曲线，恩格尔曲线）；替代效应和收入效应；低档物品、吉芬物品（2）问答题：基数效用论和序数效用论的比较（区别和联系）；正常物品，低档物品，吉芬物品的替代效应和收入效应需求曲线的推导（序数效用论由价格消费曲线推导；基数效用论由消费者效用最大化和边际效用递减来推导）消费者效用最大化的均衡条件；需求曲线上的每一点都满足消费者效用最大化条件；预算约束线的含义第四章生产论常考点：生产函数；边际收益递减规律和边际报酬递减规律；总产量、平均产量、边际产量的关系；等成本线TC、AC，MC等成本曲线之间的关系；规模报酬总产量、平均产量和边际产量之间的关系及短期生产的三个阶段第五章成本论常考点：成本的概念，显成本、隐成本；短期总产量和短期总成本短期成本曲线：总不变成本、总可变成本、总成本、平均不变成本、平均可变成本、平均总成本、边际成本；短期成本变动的决定因素、短期产量曲线与短期成本曲线之间的关系。

长期成本曲线：长期平均成本曲线的推导、长期边际成本曲线的推导；规模经济与规模不经济；外在经济与外在不经济第六章完全竞争市场常考点：不同类型市场的划分和特征；完全竞争市场的条件及厂商的均衡；厂商实现利润最大化的条件完全竞争厂商短期均衡的各种情况；完全竞争厂商的短期供给曲线以及整个行业的短期供给曲线生产者剩余；完全竞争厂商的长期均衡第七章不完全市场常考点：垄断市场的条件、自然垄断；垄断厂商的需求曲线和收益曲线；垄断厂商的短期均衡；垄断厂商的供给曲线和长期均衡价格歧视；自然垄断和政府管制，对自然垄断的政府管制形式；垄断竞争市场特点及厂商的长期和短期均衡寡头市场特点及分析模型（古诺模型、斯威齐模型及计算）；不同市场的经济效率的比较第八章生产要素价格决定的需求方面常考点：生产要素种类及价格；生产要素价格决定；引致需求；完全竞争厂商使用生产要素原则；卖方垄断和买方垄断要素使用原则第九章生产要素价格决定的供给方面常考点：生产要素的供给；个人劳动供给曲线以及工资的决定；市场的劳动供给曲线和劳动力市场的均衡；洛伦茨曲线和基尼系数第十章一般均衡和福利经济学掌握经济效率、判断经济效率的标准及实现经济效率具备的条件；经济效率实现的条件；经济效率、帕累托最优。

第1章 绪论1.1 信源、编码器、信道、干扰、译码器、信宿 1.2 香农1.3 通信系统模型1.4信号是消息的表现形式，是物理的，比如电信号、光信号等。

消息是信息的载荷者，是信号的具体容，不是物理的，但是又比较具体，例如语言、文字、符号、图片等。

信息包含在消息中，是通信系统中被传送的对象，消息被人的大脑所理解就形成了信息。

1.5 略第2章 信息的统计度量2.1 少2.2 y 的出现有助于肯定x 的出现、y 的出现有助于否定x 的出现、x 和y 相互独立 2.3 FTTTF 2.4 2.12比特2.5依题意，题中的过程可分为两步，一是取出一枚硬币恰好是重量不同的那一枚，设其发生的概率为1p ，由于每枚硬币被取出的概率是相同的，所以1181p =所需要的信息量()()1log 6.34I A p bit =-=二是确定它比其他硬币是重还是轻，设其发生的概率为2p ，则212p =总的概率12111812162p p p ==⨯=所需要的信息量()log log1627.34I p bit =-==2.6 设A 表示“大学生”这一事件，B 表示“身高1.60m 以上”这一事件，则()()()0.250.5|0.75p A p B p B A ===故()()()()()()|0.750.25|0.3750.5p AB p A p B A p A B p B p B ⨯====()()()11|loglog 1.42|0.375I A B bit p A B ===2.7 四进制波形所含的信息量为()log 42bit =，八进制波形所含信息量为()log 83bit =，故四进制波形所含信息量为二进制的2倍，八进制波形所含信息量为二进制的3倍。

2.8()()()()()()2322log 3log 32log 3 1.585I p bit I p bit I I =-=-==故以3为底的信息单位是比特的1.585倍。

第七章 卷积码差错控制编码系统中除了使用分组码之外，另一类广泛应用的称为卷积码，在分组码的编码和译码过程中，每个码字的监督元只与本码字的信息元有关，而与其它码字的信息元无关，即分组码的编码器是一个无记忆的逻辑电路。

但是，卷积码的编码过程中，本码字的监督元不仅与本码字的信息元有关，而且与前m 个码字的信息元有关，因此卷积码的编码器是一个有记忆的时序电路。

卷积码由于更充分地利用码字之间的相关性，可以减少码字长度，简化编译码电路，并得到较好的差错控制性能，因此卷积码在通信领域，特别是卫星通信，空间通信领域得到广泛的应用。

7.1 卷积码的基本原理 7.1.1 卷积码的基本概念[例子]：通过一个例子说明卷积码的一些基本概念； 图7-1给出了一个(3,2,2)卷积码编码器的原理图，ci (3)mi (1)mi (2)ci (2)ci (1)图7-1 (3,2,2)卷积码编码器原理图当某一时刻，编码器输入并行一个信息码字为m i =[m i (1),m i (2)]，编码器并行输出由三个码元组成的卷积码的码字，[c i ]=[c i (1),c i (2),c i (3)]=[m i (1),m i (2),p i ]。

[c i ]称为一个码字。

m i 为信息元，p i 为监督元。

可以看出卷积码的输入输出关系为：c i (1)=m i (1) c i (2)=m i (2)c i (3)=m i (1)+m i (2)+m i-1(2)+m i-2(1)可见，卷积码当前输出的码字的监督元不仅与当前输入的信息元有关而且还与前2个码元有关。

这时编码器由2级移位寄存器构成。

定义：卷积码字中码元的个数为n 0，码字中信息元个数为k 0，由m 级移位寄存器构成的编码器称m 为编码码字约束长度。

有的教材称m’=m+1为约束长度，(m+1)n 0为编码码元约束长度。

卷积码记为(n 0,k 0,m)。

定义：R=k 0/n 0为码率(Code rate)。