信息论期末总结
- 格式:doc
- 大小:388.00 KB
- 文档页数:12
书中:1.信息科学,材料科学,能源科学仪器被称为当代的“三大支柱”。
2.带宽与数据传输速率信道带宽与数据传输速率的关系可以奈奎斯特(Nyquist)准则与香农(Shanon)定律描述。
奈奎斯特准则指出:如果间隔为π/ω(ω=2πf),通过理想通信信道传输窄脉冲信号,则前后码元之间不产生相互窜扰。
因此,对于二进制数据信号的最大数据传输速率Rmax 与通信信道带宽B (B=f,单位Hz)的关系可以写为:Rmax =2.f(bps);对于二进制数据若信道带宽B=f=3000Hz ,则最大数据传输速率为6000bps 。
香农定理则描述了有限带宽、有随机热噪声信道的最大传输速率与信道带宽、信噪比之间的关系。
香农定理指出:在有随机热噪声的信道上传输数据信号时,数据传输速率Rmax 与信道带宽B 、信噪比S/N 的关系为: Rmax =B.log2(1+S/N)3.自信息量的性质:非负性、必然事件信息量为0、不可能事件信息量为无穷、信息量是概率的单调递减函数。
4.当X 和Y 相互独立时,互信息为0.5.信源熵表征信源的平均不确定度,平均自信息量是消除信源不确定度所需要的信息的量度。
6信源熵H(X)与信息率R 和信道容量C 的关系:不论何种信道,只要信息率R 小鱼信道容量C ,总能找到一种编码,能在信道上以任意小的错误概率和任意接近于C 的传输率来传送信息。
反之,若R>C,则传输总要产生失真。
又由无失真信源编码定理可知,要做到几乎无失真信源编码,信息率R 必须大于信源熵H (X )。
故三者的关系为:H(x)<=R<=C7.保真度准则下的信源编码定理:即译码平均失真度大于允许失真度。
8.香农三个基本编码定理:无失真信源编码定理、信道编码定理和限失真信源编码定理。
三个基本概念:信源熵、信道容量和信息率失真函数。
9.信源编码、信道编码和安全编码信源编码是以提高通信有效性为目的的编码。
通常通过压缩信源的沉余度来实现。
● 消息中包含信息,消息是信息的载体。
信息:信息是对事物运动状态或存在方式的不确定性的描述。
● 通信的过程就是消除不确定性的过程。
● 信息与概率的关系:● 事件发生的概率越大,该事件包含的信息量越小;● 如果一个事件发生的概率为1,那么它包含的信息量为0;●● 某个消息的不确定性(含有的信息量)可以表示为: ● 信源的平均不确定性:● 信源发出的消息的统计特性离散信源、连续信源、波形信源 有记忆信源和无记忆信源 平稳信源和非平稳信源● 编码器的功能:将消息变成适合信道传输的信号 ● 编码器包括:(1)信源编码器(2)信道编码器(3)调制器 ● 信源编码器:去除信源消息中的冗余度,提高传输的有效性● 信道编码器:将信源编码后的符号加上冗余符号,提高传输的可靠性。
● 调制器:功能:将信道编码后的符号变成适合信道传输的信号 目的: 提高传输效率 ● 信道的统计特性无噪声信道、有噪声信道离散信道、连续信道、波形信道 有记忆信道和无记忆信道恒参信道(平稳信道)和随参信道(非平稳信道) 单用户信道和多用户信道● 信道传输信息的最高速率:信道容量● 译码器的功能:从接收到的信号中恢复消息。
包括:(1)解调器(2)信道译码器(3)信源译码器 ● 提高有效性: (数据压缩)信源编码:无失真信源编码和限失真信源编码 ● 提高可靠性: (可靠传输) 信道编码● 香农第一定理: 如果编码后的信源序列的编码信息率不小于信源的熵,那么一定存在一种无失真信源编码方法;否则,不存在这样的一种无失真信源编码方法。
∑=-=qi i i x p x p X H 1)(log )()(● 香农第二定理:如果信道的信息传输率小于信道容量,那么总可以找到一种编码方式,使得当编码序列足够长时传输差错任意小;否则,不存在使差错任意小的信道编码方式。
● 香农第三定理:对于任意的失真度 ,只要码字足够长,那么总可以找到一种编码方法,使编码后的编码信息率 ,而码的平均失真度 。
信息论与编码1. 通信系统模型信源—信源编码—加密—信道编码—信道—信道解码—解密—信源解码—信宿 | | |(加密密钥) 干扰源、窃听者 (解密秘钥)信源:向通信系统提供消息的人或机器信宿:接受消息的人或机器信道:传递消息的通道,也是传送物理信号的设施干扰源:整个系统中各个干扰的集中反映,表示消息在信道中传输受干扰情况 信源编码:编码器:把信源发出的消息变换成代码组,同时压缩信源的冗余度,提高通信的有效性 (代码组 = 基带信号;无失真用于离散信源,限失真用于连续信源)译码器:把信道译码器输出的代码组变换成信宿所需要的消息形式基本途径:一是使各个符号尽可能互相独立,即解除相关性;二是使各个符号出现的概率尽可能相等,即概率均匀化信道编码:编码器:在信源编码器输出的代码组上增加监督码元,使之具有纠错或检错的能力,提高通信的可靠性译码器:将落在纠检错范围内的错传码元检出或纠正基本途径:增大码率或频带,即增大所需的信道容量2. 自信息:()log ()X i i I x P x =-,或()log ()I x P x =-表示随机事件的不确定度,或随机事件发生后给予观察者的信息量。
条件自信息://(/)log (/)X Y i j X Y i j I x y P x y =-联合自信息:(,)log ()XY i j XY i j I x y P x y =-3. 互信息:;(/)()(;)log log ()()()i j i j X Y i j i i j P x y P x y I x y P x P x P y ==信源的先验概率与信宿收到符号消息后计算信源各消息的后验概率的比值,表示由事件y 发生所得到的关于事件x 的信息量。
4. 信息熵:()()log ()i iiH X p x p x =-∑ 表示信源的平均不确定度,或信源输出的每个信源符号提供的平均信息量,或解除信源不确定度所需的信息量。
《信息论与编码》课程总结解放军信息工程大学信息工程学院本课程从第一周上到第五周,共二十个学时,重点介绍由香农理论发展而来的信息论的基本理论以及编码的理论和实现原理。
李教员共讲述了:一,绪论;二,熵与互信息;三,信道及信道容量;四,离散信源;五,无失真信源编码五章内容。
其中,熵与互信息,信道及信道容量两章为本课程中最基本,同时也是最重要的两章,是本课程的树干(个人认为)。
下面为我所做的课程总结和一些心得体会。
第一章绪论1,本章主要内容(1)信息的定义和性质;(2)信息论的基本思路;(3)信息论的主要内容2,心得体会本章首先从信息的定义和本质讲起,然后简要讲述了信息论的基本思路和发展历程,最后重点介绍了信息论的主要内容。
该章大部分内容在《通信原理》里都有涉及,基本没有什么新的知识点,难度不大。
令我受益最大的是香农提出狭义信息论时的三个条件:非绝对论观点,形式化假说,不确定性。
第二章熵与互信息1,本章主要内容(1)信源的数学模型和分类;(2)自信息和熵(重点);(3)联合事件的熵及其关系(重点);(4)信道疑义度与范诺不等式(重点);(5)互信息(重点);2,心得体会信源的数学模型和分类这部分属于纯叙述性内容,没有什么难点;自信息和熵这一节主要介绍了自信息和熵的基本概念和主要性质,需要记忆的内容不多,主要靠理解,基本没什么难度;联合事件的熵及其关系主要介绍了联合熵,条件熵和无条件熵,以及三者之间的关系,在学好概率论的基础上理解起来难度不大;信道疑义度与范诺不等式主要介绍了信道的转移概率,信道疑义度的概念和范诺不等式,其中,范诺不等式是关于通信系统产生信道疑义度和取值大小的重要原因,本节内容理解和记忆起来有一定的难度;互信息这一节是本章的重中之重,同时也是本课程的一个基本点和要点,需要记忆的东西较多,理解起来有点难度。
第三章信道及信道容量1,本章主要内容(1)信道的描述和分类;(2)信道容量的定义(重点);(3)信道容量的计算(重点和难点);(4)有噪信道编码与Shannon第二编码定理(重点);(5)信道编码原理;2,心得体会根据不同的条件,信道的种类各不相同。
《信息论》学习心得信息论是一门用数理统计方法来研究信息的度量、传递和变换规律的科学。
它主要是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。
信息论的研究范围极为广阔。
一般把信息论分成三种不同类型:(1)狭义信息论是一门应用数理统计方法来研究信息处理和信息传递的科学。
它研究存在于通讯和控制系统中普遍存在着的信息传递的共同规律,以及如何提高各信息传输系统的有效性和可靠性的一门通讯理论。
(2)一般信息论主要是研究通讯问题,但还包括噪声理论、信号滤波与预测、调制与信息处理等问题。
(3)广义信息论不仅包括狭义信息论和一般信息论的问题,而且还包括所有与信息有关的领域,如心理学、语言学、神经心理学、语义学等。
信息是确定性的增加--逆Shannon信息定义;信息就是信息,信息是物质、能量、信息的标示--Wiener信息定义的逆;及邓宇们提出的:信息是事物及其属性标识的集合"。
信息就是一种消息,它与通讯问题密切相关。
1984年贝尔研究所的申农在题为《通讯的数学理论》的论文中系统地提出了关于信息的论述,创立了信息论。
维纳提出的关于度量信息量的数学公式开辟了信息论的广泛应用前景。
1951年美国无线电工程学会承认信息论这门学科,此后得到迅速发展。
20世纪50年代是信息论向各门学科冲击的时期,60年代信息论不是重大的创新时期,而是一个消化、理解的时期,是在已有的基础上进行重大建设的时期。
研究重点是信息和信源编码问题。
到70年代,由于数字计算机的广泛应用,通讯系统的能力也有很大提高,如何更有效地利用和处理信息,成为日益迫切的问题。
人们越来越认识到信息的重要性,认识到信息可以作为与材料和能源一样的资源而加以充分利用和共享。
信息的概念和方法已广泛渗透到各个科学领域,它迫切要求突破申农信息论的狭隘范围,以便使它能成为人类各种活动中所碰到的信息问题的基础理论,从而推动其他许多新兴学科进一步发展。
1、平均自信息为表示信源的平均不确定度,也表示平均每个信源消息所提供的信息量。
平均互信息表示从Y获得的关于每个X的平均信息量,也表示发X前后Y的平均不确定性减少的量,还表示通信前后整个系统不确定性减少的量。
2、最大离散熵定理为:离散无记忆信源,等概率分布时熵最大。
3、最大熵值为。
4、通信系统模型如下:5、香农公式为为保证足够大的信道容量,可采用(1)用频带换信噪比;(2)用信噪比换频带。
6、只要,当N足够长时,一定存在一种无失真编码。
7、当R<C时,只要码长足够长,一定能找到一种编码方法和译码规则,使译码错误概率无穷小。
8、在认识论层次上研究信息的时候,必须同时考虑到形式、含义和效用三个方面的因素。
9、1948年,美国数学家香农发表了题为“通信的数学理论”的长篇论文,从而创立了信息论。
按照信息的性质,可以把信息分成 语法信息、语义信息和语用信息 。
按照信息的地位,可以把信息分成 客观信息和主观信息 。
人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息。
信息的 可度量性 是建立信息论的基础。
统计度量 是信息度量最常用的方法。
熵 是香农信息论最基本最重要的概念。
事物的不确定度是用时间统计发生 概率的对数 来描述的。
10、单符号离散信源一般用随机变量描述,而多符号离散信源一般用 随机矢量 描述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量,定义为 其发生概率对数的负值 。
12、自信息量的单位一般有 比特、奈特和哈特 。
13、必然事件的自信息是 0 。
14、不可能事件的自信息量是 ∞ 。
15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。
16、数据处理定理:当消息经过多级处理后,随着处理器数目的增多,输入消息与输出消息之间的平均互信息量 趋于变小 。
17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。
18、离散平稳有记忆信源的极限熵,=∞H )/(lim 121-∞→N N N X X X X H 。
《信息论与编码》课程总结本学期我选修了《信息论与编码》这门课程,信息论是应用近代概率统计方法来研究信息传输,交换,存储和处理的一门学科,也是源于通信实践发展起来的一门新兴应用科学。
信息是系统传输,交换,存储和处理的对象,信息载荷在语言,文字,数据,图像等消息之中。
本书共学习了9章内容,系统详细的学习和深入了解了信息论的相关基本理论。
第一章首先了解了信息论的相关概念,了解到了信息论所研究的通信系统基本模型,以及香农定理的相关应用。
第二章学习到了熵和互信息这两个重要概念。
信源的熵是用来刻画信源发出的消息的平均不确定性,而两个随机变量之间的互信息则表示一个随机变量对另一个随机变量所提供的信息量。
第三章学习到了离散无记忆信源的无损编码。
根据香农的信源编码定理,明白了所谓的无损编码是指信源编码的错误概率可以任意小,但并非为零;信源的无损编码通常是对非常长的消息序列进行的。
并且了解到了几种不等长编码的算法,例如Huffman 编码,Shannon 编码等编码方法。
第四章主要研究的是信道,信道容量及信道编码定理的相关内容。
对信道的研究中,首先是对信道分类和建模,本章主要讨论离散无记忆信道和连续加性高斯噪声信道;其次研究信道容量,这是刻画信道的最重要的参数,最后讨论信道编码定理,该定理刻画了信道可靠传输信息的极限性能。
第五章主要介绍的是率失真理论和保真度准则下的信源编码。
与无损压缩编码不同,保真度准则下的信源编码允许有失真,且其压缩编码是降熵的,它要求在满足失真要求下使数据熵率尽可能低,从而降低码率,所以不可能从压缩后的数据中无失真的恢复出原来的消息。
第六章主要学到的是受限系统和受限系统编码。
在了解了受限系统的相关概念之后,又进一步的了解到了受限系统的有限状态转移图和受限系统的容量和其容量的计算方法等相关重要的知识内容。
第七章主要阐述的是线性分组纠错编码。
纠错编码通常也称为信道编码,在通信中信源编码,信道编码和数据转换编码常常是同时使用的,信源编码器执行数据压缩功能,把信源输出中的余度去除或减小。
自信息量:Harta p Nat a p bit a p a I i i e i i )(log )(log )(log )(102-=-=-=联合信息量:)(log )(2j i j i b a p b a I -=条件信息量:)/(log )/(2j i j ib a p b a I -=互信息量:)](/)/([log );(2i j i j i a p b a p b a I =信息的熵:∑=-=ni i i a p a p X H 12)(log )()(条件熵:∑∑==-=m j ni i j j i a b p b a p X YH 112)/(log )()/(联合熵:∑∑==-=m j ni j i j i b a p b a p XY H 112)(log )()(平均互信息量:)](/)/([log )();(112j mj ni i j j i b p a b p b a p X Y I ∑∑===马尔可夫信源问题: 1.n 元m 阶马尔科夫信源共有n m个稳定状态。
2. 用∑==mni i j i j s s p s p s p 1)/()()(和1)(1=∑=mni i s p 求各状态)(i s p ;3.极限熵:)/(log )/()(11i j ni nj i j i s s p s s p s p Hmm∑∑==∞-=4. 冗余度:0/1H H ∞-=ξ (H0表示等概分布信源的熵,2进制时为1)变长编码定理:m X H K m X H 22log /)(log /)(1≥>+信道容量问题:n 表示输入符号数,m 表示输出符号数。
bit/sign 无噪信道1(一一对应)信道容量:n C 2log =无噪信道2(一对多)信道容量:n C 2log =无噪信道3(多对一)信道容量:m C 2log = 对称信道(行列均可排列)信道容量:)..(log 212m q q q H m C-=当输入X 等概分布时,输出Y 也等概分布,此时达到信道容量。
第二章 信源熵一、自信息量1. 定义:一个随机事件发生某一结果后所带来的信息量称为自信息量,简称自信息。
定 义为其发生概率对数的负值。
若随机事件发生i a 的概率为)(i a p ,那么它的自信 息量为:)(log )(2i i a p a I -= (bit )2. 性质:在事件发生前,)(i a I 表示该事件发生的不确定性。
在事件发生后,)(i a I 表示事件发生所提供的信息量。
二、信源熵1. 定义: 已知单符号离散无记忆信源的数学模型我们定义信源各个离散消息的自信息量的数学期望为信源的平均信息量,一般称为信源的平均信息量: )(log )(])(1[log )]([)( 212i ni i i i a p a p a p E a I E X H ∑=-=== 2. 信源熵与平均自信息量之间的区别两者在数值上是相等的,但含义不同。
信源熵表征信源的平均不确定度,平均自信息量是消除不确定度所需要的信息的度量。
信源一定,不管它是否输出离散消息,只要这些离散消息具有一定的概率特性,必有信源的熵值,该熵值在总体平均的意义上才有意义,因而是一个确定值, 。
在离散信源的情况下,信源熵的值是有限的。
而信息量只有当信源输出离散消息并被接收后,才有意义,这就是给予接收者的信息度量。
3. 最大离散熵定理:信源X 中包含n 个不同离散消息时,信源熵H(X)有: n X H 2log )(≤当且仅当X 中各个消息出现的概率全相等时,上式取等号。
4. 扩展信源的信源熵:N 次扩展信源的信源熵:)()(X NH X H N=)(,),(,),(),( , , , ,,)( 2121⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡n i n i a p a p a p a p a a a a X P X三、平均互信息量 1. 定义:互信息),,2,1;,,2,1()/()()()(log );(2m j n i b a I a I a p b a p b a I j i i i j i j i ==-==在联合概率空间中的统计平均值。
一. 单选(每题2分,共20分)1.下面属于最佳变长编码的是(B )下面不属于最佳变长编码的是(D ) B .香农编码和费诺编码 D .算术编码和游程编码2.加密编码的目的是(C ) 信源编码的目的是 提高通信有效性 。
C .提高通信系统的安全性 信道编码的目的是 提高信息传输的可靠性 。
3.表中符合等长编码的是(A ) 表中符合即时码的是 A 、D 。
4.下列各量可能为负值的是(B )下列各量不一定为正值的是(A) B .互信息量 A .互信息量5.一个m 位的二进制数,该数的每一位可从等概率出现的二进制码元(0,1)中任取一个,这个m 位的二进制数的自信息量为(m bit)6.联合熵H (XY )与熵H (X )及条件熵H (X/Y )之间存在关系错误的是(D ) D .H (XY )=H (X )+H (X /Y )7.已知发送26个英文字母(包括空格),其最大信源熵(发送概率相等)为H 0 = log27 = 4.76比特/符号;在字母发送概率不等时,其信源熵为H 1 = 4.03比特/符号;考虑字母之间相关性时,其信源熵为H 2 = 3.32比特/符号;以此类推,极限熵 H ∞ =1.4比特/符号。
问若用一般传送方式,冗余度γ为(0.71)H ∞ =1.5 冗余度为(0.68)8.某对称离散信道的信道矩阵为,信道容量为(C ) C .)61,61,31,31(4log H C -=9.某信道传递矩阵为 ,其信道容量为(D )⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=3131616161613131P ⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=8181214181814121PD .)41log 4143log 43()81,81,41,21(2log +--=H C10.下列各图所示信道是对称信道的是(C )下列各图所示信道是删除信道的是(A ) C .A.11.当一个信道输入符号和输出符号的个数相同,且行对称、列对称的信道是 强对称 信道。
《信息论与编码》课程总结信息论与编码作为我们的一门所学课程从它的名称我们就可以知道它是由信息论和编码组成,信息论是编码的基础。
也就是说信息论是理论而编码就是我们的实际操作了。
纵观本书可以看出,信息论与编码是一门应用概率论、随机过程和数理统计等方法来研究信息的存储、传输、控制、和利用的一般规律的科学。
可见它与我们大二所学的概率论与数理统计有很大的联系。
从学习我们也可以看出,书中的很多定义和证明都是从概率论角度出发的,从而衍生出信息论。
作为一名信息与计算科学专业的学生,从这个名字就可以看出信息论与编码对我们所学的专业也是挺重要的了。
通常人们公认信息论的奠基人是当代伟大的数学家和美国杰出的科学家香农,他著名的论文《通信的数学理论》是信息论的理论基础,半个世纪以来,以通信理论为核心的经典信息论,正以信息技术为物化手段,向尖端方向发展,并以神奇般的力量把人类推人信息时代。
那么信息论与编码到底是干嘛的呢?它主要研究如何提高信息系统的可靠性、有效性、保密性和认证性,以使信息系统最优化。
所谓可靠性高就是要使信源发出的消息经过新到传输以后,尽可能准确的、不失真的再现在接收端;而所谓有效性高,就是经济效果好,即用经可能少的和尽可能少的设备来传送一定数量的信息;所谓保密性就是隐蔽和保护通信系统中传送的信息,使他只能被授权接受者获取,而不能被未授权者接受和理解;而认证性是指接受者能正确的判断所接受的消息的正确性,验证消息的完整性,而不是伪造的和被修改的。
20世纪中出现了一个很厉害的人!香农!自香农信息论问世以后,信息理论本身得到不断的发展和深化,尤其在这个理论指导下,信息技术也得到飞快的发展。
这又使对信息的研究冲破了香农狭义信息论的范畴,几乎渗透到自然科学与社会科学的所有领域。
从而形成了一门具有划时代意义的新兴学科----信息科学。
所以信息论是信息科学发展的源泉,也是信息科学的基础理论。
随着信息时代的到来,计算机的应用越来越广泛,所以只要涉及信息的存储,传输和处理的问题就要利用香农信息论的理论---无失真通信的传输的速率极限(香农极限),无失真和限失真信源编码理论(数据压缩原理)和信道编码原理(纠错码原理)。
信息论知识点总结(文档2篇)以下是网友分享的关于信息论知识点总结的资料2篇,希望对您有所帮助,就爱阅读感谢您的支持。
第1篇1、平均自信息为表示信源的平均不确定度,也表示平均每个信源消息所提供的信息量。
平均互信息表示从Y 获得的关于每个X 的平均信息量, 也表示发X 前后Y 的平均不确定性减少的量,还表示通信前后整个系统不确定性减少的量。
2、最大离散熵定理为:离散无记忆信源,等概率分布时熵最大。
3、最大熵值为。
4、通信系统模型如下:5、香农公式为为保证足够大的信道容量,可采用(1)用频带换信噪比; (2)用信噪比换频带。
6、只要,当N 足够长时,一定存在一种无失真编码。
7、当R 8、在认识论层次上研究信息的时候, 必须同时考虑到形式、含义和效用三个方面的因素。
9、1948年,美国数学家香农发表了题为“通信的数学理论”的长篇论文, 从而创立了信息论。
按照信息的性质,可以把信息分成语法信息、语义信息和语用信息。
按照信息的地位,可以把信息分成客观信息和主观信息。
人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。
信息的可度量性是建立信息论的基础。
统计度量是信息度量最常用的方法。
熵是香农信息论最基本最重要的概念。
事物的不确定度是用时间统计发生概率的对数来描述的。
10、单符号离散信源一般用随机变量描述,而多符号离散信源一般用随机矢量描述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量,定义为其发生概率对数的负值。
12、自信息量的单位一般有比特、奈特和哈特。
13、必然事件的自信息是0 。
14、不可能事件的自信息量是∞ 。
15、两个相互独立的随机变量的联合自信息量等于两个自信息量之和。
16、数据处理定理:当消息经过多级处理后,随着处理器数目的增多,输入消息与输出消息之间的平均互信息量趋于变小。
17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的N倍。
18、离散平稳有记忆信源的极限熵, =∞H ) /(lim 121-∞→N N N X X X X H 。
1.名词解释:信息化教育、教育技术(aect94 定义)2.了解信息时代的主要特征3.阐述信息化教育的基本特征4.阐述信息化教育的功能和作用5.了解世界教育技术的发展6.了解我国教育信息化的发展阶段7.阐述信息化教育的理论基础(四种学习理论,四种教学理论,四种传播理论)8.阐述戴尔的经验之塔理论(四种学习理论补充)1.名词解释;信息、媒体、教学媒体2.了解教学媒体发展的四个阶段(教育史上的四次革命)3.了解教学媒体的分类4.了解教学媒体的符号理论5.了解教学媒体编制的效果原理了解各种信息化教学方法含义及应用步骤1.名词解释:教学设计2.掌握教学过程设计的分类3.基于自主学习的教学设计的要素分析4.教学评价量规的设计(补充)5.了解 Webquest 教案设计6.英特尔未来教育教案设计1.掌握信息化教育硬件环境的几种分类方法2.了解典型的信息化教育硬件环境基本情况1.了解录音教学软件的设计2.了解电视教学软件的设计3.掌握多媒体教学软件的类型4.掌握多媒体教学软件的设计与制作及评价方法5.了解网络课件的特点与类型6.掌握教育网站的开辟、管理、维护与评价方法7.教育主题网站的建设(补充)1.名词解释:信息技术与课程整合、信息素质、课件、积件(学习对象)、课程包、 blog (补充)2.理解信息技术与课程整合的意义及原则3.掌握信息技术与课程整合的三种基本模式4.了解信息技术与课程整合的资源5.了解信息技术与课程整合的案例1.名词解释:现代远程教育、混合学习2.了解远程教育的发展历史以及中国现代远程教育的发展3.了解远程教育的学习资源建设4.了解现代远程教育的学习服务体系5.掌握现代远程教育的常用教学模式6.掌握混合学习的分类1.名词解释:实验研究、行动研究、质的研究、叙事研究2.掌握信息化教育研究的对象(aect94定义,aect2005 新定义)3.掌握信息化教育研究课题设计的基本原则1.名词解释:信息化教育管理2.描述信息化教育管理的基本内容3.分析在信息化教育管理过程中如何体现以人为本的思想为重要目标的一种新的教育方式。
信息论期末总结● 消息中包含信息,消息是信息的载体。
信息:信息是对事物运动状态或存在方式的不确定性的描述。
● 通信的过程就是消除不确定性的过程。
● 信息与概率的关系:● 事件发生的概率越大,该事件包含的信息量越小;● 如果一个事件发生的概率为1,那么它包含的信息量为0;● 两个相互独立事件所提供的信息量应等于它们各自提供的信息量之和。
●某个消息的不确定性(含有的信息量)可以表示为:● 信源的平均不确定性:● 信源发出的消息的统计特性➢ 离散信源、连续信源、波形信源➢ 有记忆信源和无记忆信源1()log log ()()i i i I x p x p x ==-∑=-=qi i i x p x p X H 1)(log )()(➢平稳信源和非平稳信源●编码器的功能:将消息变成适合信道传输的信号●编码器包括:(1)信源编码器(2)信道编码器(3)调制器●信源编码器:去除信源消息中的冗余度,提高传输的有效性●信道编码器:将信源编码后的符号加上冗余符号,提高传输的可靠性。
●调制器:功能:将信道编码后的符号变成适合信道传输的信号目的:提高传输效率●信道的统计特性无噪声信道、有噪声信道离散信道、连续信道、波形信道有记忆信道和无记忆信道恒参信道(平稳信道)和随参信道(非平稳信道)单用户信道和多用户信道●信道传输信息的最高速率:信道容量●译码器的功能:从接收到的信号中恢复消息。
包括:(1)解调器(2)信道译码器(3)信源译码器● 提高有效性: (数据压缩)信源编码:无失真信源编码和限失真信源编码● 提高可靠性: (可靠传输)信道编码● 香农第一定理: 如果编码后的信源序列的编码信息率不小于信源的熵,那么一定存在一种无失真信源编码方法;否则,不存在这样的一种无失真信源编码方法。
● 香农第二定理:如果信道的信息传输率小于信道容量,那么总可以找到一种编码方式,使得当编码序列足够长时传输差错任意小;否则,不存在使差错任意小的信道编码方式。
● 香农第三定理:对于任意的失真度 ,只要码字足够长,那么总可以找到一种编码方法,使编码后的编码信息率 ,而码的平均失真度 。
● 公理性条件:(1) 如果p (x 1) < p (x 2),则I (x 1) > I (x 2), I (xi )0D ≥()R D ≥d D≤是 p (xi ) 的单调递减函数;(2) 如果p (xi )=0,则I (xi ) → ∞ ; 如果p (xi )=1,则I (xi ) =0 ;(3)由两个相对独立的事件所提供的信息量,应等于它们分别提供的信息量之和:I (xi yj )=I (xi )+I (yj ) ● 自信息可以从两个方面来理解:自信息是事件发生前,事件发生的不确定性。
自信息表示事件发生后,事件所包含的信息量。
● 先验概率:信源发出消息 的概率 。
● 后验概率:信宿收到消息 后推测信源发出 的概率,即条件概率 。
●● 互信息有两方面的含义:➢ 表示事件 出现前后关于事件 的不确定性减少的量;➢ 事件 出现以后信宿获得的关于事件的信息量。
● 观察者站在输出端i x ()i p x j y i x (|)i j p x y (;)()(|)log ()log (|)(1,2,,;1,2,,)(|)log ()i j i i ji i ji j iI x y I x I x y p x p x y i n j m p x y p x =-=-+=⋯=⋯=j y i x j y ixI (xi ;yj )=log p (xi |yj )–log p (xi )=I (xi )– I (xi |yj )❖ 观察者站在输入端I (yj ; xi )=log p (yj | xi )–log p (yj )=I (yj ) –I (yj | xi )● 当后验概率大于先验概率时,互信息为正。
当后验概率小于先验概率时,互信息为负。
当后验概率与先验概率相等时,互信息为零。
任何两个事件之间的互信息不可能大于其中任一事件的自信息● 例6:居住某地区的女孩中有25%是大学生,在女大学生中有75%是身高1.6m 以上的,而女孩中身高1.6m 以上的占总数一半。
假如我们得知“身高1.6m 以上的某女孩是大学生”的消息,问获得多少信息量?● 例7:且 。
此消息在二进制对称信道上传输,信道传输特性为● 求互信息量 和 。
● 自信息是一个随机变量:自信息是指信源发出的某一消息所含有的信息量。
不同的消息,它们所含有的信息量也就不同。
)(1;1b a I ()12;I a b● 平均自信息(信息熵/信源熵/香农熵/无条件熵/熵函数/熵)例2:一信源有6种输出符号,概率分别为P (A )=0.5, P (B )=0.25,P (C )=0.125,P (D )=P (E )=0.05,P (F )=0.025。
1)计算H (X )。
2)求符号序列ABABBA 和FDDFDF 的信息量,并将之与6位符号的信息量期望值相比较。
● 例4 :利用递推性计算熵函数 H(1/3,1/3,1/6,1/6)的值● 极值性(最大离散熵定理)定理: 离散无记忆信源输出n 个不同的信息1()[()][log ()]()log ()ni i i ii H X E I x E p x p x p x ==-=-∑@12111(,,...,)(,,...,)log nH p p p H n n n n ≤=1i p n=符号,当且仅当各个符号出现概率相等时(即 ),熵最大,即定义 2.4 随机变量X 和Y 的联合分布为p (xiyj ),则这两个随机变量的联合熵定义为:联合熵表示对于二维随机变量的平均不确定性。
定义2.5 随机变量X 和Y 的条件熵定义为:条件熵表示已知一个随机变量时,对另一个随机变量的平均不确定性。
例6: 已知 联合概率分布如下,求:H (XY ),H (X ), H (Y ), H (Y|X ), H (X|Y )。
∑∑==-=n i mj j i j i y x p y x p XY H 11)(log )()(∑∑-=i j i j j i y x p y x p Y X H )|(log )()|(∑∑-=i i j jj i x y p y x p X Y H )|(log )()|(⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡005.00010.005.000010.005.000030.010.000025.0543214321x x x x x y y y y 0.250.400.150.150.05各种熵之间的关系• H (XY )=H (X )+H (Y|X )=H (Y )+H (X|Y )• H (X|Y )≤H (X ),H (Y|X )≤H (Y )• H (XY )≤H (X )+H (Y )若X 与Y 统计独立,则H (XY )=H (X )+H (Y ) 平均互信息的概念平均互信息和各类熵的关系:I (X ;Y )=H (X )-H (X|Y )=H (Y )-H (Y|X )=H (X )+H(Y )-H (XY )X , Y 互相独立时定义2:随机变量序列中,对前N 个随机变量的联合熵求平均称为平均符号熵0.350.350.200.10(;)()(|)()(|)()()()I X Y H X H X Y H Y H Y X H X H Y H XY =-=-=+-121()()N N H H X X X N=L X如果当 时上式极限存在,则 被称为熵率,或极限熵,记为● 离散平稳无记忆信源的N 次扩展信源的熵等于离散单符号信源熵的N 倍:对于马氏链 符号间相关性越大,熵越小。
● 熵的相对率 ● 信道的数学模型为{X , P (Y |X ),Y }二元对称信道输入符号集A ={0,1}, 输出符号集B ={0,1},r =s =2.传递概率:二元删除信道输入符号集A={0,1},符号输出集B={0,?,1},r=2, s=3∞→N lim ()NN H →∞X lim ()N N H H ∞→∞=X ()()()N H H X NH X ==X 121()()2H H X X H X ∞<<0H H ∞η=p p pp ==)1|0()0|0((1|0)(1|1)p p p p ==p p p p ⎡⎤=⎢⎥⎣⎦P 1001p p q q -⎡⎤=⎢⎥-⎣⎦P平均互信息:例3:求二元删除信道的信道容量 例4 以二元对称信道。
信源的概率空间为信道矩阵为求信道容量?一个输入对应多个输出 一个输出对应多个输入输入、输出之间有确定的一一对应关系。
定义1 : 若信道矩阵P 中每行都是第一行的排列,则称此信道是行对称信道。
定义2:若信道矩阵中每行都是第一行的排列,并且每列都是第一列的排列, 则称之为对)|()();(Y X H X H Y X I -=()()(|)(;)H X H Y H X Y I X Y 、、和{}()max (;)/P X C I X Y =比特符号⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡ωω10)(X P X p p p p ⎡⎤=⎢⎥⎢⎥⎣⎦P ()()max (;)max ()log p x p x C I X Y H X r ===()()max (;)max ()log p x p x C I X Y H Y s===()()max (;)max ()log p x p x C I X Y H X r===称信道。
定义3:虽然不是对称信道,但是信道矩阵可以按列分为一些对称的子阵,则称之为准对称信道。
定义4:若r=s,且对于每一个输入符号,正确传输概率都相等,且错误传输概率p 均匀地分配到r-1 个符号,则称此信道为强对称信道或均匀信道。