信息论第一章

信息论

第一章 概论

1. 信息、消息、信号的定义及关系。

定义

信息：事物运动状态或存在方式的不确定性的描述。

消息：指包含有信息的语言、文字和图像等。

信号：表示消息的物理量，一般指随时间而变化的电压或电流称为电信号。

关系

信息和消息

信息不等于消息。消息中包含信息，是信息的载体。

同一信息可以用不同形式的消息来载荷。

同一个消息可以含有不同的信息量。

信息和信号

信号是消息的载体，消息则是信号的具体内容。

信号携带信息，但不是信息本身。

同一信息可用不同的信号来表示，同一信号也可表示不同的信息。

2. 通信系统模型，箭头上是什么？通信的目的及方法。

通信的目的：是为了提高通信的可靠性和有效性。

信源编码：提高信息传输的有效性。（减小冗余度）

信道编码：提高信息传输的可靠性。（增大冗余度）

第二章 信源及其信息量

★信源发出的是消息。

信源分类

1、信源按照发出的消息在时间上和幅度上的分布情况可将信源分成离散信源和连续信源。

2、根据各维随机变量的概率分布是否随时间的推移而变化将信源分为平稳信源和非平稳信源。

单符号离散信源

离散无记忆信源 无记忆扩展信源

离散平稳信源

离散有记忆信源 记忆长度无限

记忆长度有限（马尔可夫信源）

一、单符号离散信源

单符号离散信源的数学模型为

自信息量

定义：一个随机事件发生某一结果后所带来的信息量为自信息量。定义为其发生概率对数的负值。

以 奇才

单位：

•对数以2为底，单位为比特 (bit) （binary unit）

•对数以e为底，单位为奈特 (nat) (nature unit)

•对数以10为底，单位为笛特(det) (decimal unit) 或哈特 (hart)

第一章 論德（38）

上德不德，是以有德①；下德不失德，是以无德②。

上德无爲，而无以爲也；上仁爲之，而无以爲也；上義爲之，而有以爲也。上禮爲之，而莫之應也，則攘臂而乃之③。

故失道而後德，失德而後仁，失仁而後義，失義而後禮。夫禮者，忠信之泊也，而亂之首也④。

前識者，道之華也，而愚之首也⑤。

是以大丈夫居其厚，而不居其泊⑥；居其實，而不居其華。故去皮取此⑦。

①德：《說文》：“德，升也”。品格與能量升華。《經典文字辯證書》：“《春秋》說以人十四心爲德。”德字由雙人傍、十、四、一、心五部分組成，意爲一心爲眾人做到十種善行，遵守非禮勿言、勿聽、勿視、勿行四項行爲準則。《黄帝內經•靈樞》：“天之在我者德也，地之在我者炁也，德流炁薄而生者也”。揭示了德的生命能量性。

句義：上德是居道“无”而用德“一”，淳德“一”尚未樸散成德的五個子系統：仁、義、禮、智、信，居一未散，所以有德。

②无：修真學異構象形表意漢字。段玉裁《說文解字註》：“蓋其義謂上通元始，故其字形亦用元篆，上母於一”。王筠《說文句讀》：“此說字形也。元在二之下，无之一豎撇通於二之上，故雲然”。无即道之象意，此乃全篇用“无”而不用“無”的原因。但古文“无”與“無”通假近義。故應靈活把握。

句義：下德狀態，德“一”已經樸散爲五，德的完整性已經喪失，爲防止繼續丟失而修德，所以不言其有德。

③攘臂：捋起袖子，露出胳膊。修真學之義的“上禮”屬“心修無極”此則爲“鬧處煉心”，大隱隱於市而修心。

乃：通行本作“扔”。乃，出詞很難。語氣出口困難的樣子。

段義：上仁是先天本性的善，是自然的流露；上義則屬於後天意識行爲，需教化並自覺遵從才能恪守。上禮同樣屬於後天智識系統的教化，如果沒有上仁上義的支撐和信德的基礎，就很難維持，需要振臂疾呼，即使如此也難長期守住。修真學理法中認爲，人體性命雙重結構兩大系統中的德“一”，在肉體內是完全樸散開來分佈於五臟之中，極爲容易流失。在性體系統中同樣如此。掌握這種德性品格與能量的散失規律，是逆修復興德而歸道的前提。

第一章 信息论与基础

1.1信息与消息的概念有何区别？

信息存在于任何事物之中,有物质的地方就有信息，信息本身是看不见、摸不着的，它必须依附于一定的物质形式。一切物质都有可能成为信息的载体，信息充满着整个物质世界。信息是物质和能量在空间和时间中分布的不均匀程度。信息是表征事物的状态和运动形式。

在通信系统中其传输的形式是消息。但消息传递过程的一个最基本、最普遍却又十分引人注意的特点是：收信者在收到消息以前是不知道具体内容的；在收到消息之前，收信者无法判断发送者将发来描述何种事物运动状态的具体消息；再者，即使收到消息，由于信道干扰的存在，也不能断定得到的消息是否正确和可靠。

在通信系统中形式上传输的是消息,但实质上传输的是信息。消息只是表达信息的工具，载荷信息的载体。显然在通信中被利用的（亦即携带信息的）实际客体是不重要的，而重要的是信息。

信息载荷在消息之中，同一信息可以由不同形式的消息来载荷；同一个消息可能包含非常丰富的信息，也可能只包含很少的信息。可见，信息与消息既有区别又有联系的。

1.2 简述信息传输系统五个组成部分的作用。

信源：产生消息和消息序列的源。消息是随机发生的，也就是说在未收到这些消息之前不可能确切地知道它们的内容。信源研究主要内容是消息的统计特性和信源产生信息的速率。

信宿：信息传送过程中的接受者，亦即接受消息的人和物。

编码器：将信源发出的消息变换成适于信道传送的信号的设备。它包含下述三个部分：(1)信源编码器：在一定的准则下，信源编码器对信源输出的消息进行适当的变换和处理，其目的在于提高信息传输的效率。(2)纠错编码器：纠错编码器是对信源编码器的输出进行变换，用以提高对于信道干扰的抗击能力，也就是说提高信息传输的可靠性。(3)调制器：调制器是将纠错编码器的输出变换适合于信道传输要求的信号形式。纠错编码器和调制器的组合又称为信道编码器。

第一章

1-1 信息.消息和信号的定义是什么？三者的关系是什么？

答： 定义：信息是事物运动状态或存在方式的不确定性的描述。

用文字、符号、数据、语言、音符、图片、图像等能够被人们感觉器官所感知的形式，把客观物质运动和主观思维活动的状态表达出来就成为消息。

把消息换成适合信道传输的物理量，这种物理量称为信号。

三者的关系：消息包含信息，是信息的载体，但不是物理性的。信号是信息的载体，是物理性的。

1-3 写出信息论的定义（狭义信息论和广义信息论）.

答：狭义信息论：信息论是在信息可以度量的基础上有效地和可靠地传递信息的科学，它涉及信息的度量、信息的特性、信息传输速率、信道容量、干扰对信息传输的影响等方面的知识。

广义信息论：信息论包括通信的全部统计问题的研究、香农信息论、信号设计、噪声理论、信号检测与估值等，还包括如医学、生物学、心理学、遗传学、神经生理学、语言学甚至社会学和科学管理学中有关信息的问题。

1-5信息有哪些分类？

答：( 1 )按信息的性质分类：语法信息，语义信息和语用信息；

（2）按观察过程分类：实在信息，先验信息和实得信息；

（3）按信息的地位分类：客观信息（效果信息、环境信息）和主观信息（决 策信息，指令、控制和目标信息）；

（4）按信息的作用分类：有用信息、无用信息和干扰信息；

( 5）按信息的逻辑意义分类：真实信息、虚假信息和不定信息；

（6）按信息的传递方向分类：前馈信息和反馈信息；

( 7）按信息的生成领域分类：宇宙信息、自然信息、思维信息和社会信息；

（8）按信息的信息源性质分类：语言信息、图像信息、数据信息、计算信息和文字信息；

（9）按信息的信号形成分类：连续信息、离散信息和半连续信息。

09电子2 22 何清林