信息熵
1
11
11
1
H 4 Log2( 4) 4 Log2( 4) 2 Log2( 2)
= 1.5(bit)
13
5、数据、消息、信号与信息的区别
数据是对客观实体的一种描述形式,是信息的载 体。数据是未加工的信息,信息是经过加工的数 据,将数据加工为信息的过程称为信息加工或处 理。
消息:在通信过程中,信息总是经过编码(符号化) 成为消息以后,才能经由媒介传播的,而信息的 接收者收到消息后,总是要经过译码(解读)才获 取其中的信息。
10
例1:假设我们想由甲地告诉乙地关于甲地的 状态,如甲地共有8种状态,每种状态发生的 概率是相等的,即1/8。如果甲告诉乙,甲处 于第i种状态,这时甲传给乙的信息量是多少?
信息量 I=-log2(1/8)=3 (bit)
11
信息熵及其计算
信息熵:定义平均信息量来作为信息总体的 测度。
设X为一离散随机变量,在集合{ x1,x2…xn}
中取值,其概率分布为
P{ X= xi }=pi i=1,2,…,n
则定义:
n
pi 1
i 1
H ( X )
n i 1
pi log
1 pi
n
i 1
pi log
pi
称H(X)为离散变量X的信息熵。
12
例2:某信源有8种相互独立的状态,其发生 概率分别是1/4,0,0,1/4,0,0,0,1/2,这时信源 传给信宿的信息熵是多少?
▪ (1)感测技术——感觉器官(视、听、嗅、味、触、平衡)功能 的延长。
▪ (2)通信技术——传导神经网络(导入、导出)功能的延长。 ▪ (3)计算机和智能技术——思维器官(记忆、联想、分析、推