香农：信息论的奠基者
（1）个人简介
克劳德·香农（ClaudeShannon，1916年4月30日—2001年2月24日）是美国数学家、信
息论的创始人。1916年4月30日出生于美国密歇根州的加洛德（Petoskey）。1936年毕业于密
歇根大学并获得数学和电子工程学士学位。1940年获得麻省理工学院（MIT）数学博士学位和
电子工程硕士学位。1941年他加入贝尔实验室数学部，工作到1972年。1956年他成为麻省理工学院（MIT）客座教授，并于1958年成为终生教授，1978年成为名
誉教授。香农博士于2001年2月26日去世，享年84岁。
香农提出了信息熵的概念，创立香农三大定理，为信息论和数字通信奠定了基础。主要论文
有：1938年的硕士论文《继电器与开关电路的符号分析》，1948年的《通讯的数学原理》和1949
年的《噪声下的通信》。被誉为信息论的创始人。
——摘自百度百科
（2）非凡风采
香农在工作香农在贝尔实验室老年香农
（3）主要贡献
香农在普林斯顿高级研究所（TheInstituteforAdvancedStudyatPrinceton）期间，开始思考
信息论与有效通信系统的问题。经过8年的努力，从1948年6月到10月，香农在《贝尔系统技
术杂志》（BellSystemTechnicalJournal）上连载发表了影响深远的论文《通讯的数学原理》。1949
年，香农又在该杂志上发表了另一著名论文《噪声下的通信》。在这两篇论文中，香农解决了过
去许多悬而未决的问题：阐明了通信的基本问题，给出了通信系统的模型，提出了信息量的数学
表达式，并解决了信道容量、信源统计特性、信源编码、信道编码等一系列基本技术问题。两篇
论文成为了信息论的基础性理论著作。
——选自维基百科（4）
一个理论改变了一个时代
——香农诞辰百年纪念（2016）
今年是信息论的创始人香农（C.E.Shannon，1916-2016）诞辰100周年。他于1948年发表
第2章 信息的度量
1
第2章 信息的度量
习 题
2.1 同时扔一对质地均匀的骰子，当得知“两骰子面朝上点数之和为5”或“面朝上点数之和为8”或“两骰子面朝上点数是3和6”时，试问这三种情况分别获得多少信息量？
解：
某一骰子扔得某一点数面朝上的概率是相等的，均为1/6，两骰子面朝上点数的状态共有36种,其中任一状态出现都是等概率的,出现概率为1/36。设两骰子面朝上点数之和为事件a，有：
⑴ a=5时，有1+4，4+1，2+3，3+2，共4种，则该事件发生概率为4/36=1/9，则信息量为I(a)=-logp(a=5)=-log1/9≈3.17(bit)
⑵ a=8时，有2+6，6+2，4+4，3+5，5+3，共5种，则p(a)=5/36,则I(a)= -log5/36≈2.85(bit)
⑶ p(a)=2/36=1/18,则I(a)=-log1/18≈4.17(bit)
2.2 如果你在不知道今天是星期几的情况下问你的朋友“明天是星期几”，则答案中含有多少信息量？如果你在已知今天是星期三的情况下提出同样的问题，则答案中你能获得多少信息量（假设已知星期一至星期日的排序）？
解：
设“明天是星期几”为事件a：
⑴ 不知道今天是星期几：I(a)=-log1/7≈2.81(bit)
⑵ 知道今天是星期几：I(a)=-log1=0 (bit)
2.3 居住某地区的女孩中有20%是大学生，在女大学生中有80%是身高1米6以上的，而女孩中身高1米6以上的占总数的一半。假如我们得知“身高1米6以上的某女孩是大学生”的消息，求获得多少信息量？
解：
设“居住某地区的女孩是大学生”为事件a，“身高1米6以上的女孩”为事件b，则有：
p(a)= 0.2，p(b|a)=0.8，p(b)=0.5，
则“身高1米6以上的某女孩是大学生”的概率为：
32.05.08.02.0)()|()()|(bpabpapbap
人工智能试题库含参考答案
一、单选题（共103题，每题1分，共103分）
1.某人回到家说了一声“灯光”，房间的灯就亮了，这主要应用了人工智能中的（）
A、语音识别技术
B、指纹识别技术
C、光学字符识别
D、文字识别技术
正确答案：A
2.下面对梯度下降方法描述不正确的是
A、梯度下降算法用来优化深度学习模型的参数
B、梯度方向是函数值下降最快方向
C、梯度反方向是函数值下降最快方向
D、梯度下降算法是一种使得损失函数最小化的方法
正确答案：B
3.当训练数据较少时更()发生过拟合。
A、不会
B、容易
C、不容易
正确答案：B
4.以下选项中，不是Python中文件操作的相关函数是（ ）
A、write ()
B、read ()
C、open ()
D、load ()
正确答案：D
5.以下哪一个关于卷积神经网络的说法是错误的
A、AlexNet 是一个八层的卷积神经网络&
B、&卷积神经网络中的建模学习，学习对象是每一层神经元的值&
C、&目标检测网络 SSD 的网络结构中包含卷积层&
D、&典型的卷积神经网络，由卷积层、池化层、激活层、全连接层等组成 正确答案：B
6.关于OLAP的特性,下面正确的是:（）(1)快速性(2)可分析性(3)多维性(4)信息性(5)共享性
A、(1)(2)(3)
B、(2)(3)(4)
C、(1)(2)(3)(4)
D、(1)(2)(3)(4)(5)
正确答案：D
7.下列属于无监督学习的是：()
A、k-means
B、SVM
C、最大熵
D、CRF
正确答案：A
8.（）是空语句，一般用做占位语句，不做任何事情。
A、continue
B、print
C、break
D、pass
正确答案：D
9.列表a=[1,2,[3,4]]，以下的运算结果为True的是（）。
A、length(a)==3
B、len(a)==3
C、length(a)==4
D、len(a)==4
信息论与编码理论-习题答案-姜楠-王健-编著-清华⼤学
第1章 绪论1.1 信源、编码器、信道、⼲扰、译码器、信宿 1.2 ⾹农
1.3 通信系统模型
1.4
信号是消息的表现形式，是物理的，⽐如电信号、光信号等。消息是信息的载荷者，是信号的具体容，不是物理的，但是⼜⽐较具体，例如语⾔、⽂字、符号、图⽚等。信息包含在消息中，是通信系统中被传送的对象，消息被⼈的⼤脑所理解就形成了信息。 1.5 略
第2章 信息的统计度量2.1 少
2.2 y 的出现有助于肯定x 的出现、y 的出现有助于否定x 的出现、x 和y 相互独⽴ 2.3 FTTTF 2.4 2.12⽐特
2.5
依题意，题中的过程可分为两步，⼀是取出⼀枚硬币恰好是重量不同的那⼀枚，设其发⽣的概率为1p ，由于每枚硬币被取出的概率是相同的，所以1181
p =
所需要的信息量()()1log 6.34I A p bit =-=
⼆是确定它⽐其他硬币是重还是轻，设其发⽣的概率为2p ，则212p =
总的概率12111812162p p p ==
=
所需要的信息量()log log1627.34I p bit =-==
2.6 设A 表⽰“⼤学⽣”这⼀事件，B 表⽰“⾝⾼1.60m 以上”这⼀事件，则
()()()0.25
0.5
|0.75p A p B p B A ===
故()()()
()()()
|0.750.25
|0.3750.5
p AB p A p B A p A B p B p B ?=
==
=
()()()11
|log
log 1.42|0.375
I A B bit p A B ===
2.7 四进制波形所含的信息量为()log 42bit =，⼋进制波形所含信息量为()log 83bit =，故四进制波形所含信息量为⼆进制的2倍，⼋进制波形所含信息量为⼆进制的3倍。2.8
()()()()()()2322log 3log 32log 3 1.585
I p bit I p bit I I =-=-==
