第10章 统计学习-人工智能导论-廉师友-清华大学出版社

3. 机器思维
机器思维：对通过感知得来的外部信息及机器内部的各 种工作信息进行有目的的处理。
19
21.3机人器工感智知能研究的基本内容
4. 机器学习
机器学习（machine learning）：研究如何使计算机具有 类似于人的学习能力，使它能通过学习自动地获取知识。
1957年，Rosenblatt研制成功了感知机。
获取知识并应用知识求解问题 的能力
6
1.1.2 智能的特征
1. 感知能力：通过视觉、听觉、触觉、嗅觉等感觉器官 感知外部世界的能力。 80%以上信息通过视觉得到，10%信息通过听觉得到。
2. 记忆与思维能力
存储由感知器官感知到的外部信息以及由思维 所产生的知识
对记忆的信息进行处理
7
1.1.2 智能的特征
20世纪三大科学技术成就：
空间技术
原子能技术
人工智能
3
第1章 绪论
1.1 人工智能的基本概念 1.2 人工智能的发展简史 1.3 人工智能研究的基本内容 1.4 人工智能的主要研究领域
4
第1章 绪论
✓ 1.1 人工智能的基本概念
1.2 人工智能的发展简史 1.3 人工智能研究的基本内容 1.4 人工智能的主要研究领域
13
1.2.2 形成（1956年－1969年）
1956年夏，当时美国达特茅斯大学数学助教、现任斯坦福 大学教授麦卡锡和哈佛大学数学和神经学家、现任MIT教 授明斯基、IBM公司信息研究中心负责人洛切斯特、贝尔 实验室信息部数学研究员香农共同发起，邀请普林斯顿大 学莫尔和IBM公司塞缪尔、MIT的塞尔夫里奇和索罗莫夫 以及兰德公司和卡内基－梅隆大学的纽厄尔、西蒙等10名 年轻学者在达特莫斯大学召开了两个月的学术研讨会，讨 论机器智能问题。

4. 机器学习
机器学习（machine learning）：研究如何使计算机具有 类似于人的学习能力，使它能通过学习自动地获取知识。
1957年，Rosenblatt研制成功了感知机。 5. 机器行为
机器行为：计算机的表达能力，即“说”、“写”、 “画”等能力。
20
第1章 绪论
1.1 人工智能的基本概念
1.4 人工智能的主要研究领域
17
1.3 人工智能研究的基本内容
1. 知识表示
知识表示：将人类知识形式化或者模型化。 知识表示方法：符号表示法、连接机制表示法。
符号表示法：用各种包含具体含义的符号，以各种不同 的方式和顺序组合起来表示知识的一类方法。例如，一 阶谓词逻辑、产生式等。
连接机制表示法：把各种物理对象以不同的方式及顺序 连接起来，并在其间互相传递及加工各种包含具体意义 的信息，以此来表示相关的概念及知识。例如，神经网 络等。
我国著名数学家、中国科学院吴文俊院士把几何代 数化，建立了一套机器证明方法，被称为“吴方法”。
22
1.4 人工智能的主要研究领域
2. 博弈 下棋、打牌、战争等一类竞争性的智能活动。 1956年，塞缪尔研制出跳棋程序。
1991年8月，IBM公司研制的Deep Thought 2计算机 系统与澳大利亚象棋冠军约翰森（D.Johansen）举行了 一场人机对抗赛，以1：1平局告终。
29
1.4 人工智能的主要研究领域
8. 专家系统
专家系统模拟人类专家求解问题的思维过程求解领域内的各种 问题，其水平可以达到甚至超过人类专家的水平。 1965 年费根鲍姆研究小组开始研制第一个专家系统 —— 分析化 合物分子结构的DENDRAL，1968年完成并投入使用。 1971 年 MIT 开发成功求解一些数学问题的 MYCSYMA 专家系统。 拉特格尔大学开发的清光眼诊断与治疗的专家系统CASNET。 1972 年斯坦福大学肖特里菲等人开始研制用于诊断和治疗感染 性疾病的专家系统MYCIN。 1976 年斯坦福研究所开始开发探矿专家系统 PROSPECTOR ， 1980年首次实地分析华盛顿某山区地质资料，发现了一个钼矿。 1981年斯坦福大学研制成功专家系统AM，能模拟人类进行概括、 抽象和归纳推理，发现某些数论的概念和定理。

计算机科学导论
16
10.5 智能计算
10.5.2 遗传算法 遗传算法（Genetic Algorithm,简称GA）是利
用达尔文的“适者生存，优胜劣汰”的自然进化规 则进行搜索和完成对问题求解的一种新方法。
计算机科学导论
17
10.5 智能计算
10.5.3 群集智能
1. 蚁群优化算法
蚁群(ant colony )算法是最近几年才提出的一种 新型模拟算法进化算法，它是20世纪90年代首先由 意大利学者M. Dorigo等人提出，称之为蚁群系统，
计算机科学导论
5
10.1 人工智能系统概述
10.1.4 人工智能的研究与应用领域
1. 问题求解 2. 专家系统 3. 决策支持系统 4. 自然语言处理 5. 组合高度和指挥 6. 智能机器人 7. 逻辑推理和定理证明 8. 模式识别 9. 自动程序设计 10. 智能控制
计算机科学导论
6
10.2 知识表示及推理
第十章 人工智能系统
计算机科学导论
1
本章要点：
◆人工智能系统概述 ◆知识表示及推理 ◆搜索技术 ◆自然语言处理 ◆智能计算 ◆机器学习
计算机科学导论
2
10.1 人工智能系统概述
10.1.1 什么是人工智能 人工智能AI(Artificial Intelligence)，又称为
机器智能MI(Machine Intelligence)，是研究、设计和 应用智能机器或智能系统，用来模拟人类智能活动的能 力，以延伸人类智能的科学。它是一门综合了计算机科 学、控制论、信息论、生理学、神经生理学、语言学、 哲学的交叉学科。
计算机科学导论
14
10.4 自然语言处理

[~Q(x)) R(f(x))U(a)]}
7, 隐去全程量词
{[~P(x) R(f(x))U(a)] [~Q(x)) R(f(x))U(a)]}
化子句集的方法（续3）
8, 表示为子句集
{~P(x) R(f(x))U(a), ~Q(x)) R(f(x))U(a)}
9, 变量标准化（变量换名）
{~P(x1) R(f(x1))U(a), ~Q(x2)) R(f(x2))U(a)}
(x)(R(x)L(x))
=> (x)(~R(x)L(x))
=> ~R(x)L(x)
(1)
(x)(D(x)~L(x))
=> (x)(~D(x)~L(x))
=> ~D(x)~L(x)
(2)
(x)(D(x)I(x))
=> D(A)I(A)
=> D(A)
(3)
I(A)
(4)
• 目标求反：
~(x)(I(x)~R(x))
目标目标u1x对事实和规则进行skolem化消去存在量词变量受全称量词约束对主合取元和规则中的变量换名用对偶形对目标进行skolem化消去全称量词变量受存在量词约束对析取元中的变量换名事实表达成与或树其中对应树中与对应树中或从事实出发正向应用规则到得到目标节点为结束的一致解图为止46基于规则的逆向演绎系统用对偶形对目标进行skolem化即消去全称量词变量受存在量词约束对主析取元中的变量换目标用与或树表示其中对应树中与对应树中或其中w为单文字如形为
求解：(s)HB(s)
问题的子句集
1, ~ON(s0)
2, ON(s1) AT(box, x1, push(x1, s1)) 3, ON(climb(s2)) 4, ~ON(s3) ~AT(box, c, s3) HB(grasp(s3)) 5, ~AT(box, x4, s4) AT(box, x4, climb(s4)) 6, ~HB(s5)

《人工智能通识教程》课程教学大纲周学时：2 总学时：32（理论32，建议安排课前阅读与课后学习实践）先修课程：无课程描述：人工智能（artificial intelligence，AI）是计算机科学与技术的一个重要分支与应用。

人工智能当前主要的研究与开发方向是模拟、延伸与扩展人类智能的理论、方法、技术及应用系统，涉及的技术包括思考的工具、基础概念、规则与专家系统、模糊逻辑与大数据思维、包容体系结构与机器人技术、机器学习、神经网络与深度学习、智能代理、群体智能、数据挖掘与统计数据、智能图像处理、自然语言处理、自动规划和未来的人工智能等方面。

课程教学内容与要求：见各章介绍。

第1章思考的工具（课时数：2）教学内容：【未来已来】动物智能：聪明的汉斯1.1 计算的渊源1.2 巴贝奇与数学机器1.3 计算机的出现1.4 人工智能大师【作业】【研究性学习】“神奇”的动物智能与对人工智能的憧憬教学要求：了解人类计算活动的渊源，了解计算机的诞生，了解人工智能大师图灵和冯·若依曼。

（1）导读案例（可选）。

结合本书，以电子稿形式提供了“导读案例”（【未来已来】），用一个个小故事的形式讲述在人工智能化了的“未来”年代，人们是如何工作、如何生活的，工作方式和生活与现在相比有何变化，着眼于“我们如何灵活应用这一技术”，来“开动对未来的想象力”。

（2）研究型学习小组活动。

本课程的“研究性学习”活动需要通过学习小组，以集体形式开展活动。

为此，请邀请或接受其他同学的邀请，组成研究性学习小组。

小组成员以3到5人为宜。

所谓“研究性学习”，是以培养学生“具有永不满足、追求卓越的态度，发现问题、提出问题、从而解决问题的能力”为基本目标；以学生从学习和社会生活中获得的各种课题或项目设计、作品的设计与制作等为基本的学习载体；以在提出问题和解决问题的全过程中学习到的科学研究方法、获得的丰富且多方面的体验和获得的科学文化知识为基本内容；以在教师指导下，学生自主开展研究为基本的教学形式的课程。

第2篇 搜索与求解
『导语』
搜索是人工智能技术中进行问题求解的基本技术，不管是符号智 能还是计算智能以及统计智能和交互智能，不管是解决具体应用问题， 还是智能行为本身，最终往往都归结为某种搜索，都要用某种搜索算 法来实现。
符号智能中的搜索是运用领域知识，以符号推演的方式，顺序地 在问题空间中进行的，其中的问题空间又可表示为某种状态图（空间） 或者与或图的形式。所以，这种搜索也称为图搜索技术。
(1) 把初始节点So放入CLOSED表中。 (2) 令N＝So。 (3) 若N是目标节点,则搜索成功,结束。 (4) 若N不可扩展,则搜索失败,退出。 (5) 扩展N,选取其一个未在CLOSED表中出现过的子节 点N1放入CLOSED表中, 令N＝N1, 转步(3)。
第 3 章 图搜ห้องสมุดไป่ตู้与问题求解
树式搜索算法：
(1) 把初始节点So放入OPEN表中。 (2) 若OPEN表为空, 则搜索失败, 退出。 (3) 移出OPEN表中第一个节点N放入CLOSED表中, 并冠 以顺序编号n。 (4) 若目标节点Sg=N, 则搜索成功, 结束。 (5)若N不可扩展, 则转步(2)。 (6) 扩展N, 生成一组子节点, 对这组子节点做如下处理：
④对其余子节点配上指向N的返回指针后放入OPEN表中 某处, 或对OPEN表进行重新排序, 转步(2)。
第 3 章 图搜索与问题求解
第 3 章 图搜索与问题求解
说明：
(1) 这里的返回指针也就是父节点在CLOSED表中的编 号。
(2) 步6中修改返回指针的原因是, 因为这些节点又被第 二次生成, 所以它们返回初始节点的路径已有两条, 但这两 条路径的“长度”可能不同。 那么, 当新路短时自然要走 新路。

《人工智能导论》课程教学大纲课程标号：学时：32 学分：2先修课程：《计算机原理及应用》、《数据结构》、《计算机控制技术》、一．课程性质与目的本课程是自动化专业的选修课。

本门课程的任务是使学生对人工智能的发展概况、基本原理和应用领域有初步了解，对主要技术及应用有一定掌握，领悟到智能理论发展历程中所包含的深刻的科学逻辑和方法论。

启发学生对人工智能的兴趣。

通过学习，学生能够知道什么时候需要某种合适的人工智能方法用于给定的问题，并能够选择适当的实现方法。

二．教学内容和要求1.人工智能概述，包括人工智能的定义，人工智能的起源与发展，人工智能的研究和应用领域。

2.概括地论述知识表示的各种主要方法，包括状态空间法、问题归约法、谓词逻辑法、结构化表示法（语义网络法、框架）、剧本和过程等。

3.讨论常用搜索原理，如盲目搜索、启发式搜索和消解原理等。

4.讨论一些比较高级的推理求解技术，有规则演绎系统、系统组织技术、不确定性推理和非单调推理等。

5.探讨人工智能的新研究领域，初步阐述计算智能的基本知识，包含神经网络、模糊逻辑、遗传算法等。

6.比较详细地讨论人工智能的主要应用，包括专家系统、机器学习、Agent、自然语言理解和智能控制等。

对于应用内容，根据学时，有选择地进行讲授。

7.简要讲述人工智能语言，有Lisp语言和Prolog语言。

（根据学时需要决定是否讲授。

）三．教材和参考资料教材：1.蔡自兴，徐光祐。

人工智能及其应用，第三版，本科生用书。

清华大学出版社，2003。

参考资料：廉师友. 人工智能技术导论, 第二版. 西安电子科技大学出版社, 2002 ；沟口理一郎、石田亨，人工智能，科学出版社，2003。

统计学习导论pdf
1 统计学习导论
统计学习导论是一本由李航教授于本世纪初出版的经典著作，由国内自动化界十分值得信赖的李航教授主编，面向自动化、信息技术和医学领域的本科生、研究生和学术界从业人员，介绍统计学习基本概念、原理和方法，是一本深入浅出的统计学习教材。

2 内容简介
统计学习导论一共八章，第一章介绍了机器学习和统计学习，第二章介绍了概率论和数理统计，第三章介绍了贝叶斯决策理论，第四章介绍了极大似然估计，第五章介绍了学习理论，第六章介绍了过拟合和正则化，第七章介绍了结构风险最小化，最后一章介绍了强化学习和模型选择。

3 特色
统计学习导论从初学者出发，从统计学习的概念入手，循序渐进地引入统计学习的有关知识，逐一讲述各种理论和方法，运用大量图示和实例说明各种概念的使用，十分适合初学者学习和系统学习统计学习。

4 实用价值
统计学习导论不单是一本教材，还是研究人员与机器学习领域的先驱者的文章的地理梳理，也是一个创新者提出概念与测试方法的平台，不论从学习和研究角度都具有极高的参考价值和实用价值。

人工智能技术导论
(IntroductiontoArtificia1Inte11igenceTechno1ogy)
总学时：48学时理论：48学时实验（上机、实习等）：0学时
学分：3
课程主要内容：
《人工智能技术导论》是计算机科学与技术专业的一门专业必修课程。

本课程主要内容包括人工智能的基本概念，人工智能技术的发展及应用领域，PRO1OG语言及基本程序设计，状态图搜索的基本概念及基本算法（启发式搜索、加权状态图搜索和A算法、A*算法等），遗传算法及应用，确定性及不确定性知识表示方法，产生式系统，确定性推理与不确定性推理，机器学习及专家系统等。

先修课程：
《离散数据》、《程序设计语言》、《数据结构》等。

适用专业：
计算机科学与技术专业
教材：
廉师友.《人工智能技术导论》（第三版）.西安：西安电子科技大学出版社，2007教学参考书：
[1]蔡自兴，徐光佑.《人工智能及其应用》.北京：清华大学出版社，1996
[2]沟口理一郎，石田亨编，卢伯英译.《人工智能》.北京：科学出版社，2003
[3]王万森.《人工智能原理及其应用》.北京：电子工业出版社，2000
[4]邵军力.《人工智能基础》.北京：电子工业出版社，2000
[5]田盛丰.《人工智能原理与应用：专家系统、机器学习、面向对象的方法》.北京:北京理
工大学出版社，1993。

15
1.2.3 发展（1970年－ ）
20世纪60年代末，人工智能研究遇到困难，如机器翻译。 1966年美国顾问委员会的报告裁定：还不存在通用的科学文 本机器翻译，也没有很近的实现前景。英国、美国中断了大 部分机器翻译项目的资助。
1977年，费根鲍姆在第五届国际人工智能联合会议上提出了 “知识工程”概念，推动了知识为中心的研究。
5
1.1.1 智能的概念
▪ 自然界四大奥秘：物质的本质、宇宙的起源、生命的本 质、智能的发生。
▪ 对智能还没有确切的定义，主要流派有： （1）思维理论：智能的核心是思维 （2）知识阈值理论：智能取决于知识的数量及一般化程度 （3）进化理论：用控制取代知识的表示 ▪ 智能是知识与智力的总和
知识是一切智能行为的基础
30
1.4 人工智能的主要研究领域
9. 自动程序设计
程序综合：用户只需要告诉计算机要“做什么”， 无须说明“怎么做”，计算机就可自动实现程序的设计。 程序正确性的验证：研究出一套理论和方法，通过运 用这套理论和方法就可以证明程序的正确性。 2014年2月新闻：麻省理工教授 Armando Solar-Lezama 开发的一种智能化编程语言“Sketch”，可以自动填补、 修正代码内容，在几毫秒内修复代码，让程序员可以忽 略许多繁琐的细节。
不定期的突发性。 非线性的独创性及模糊性。 穿插于形象思维与逻辑思维之中。
3. 学习能力
学习既可能是自觉的、有意识的，也可能是不自觉的、无意识 的；既可以是有教师指导的，也可以是通过自己实践的。
4. 行为能力（表达能力）
人们的感知能力：用于信息的输入。
行为能力：信息的输出。
9
1.1.3 人工智能
人工智能：用人工的方法在机器（计算机）上实现的智能； 或者说是人们使机器具有类似于人的智能。

《导论》教学教案第一章：简介1.1 的定义与发展历程1.2 的应用领域1.3 的发展趋势与挑战1.4 伦理与法律问题第二章：机器学习基础2.1 监督学习2.2 无监督学习2.3 强化学习2.4 神经网络简介第三章：深度学习3.1 深度神经网络3.2 卷积神经网络（CNN）3.3 循环神经网络（RNN）3.4 对抗网络（GAN）第四章：自然语言处理4.1 词向量与4.2 语法分析与句法结构4.3 机器翻译4.4 文本与摘要第五章：计算机视觉5.1 图像处理基础5.2 目标检测与识别5.3 图像分割与场景理解5.4 计算机视觉应用案例分析第六章：语音识别与合成6.1 语音信号处理基础6.2 特征提取与模式识别6.3 声学模型与6.4 语音合成技术第七章：人机交互7.1 交互设计原则与方法7.3 手势识别与眼动跟踪7.4 智能界面设计与用户体验第八章：智能8.1 控制系统8.2 机器视觉与感知8.3 导航与规划8.4 服务的应用案例第九章：芯片技术9.1 处理器架构与性能9.2 神经网络加速器9.3 边缘计算与分布式9.4 芯片的发展趋势第十章：应用案例分析10.1 医疗健康领域应用10.2 金融科技领域应用10.3 教育领域应用10.4 智能交通领域应用第十一章：智能决策与优化11.1 概述11.2 线性规划与整数规划11.3 动态规划与随机决策11.4 启发式算法与元启发式算法第十二章：与大数据12.1 大数据的概念与特性12.2 数据挖掘与知识发现12.3 在数据分析中的应用12.4 大数据伦理与隐私保护第十三章：安全与隐私13.1 安全威胁与防护策略13.2 数据隐私与匿名化技术13.3 联邦学习与隐私保护机器学习13.4 伦理与法规遵循第十四章：在自然科学中的应用14.1 物理学中的应用14.2 生物学中的应用14.3 化学中的应用14.4 地球科学中的应用第十五章：与社会影响15.1 与就业15.2 与教育15.3 与伦理道德15.4 与可持续发展重点和难点解析第一章：简介重点：的定义、发展历程、应用领域和发展趋势。

15
1.2.3 发展（1970年－ ）
20世纪60年代末，人工智能研究遇到困难，如机器翻译。 1966年美国顾问委员会的报告裁定：还不存在通用的科学文 本机器翻译，也没有很近的实现前景。英国、美国中断了大 部分机器翻译项目的资助。
1977年，费根鲍姆在第五届国际人工智能联合会议上提出了 “知识工程”概念，推动了知识为中心的研究。
▪ 连接机制表示法：把各种物理对象以不同的方式及顺序 连接起来，并在其间互相传递及加工各种包含具体意义 的信息，以此来表示相关的概念及知识。例如，神经网 络等。
18
21.3机人器工感智知能研究的基本内容
2. 机器感知
机器感知：使机器（计算机）具有类似于人的感知能力。 以机器视觉(machine vision)与机器听觉为主。
会上经麦卡锡提议正式采用“人工智能”这一术语，标志 着人工智能学科正式诞生。麦卡锡因而被称为人工智能之 父。
此后，美国形成了多个人工智能研究组织，如纽厄尔和西 蒙的Carnegie RAND协作组，明斯基和麦卡锡的MIT研究14
1.2.2 形成（1956年－1969年）
1956年以后，人工智能的研究在机器学习、定理 证明、模式识别、问题求解、专家系统及人工智能 语言等方面都取得了许多引人瞩目的成就 。 1969 年 ， 成 立 了 国 际 人 工 智 能 联 合 会 议 （ International Joint Conferences on Artificial Intelligence，IJCAI）。 1970年，创刊了国际性的人工智能杂志（Artificial Intelligence）。
20世纪三大科学技术成就：
空间技术
原子能技术
人工智能
3
第1章 绪论

Introduction of Artificial Intelligence
人工智能导论
教材：
王万良《人工智能导论》（第3版） 高等教育出版社，2011. 2
人工智能导论
第 1 章 绪论
教材：
王万良《人工智能导论》（第3版） 高等教育出版社，2011. 2
2
第1章 绪论
1956 年 正 式 提 出 人 工 智 能 （artificial intelligence, AI） 这个术语并把它作为一门新兴 科学的名称。
6
1.1.2 智能的特征
1. 感知能力：通过视觉、听觉、触觉、嗅觉等感觉器官 感知外部世界的能力。 80%以上信息通过视觉得到，10%信息通过听觉得到。
2. 记忆与思维能力 存储由感知器官感知到的外部信息以及由思维 所产生的知识
对记忆的信息进行处理
7
1.1.2 智能的特征
（1）逻辑思维（抽象思维）
3. 学习能力
学习既可能是自觉的、有意识的，也可能是不自觉的、无意识 的；既可以是有教师指导的，也可以是通过自己实践的。
4. 行为能力（表达能力）
人们的感知能力：用于信息的输入。
行为能力：信息的输出。
9
1.1.3 人工智能
人工智能：用人工的方法在机器（计算机）上实现的智能； 或者说是人们使机器具有类似于人的智能。
依靠逻辑进行思维。 思维过程是串行的。 容易形式化。
思维过程具有严密性、可靠性。
（2）形象思维（直感思维）
o 依据直觉。 o 思维过程是并行协同式的。 o 形式化困难。 o 在信息变形或缺少的情况下仍有可能得到比较满意的结果。
8
1.1.2 智能的特征
（3）顿悟思维（灵感思维）