AI人工智能培训课件-数据挖掘数据分析-6.9

数据挖掘数据分析
导论
参考书
•数据挖掘
•Data Mining, Concepts and Techniques. Jiawei Han and Micheline Kamber, Morgan Kaufmann, 2011 (Third Edition)。

范明等译，机械工业出版社.
•数据仓库与数据挖掘实战。

李春葆等，电子工业出版社，2014
•机器学习
•机器学习。

周志华，清华大学出版社，2016
•Python机器学习.（美）塞巴斯蒂安·拉施卡（Sebastian Raschka). 机械工业出版社, 2017年
目录
•神经网络简介
•前馈神经网络-多层感知机•BP算法
神经网络简介
•人工神经网络定义
•神经网络是由多个非常简单的处理单元彼此按某种方式相互连接而形成的计算系统，该系统是靠其状态对外部输入信息的动态响应来处理信息的。

•人工神经网络是一个由许多简单的并行工作的处理单元组成的系统，其功能取决于网络的结构、连接强度以及各单元的处理方式。

•人工神经网络是一种旨在模仿人脑结构及其功能的信息处理系统。

神经元是神经网络的基本处理单元，它是神经网络的设计基础。

神经元是以生物的神经系统的神经细胞为基础的生物模型。

在探讨人工智能的机制时，把神经元数学化，从而产生了神经元数学模型。

生物神经元结构
（1）细胞体: 细胞核、细胞质和细胞膜。

（2）树突：胞体短而多分枝的突起。

相当于神经元的输入端。

（3）轴突：胞体上最长枝的突起，也称神经纤维。

端部有很多神经末稍传出神经冲动。

生物神经元的信息处理机理
神经元的兴奋与抑制
当传入神经元冲动，经整和使细胞膜电位升高，超过动作电位的阈值时，为兴奋状态，产生神经冲动，由轴突经神经末稍传出。

当传入神经元的冲动，经整和，使细胞膜电位降低，低于阈值时，为抑制状态，不产生神经冲动。

细胞体
突触轴突树突图12.2 生物神经元功能模型
输
入输出
信息处理电脉冲
形成传输
神经元模型 从神经元的特性和功能可以知道，神经元相当于一个多输入单输出的信息处理单元，而且，它对信息的处理是非线性的，人工神经元的模型如图所示：
神经元的n 个输入 对应的连接权值 net= i i w x 阈值
输出
激活函数
上面的神经元模型可以用一个数学表达式进行抽象与概括，从而得到神经元的数学模型：
1n j j j o f w x θ=⎛⎫=- ⎪⎝⎭
∑神经元的网络输入记为net ，即 net=
1n
j j j w x =∑
有时为了方便起见，常把-Ɵ也看成是恒等于1的输入X 0 的权值，这时上面的数学模型可以写成：
0n
j j j o f w x =⎛⎫= ⎪⎝⎭∑其中， W 0=-Ɵ ； x 0=1
激活函数
sigmoid(S 型函数)： n
e x
f -+=11)(-10-8-6-4-2024681000.10.20.30.40.50.60.70.80.91
激活函数
tanh(双曲正切S 型传递函数)：
112)(2-+=-n e x f -10-8-6-4-20246810
-1-0.8
-0.6
-0.4
-0.2
0.2
0.4
0.6
0.8
1
激活函数
ReLU: f(x) = max(0,x) Leaky ReLU ELU
人工神经元模型
神经元的模型具有以下特点：
①神经元是一个多输入、单输出单元。

②它具有非线性的输入、输出特性。

③它具有可塑性，反应在新突触的产生和现有的神经突触的调整上，其塑性变化的部分主要是权值w的变化，这相当于生物神经元的突
出部分的变化，对于激发状态，w取正直，对于抑制状态，w取负值。

④神经元的输出和响应是个输入值的综合作用的结果。

⑤兴奋和抑制状态，当细胞膜电位升高超过阈值时，细胞进入兴奋状态，产生神经冲动；当膜电位低于阈值时，细胞进入抑制状态。

神经网络的设计
•神经网络，包含多个神经元•网络结构的设计
•前馈神经网络
•推理过程
•给出神经网络的最终输出•学习过程
•确定权值
•反向传播-BP算法
神经网络模型
神经元的连接方式不同，网络的拓扑结构也不同，人工神经网络的拓扑结构是决定人工神经网络特征的第二要素，根据神经元之间连接的拓扑结构不同，可将人工神经网络分成两类，即分层网络和相互连接型网络。

分层型网络
人工神经网络
相互连接型网络
分层网络
分层网络将一个神经网络中的所有神经元按功能分为若干层，一般有输入层、中间层（隐藏层）和输出层。

分层网络按照信息的传递方向可分为前馈网络（如图a）和反馈网络（如图b、c）。

相互连接型网络
相互连接型网络是指网络中任意单元之间都是可以相互双向连接的。

上述的分类方法是对目前常见的神经网络结构的概括和抽象，实际应用的神经网络可能同时兼有其中的一种或几种形式。

BP网络——前馈网络
•特点：
•全连接网络：上一层神经元的输出，将传递给下一层的
每个神经元作为输入。

•输入层的神经元个数由样本数据的特征个数决定。

•样本数据为d维特征向量，则输出层神经元为d个。

•输出层的神经元个数由待分类问题决定。

•对于M类分类问题，输出层神经元个数为M个。

•隐含层的数目以及每个隐含层中神经元的个数尚无理论
依据——通过经验或者实验来确定。

18
•BP 网络结构，如图：
x 1
o 1 输入层 x 2 o 2 o m x n … … … … … …
…
神经元的网络输入：
net i =x 1w 1i +x 2w 2i +…+x n w ni 神经元的输出：
net e
net f o -+==11)()1()()1(1)(22o o o o e e net f net net -=-=-+-='--1、网络的构成
Input
hidden
output
4
241
3231
2221
1211
1H w H w H w H w O +++=3
1312
1211
1111I
w I w I w H ++=I 1
I 2 I 3
H 1
H 2
H 3 H 4
Input
hidden
output
4
241
3231
2221
1211
1H w H w H w H w O +++=3
1312
1211
1111I
w I w I w H ++=I 1
I 2 I 3
H 1
H 2
H 3 H 4
特征计算只依赖前一层
BP标准算法：反向传播误差
Input hidden output
误差传播只依赖后一层
逐层的传播机制，为设计更多隐含层、更深的网络，提供了可能
深度学习
•深度神经网络，基石仍然是BP •隐藏层
•数量从1增加到N
•权值
•Multi-kernel：维度从1扩大到多
•共享：窗口卷积
•部分连接
•输入
•循环神经网络：初始输入引入反馈
•残差网络：跨层连接
•输出
•门控、attention、normalization •训练
•学习率的花式调整
BP算法小结
BP算法因其简单、易行、计算量小、并行性强等优点，目前是神经网络训练采用最多也是最成熟的训练算法。

其算法的实质是求解误差函数的最小值问题，采用非线性规划中的最速下降方法，按误差函数的负梯度方向修改权值
多层感知器网络
•优点
•预测精度总的来说较高；
•健壮性好，训练样本中包含错误时也可正常工作；
•输出可能是离散值、连续值或者是离散或量化属性的向量值；
•对目标进行分类速度较快。

•缺点
•训练（学习）时间通常较长；
•隐含层个数及每个隐含层中单元数目尚无理论依据
Break Q&A。