当前位置：文档之家 › 基于AdaBoost的集成支持向量机预测技术仿真

基于AdaBoost的集成支持向量机预测技术仿真

  • 格式：pdf
  • 大小：313.35 KB
  • 文档页数：3

Ｔ程 中机械设备运 行状态 的好 坏 ， 接关系到 整个系统 的生产计 直 划 、 备管理及维修等各 个环节。对于机械设备状态 的趋势预测 ， 设 也一 直 受到学 术界关注 。对机械设 备状态趋势 进行预测 ， 有助于发 现设备 中存在的潜在缺陷或故 障。虽然将支持 向量机应用 于机 械设备状态趋 势 预测取得 了一定 的研 究成果 。但 目前 对趋势预测 的应用仍存 在诸 多问题 ， 一是 支持 向量机预测性能对参数 的选择敏感 ， 其 并且参数选择 多基于交 叉验证方法 ， 降低 了预 测稳定性 和泛化能 力 ； 其二 ， 持 向量 支 机 在解决优化问题 时， 往往采用近似算法 ， 导致其泛 化性 能远低于理论 期 望水平 ； 其ｉ ， 单个支持 向量机预测对 于复杂样本 的预测 能力不 足。
厂ｚ＝ ＞：＆一ａ Ｋ．， ４６ （） （ Ｔ （ ）－ ） ｒ
一
（ 用 的高斯径 向基核 丽数（ Ｆ： ＲＢ ）
厂 ｌ ｌ ｌ、 ｌ ２
Ｋ ） Ｘ 绀 ｝． （ ： ｐ ≥ 州 ｅｌ ／ Ｉ
（ ６ ）
其 中 为径 向基 雨数宽度 。 ３基 于 Ａ ａ ｏ ｓ 集 成 支 持 向 量 机预 测 模 型 ． ｄ Ｂ ｏｔ ３１ ｄ Ｂ ｏｔ ． Ａ ａ ｏｓ集成算法原理 Ａ ａ ｏｓ算 法 的 基 本 思 想 是 给 定 一 弱 学 习 算 法 ，和 训 练 集 ｄ Ｂ ｏｔ ｛ ・ ， ）。 初始 化 时 对 每 一个 训 练 样 本 赋予 相 等 的 权 重 （ ， ， ｝ １ｍ ， ／ 然后用 该学习算法 ，对训练集训 练 丁轮 ， 每次训练后 ，，Ｊ练失 ｘ ｉｌ ｔ￣ 败 的训 练样本 赋予较大 的权重 ， 也就是让学 习算法在后 续的学 习中集 中对 比较 困难的训练样本进 行学习 ， 而得到 一系列子 Ｓ Ｍ预测 器函 从 Ｖ 数 “＝ｌ２ … ，、， 予 一 定 的 权 重 。对 预 测效 果 好 的 预 测 器 函 数 ，， 了） 赋 权重较 大 ， 反之较 小 。最终 预测函数 的预测 结果采用有 权重的投 票方 式获得。
科技信息
基 于 Ａｄ Ｂ ｏ ｔ ａ ｏ ｓ 的集成支持 向量相 预测 技术 仿真
上 海飞机 设计研 究院 结构部 王 国庆
［ 要］ 摘 本文结合遗传 算法参数优 化方法 ， 出了基 于Ａ ａ ｏ ｓ 提 ｄＢ ｏｔ 集成 支持 向量机 （ｕ ｐ ￣Ｖ ｃ ｒ ｃｉｅ Ｓ Ｍ） 法， Ｓ ｐ ｏ ｅｔ Ｍａ ｎ 或 Ｖ 算 ｏ ｈ 建立 了基 于 Ａ ａ ｏｔ ｄＢｏ ｓ集成 Ｓ ＶＭ预 测模 型 。通过 Ｓｎ 函数仿 真数据 ， ｉｃ 分析 了基 于Ａ ａ ｏ ｓ的集成 支持 向量机的预测性 能。结果表 明， 于Ａｄ～ ｄＢ ｏｔ 基 ａ Ｂ ｏｔ ｏ ｓ集成预测模 型的预测相对 平均误差达到 １３％， ＶＭ预 测相对平均误 差为 ２７ ％， 升幅度达 到 ５％， 明集成 Ｓ 预测模 ．１ 而Ｓ ９ 提 ３ 说 ＶＭ 型具有很 高的预 测精度 。通过对 Ｓ ｃ ｉ 函数加入 不 同含量的噪声 ， ｎ 发现与改进前的 集成 Ｓ Ｍ 算法相 比， Ｖ 本文提 出的算法具有更 强的抗 干扰能 力。应 用该算法 ， 对轴承疲 劳寿命 实验 中轴承振 动信 号特征 量趋势进 行预测 ， 结果表明其 １ 步预 测的相对平均误差为 ０ ７ ４ ％， ２
预 测 结 果 良好 。
［ 关键词 ］ 遗传算 法
１引 言 ．
Ａ ａ Ｏｔ ｄＢｏ Ｓ算法 支持 向量机
预测
其中核函数 Ｋｘ， ＝ｑ３）・（， （ ９ Ｘ 中』） ￣ ７ 捕述了高维特征空间的内积，
可 以在满足 Ｍｅｃ ｒ ｒｅ 条件 的情况下选取。相应的回归估 计函数变为 ：
Ｆｅｎ ｒｕ ｄ和 Ｓｈ ｐｒ １９ 年 提 ｔ 了 Ａ ａ ｏ ｓ（ ｄ ｐｉｅＢ ｏｔ ｇ 算 ｅａ ｉ ｅ于 ９ ５ ｔ ｌ ｄ Ｂ ｏｔＡ ａ ｔ ｏｓｎ ） ｖ ｉ 法 ， 这种算法的效率和原来 Ｂ ｏｔ ｇ ｏｓｉ 算法 的效率 一样 ， ｎ 但不需要任何关 于 弱 学 习器 性 能 的先 验知 识 ． 以非 常 容 易地 应用 到 实 际问 题 中 。 可 Ａ ａ ｏｓ算法提 后在 机器学 习领域得 到极大 的关注 ， ｄＢ ｎ ｔ 目前各种 不同 的 Ｂ ｏｔ ｇ ｏｓｎ 算法有 很多 ， ｉ 但都 是在 ＡｄＢ ｏｌ ａ ｏｓ算法的基础 上发展起来 的 。 Ｓ ｌｍ Ｉ ｅ Ｓ ｒｓ ａ 出 了一种 用于 回归 问题的新的集 成算 法一Ａ１ ｏｏ ａｉ 和 ｈｅｔ 提 ｎ ｈ ｃ 一 ａ ｏｓＲＴ 通 过 与Ｂ ｇｉｇ ＡＮ Ｂ ｏｔ ， ． ａｇｎ 和 Ｎ等单一 预测器 以及 Ａ ａ ｏｓＲ ｄ Ｂ ｏｔ ２提升 ． 算 法的 比较实验 表明 ， ｄ Ｂ ｏｔ Ｔ Ａ ａ ｏｓＲ 对弱学 习机器的预测性能有 着明显 ． 的提升 ， 并且 具有一 定的优 势 。 。清华 大学 的Ｓ ａ ｎ ｎ ｈ ｏ ｉ 等人将集 成算 Ｊｂ 法 于公 司客户流失 预测 ， 取得 了较好 的结果 ， 实验表 明 ， 其预测 效果 好 于单 一支持向量 回归机 。董辉等１ ５ １ 将集成支持 向量 回归机 用于滑坡 位 移预测 ， 验结果表 明集成 向量回归预测较 之单一 预测具有更 高的 实 准 确性和更 好的泛化性 。然而 ， 传统的集成 支持 向量 机机算法对 于子 Ｓ Ｍ预测器参 数选择并不 是十分理想 ， Ｖ 直接导致单个 Ｓ Ｍ预测精 度下 Ｖ 降 ， 而影响整个集成预测精 度。本文结合遗传算法 ， 出了一种改进 继 提 的基 于 Ａ ａ ｏｓ的集成支持 向量 机预测算法 。该算 法对每一个子 Ｓ ｄＢ ｏｌ ＶＭ 预测器进 行 了参数优化 ， 同时改变 了权值更新系数 ， 使算法 的泛 化性能 得 到 了较 好 的提 升 。 ２支持 向量机 回归预测理论 ． 支持 向量 回归 的基 本思 想是通 过一个非 线性映射 函数 ＊ ， ｎ ）将 维输 人数据 映射 到高维 特征空 间 ， 并在这个 空间中进行线 性 回归 。设 训 练样 本 集 ｛ ｖ） ∈ ， （ ｖ ∈尺，＝ｌ２ …Ｎ｝， ｆｒ 输人 变 量 ， ｉ ，， ｉ 为

合集下载

基于OpenCV和Adaboost算法的人脸检测

基于OpenCV和Adaboost算法的人脸检测

第1期（总第125期）机械管理开发2012年2月No.1（S UM No.125）M EC HANIC ALM ANAGEM ENT ANDDEVELOPM ENTFeb.2012引言人脸识别特指利用分析比较人脸视觉特征信息进行身份鉴别的计算机技术，是近年来信息科学领域一个备受关注的热点。

和其他生物特征识别技术相比，人脸识别具有自然性和不被被测者察觉等优势。

但是由于人脸的相似性和易变性等特点，人脸识别被认为是生物特征识别领域最困难的研究课题。

人脸识别主要用于身份识别，在门禁系统、公安刑侦破案、摄像监控系统、身份辨识、信息安全等方面都有着广阔的应用前景。

OpenCV 是Intel 公司开发的数字图像处理和计算机视觉软件，可以应用于很多领域作为二次开发的工具。

本文利用OpenCV ，实现了Adaboo st 的人脸检测算法。

1Ada boost 人脸检测基本原理对人脸检测的研究最初可以追溯到20世纪70年代，早期的研究主要致力于模板匹配、子空间方法、变形模板匹配等。

近期人脸检测的研究主要集中在基于数据驱动的学习方法，如统计模型方法、神经网络学习方法、统计知识理论和支持向量机方法、基于马尔可夫随机方法以及基于肤色的人脸检测。

目前在实际中应用的人脸检测方法多为基于Adaboo st 学习算法的方法[1]。

Paul Vio la 和M ichael Jones 于2001年将Adabo ost 算法应用于人脸检测中。

Viola 人脸检测方法是一种基于积分图、级联检测器和Adaboo st 算法的方法，方法框架可以分为以下三大部分：1）使用Harr-like 特征表示人脸，使用“积分图”实现特征数值的快速计算；2）使用Adabo ost 算法挑选出一些最能代表人脸的矩形特征（弱分类器），按照加权投票的方式将弱分类器构造为一个强分类器；3）将训练得到的若干强分类器串联组成一个级联结构的层叠分类器，级联结构能有效地提高分类器的检测速度[2]。

机器学习的发展历程

机器学习的发展历程

机器学习的发展历程机器学习（Machine Learning）是人工智能（Artificial Intelligence）领域的一个重要分支，其发展历程可以追溯到上世纪五六十年代。

以下按时间顺序梳理了机器学习的重要发展阶段和里程碑事件。

1. 逻辑回归（1957年）：逻辑回归是早期机器学习算法之一，用于二分类问题。

由美国统计学家David Cox开发，被广泛应用于生物学和医学领域。

2. 人工神经网络（1958年）：美国心理学家Frank Rosenblatt提出了感知器模型，该模型模拟了生物神经元的功能。

这是神经网络在机器学习中的首次应用。

3. 决策树算法（1963年）：美国计算机科学家Leo Breiman开发了决策树算法，通过一系列的决策节点将数据划分成不同的类别或子集。

决策树在数据挖掘和分类问题中被广泛使用。

4. 支持向量机（1992年）：由Vladimir Vapnik和Alexey Chervonenkis提出，支持向量机是一种强大的分类算法，通过在特征空间中构造最优超平面实现分类。

5. 集成学习（1994年）：通过将多个弱学习器组合成强学习器，以取长补短，提高分类性能。

Adaboost是最早的集成学习算法之一。

6. EM算法（1997年）：EM算法由Arthur Dempster、NanLaird和Donald Rubin提出，用于解决含有隐变量的概率模型参数估计问题。

7. K-近邻算法（2001年）：K-近邻算法是一种基于实例的学习方法，利用已知样本进行分类或回归预测。

根据最邻近的K 个样本确定未知样本的类别。

8. 深度学习（2012年）：深度学习是一种模仿人脑神经网络结构和工作原理的机器学习方法。

由于其强大的学习能力和特征表示能力，深度学习在图像识别、语音识别等领域取得了突破性进展。

9. 强化学习（2013年）：强化学习是一种通过与环境交互学习策略的机器学习方法。

AlphaGo的胜利，标志着强化学习在游戏领域的成功，并为其在其他领域的应用带来了更多关注。

本科毕业论文-—基于opencv的图像识别

本科毕业论文-—基于opencv的图像识别

基于2DPCA的人脸识别算法研究摘要人脸识别技术是对图像和视频中的人脸进行检测和定位的一门模式识别技术，包含位置、大小、个数和形态等人脸图像的所有信息。

由于近年来计算机技术的飞速发展，为人脸识别技术的广泛应用提供了可能，所以图像处理技术被广泛应用了各种领域。

该技术具有广阔的前景，如今已有大量的研究人员专注于人脸识别技术的开发。

本文的主要工作内容如下：1)介绍了人脸识别技术的基础知识，包括该技术的应用、背景、研究方向以及目前研究该技术的困难，并对人脸识别系统的运行过程以及运行平台作了简单的介绍。

2)预处理工作是在原始0RL人脸库上进行的。

在图像的预处理阶段，经过了图象的颜色处理，图像的几何归一化，图像的均衡化和图象的灰度归一化四个过程。

所有人脸图像通过上述处理后，就可以在一定程度上减小光照、背景等一些外在因素的不利影响。

3)介绍了目前主流的一些人脸检测算法，本文采用并详细叙述了Adaboost人脸检测算法。

Adaboost算法首先需要创建人脸图像的训练样本，再通过对样本的训练，得到的级联分类器就可以对人脸进行检测。

4)本文介绍了基于PCA算法的人脸特征点提取，并在PCA算法的基础上应用了改进型的2DPCA算法，对两者的性能进行了对比，得出后者的准确度和实时性均大于前者，最后将Adaboost人脸检测算法和2DPCA算法结合，不仅能大幅度降低识别时间，而且还相互补充，有效的提高了识别率。

关键词：人脸识别 2DPCA 特征提取人脸检测2DPCA Face Recognition Algorithm Basedon The ResearchAbstract：Face recognition is a technology to detect and locate human face in an image or video streams,Including location, size, shape, number and other information of human face in an image or video streams.Due to the rapid development of computer operation speed makes the image processing technology has been widely applied in many fields in recent years. This paper's work has the following several aspects:1)Explained the background, research scope and method of face recognition,and introduced the theoretical method of face recognition field in general.2)The pretreatments work is based on the original ORL face database. In the image preprocessing stage, there are the color of the image processing, image geometric normalization, image equalization and image gray scale normalization four parts. After united processing, the face image is standard, which can eliminate the adverse effects of some external factors.3)All kinds of face detection algorithm is introduced, and detailed describing the Adaboost algorithm for face detection. Through the Adaboost algorithm to create a training sample,then Training the samples of face image,and obtaining the cascade classifier to detect human face.4)This paper introduces the facial feature points extraction based on PCA ,and 2DPCA is used on the basis of the PCA as a improved algorithm.Performance is compared between the two, it is concluds that the real time and accuracy of the latter is greater than the former.Finally the Adaboost face detection algorithm and 2DPCA are combined, which not only can greatly reduce the recognition time, but also complement each other, effectively improve the recognition rate.Key words：Face recognition 2DPCA Feature extraction Face detection目录第1章前言 (1)1.1 人脸识别的应用和研究背景 (1)1.2 人脸识别技术的研究方向 (2)1.3 研究的现状与存在的困难 (3)1.4 本文大概安排 (4)第2章人脸识别系统及软件平台的配置 (4)2.1 人脸识别系统概况 (4)2.1.1 获取人脸图像信息 (5)2.1.2 检测定位 (5)2.1.3 图像的预处理 (5)2.1.4 特征提取 (6)2.1.5 图像的匹配与识别 (6)2.2 OpenCV (6)2.2.1 OpenCV简介 (6)2.2.2 OpenCV的系统配置 (7)2.3 Matlab与图像处理 (8)第3章图像的检测定位 (8)3.1 引言 (8)3.2 人脸检测的方法 (8)3.3 Adaboost算法 (9)3.3.1 Haar特征 (10)3.3.2 积分图 (10)3.3.4 级联分类器 (11)第4章图像的预处理 (13)4.1 引言 (13)4.2 人脸图像库 (13)4.3 人脸预处理算法 (14)4.3.1 颜色处理 (14)4.3.2几何归一化 (15)4.3.3直方图均衡化 (16)4.3.4灰度归一化 (18)4.4 本章小结 (19)第5章图像的特征提取与识别 (19)5.1 引言 (19)5.2 图像特征提取方法 (20)5.2.1基于几何特征的方法 (20)5.2.2基于统计的方法 (20)5.2.3弹性图匹配(elastic graph matching) (21)5.2.4神经网络方法 (21)5.2.5支持向量机(SVM)方法 (22)5.3 距离分类器的选择 (22)5.4 PCA算法的人脸识别 (24)5.5 二维主成分分析（2DPCA） (25)5.5.1 2DPCA人脸识别算法 (25)5.5.2 特征提取 (27)5.5.3 分类方法 (27)5.5.4 基于2DPCA的图像重构 (28)5.6 实验分析 (28)第6章总结与展望 (33)6.1 本文总结 (33)6.2 未来工作展望 (33)致谢 (34)参考文献： (35)第1章前言1.1 人脸识别的应用和研究背景随着社会科学技术的发展进步，特别是最近几年计算机的软硬件技术高速发展，以及人们越来越将视野集中到快速高效的智能身份识别，使生物识别技术在科学研究中取得了重大的进步和发展。

17个机器学习的常用算法！

17个机器学习的常用算法！

17个机器学习的常用算法！1. 监督式学习：在监督式学习下，输入数据被称为“训练数据”，每组训练数据有一个明确的标识或结果，如对防垃圾邮件系统中“垃圾邮件”“非垃圾邮件”，对手写数字识别中的“1“，”2“，”3“，”4“等。

在建立预测模型的时候，监督式学习建立一个学习过程，将预测结果与“训练数据”的实际结果进行比较，不断的调整预测模型，直到模型的预测结果达到一个预期的准确率。

监督式学习的常见应用场景如分类问题和回归问题。

常见算法有逻辑回归（Logistic Regression）和反向传递神经网络（Back Propagation Neural Network）2. 非监督式学习：在非监督式学习中，数据并不被特别标识，学习模型是为了推断出数据的一些内在结构。

常见的应用场景包括关联规则的学习以及聚类等。

常见算法包括Apriori算法以及k-Means算法。

3. 半监督式学习：在此学习方式下，输入数据部分被标识，部分没有被标识，这种学习模型可以用来进行预测，但是模型首先需要学习数据的内在结构以便合理的组织数据来进行预测。

应用场景包括分类和回归，算法包括一些对常用监督式学习算法的延伸，这些算法首先试图对未标识数据进行建模，在此基础上再对标识的数据进行预测。

如图论推理算法（Graph Inference）或者拉普拉斯支持向量机（Laplacian SVM.）等。

4. 强化学习：在这种学习模式下，输入数据作为对模型的反馈，不像监督模型那样，输入数据仅仅是作为一个检查模型对错的方式，在强化学习下，输入数据直接反馈到模型，模型必须对此立刻作出调整。

常见的应用场景包括动态系统以及机器人控制等。

常见算法包括Q-Learning以及时间差学习（Temporal difference learning）在企业数据应用的场景下，人们最常用的可能就是监督式学习和非监督式学习的模型。

在图像识别等领域，由于存在大量的非标识的数据和少量的可标识数据，目前半监督式学习是一个很热的话题。