当前位置：文档之家 › 大规模核机器学习研究

大规模核机器学习研究

  • 格式：doc
  • 大小：47.50 KB
  • 文档页数：5

4 附件2

论文中英文摘要格式

作者姓名：薄列峰

论文题目：大规模核机器学习研究

作者简介：薄列峰，男，1978年2月出生，2002年9月师从于西安电子科技大学焦李成教授（硕博连读），于2007年12月获博士学位。

中 文 摘 要

核机器学习及其应用已经渗透到多个学科，并在数据挖掘、信息检索、计算机视觉、生物信息论、信号处理、智能控制等领域取得了丰硕的成果。在过去十年中，数据规模的增长远远超过了处理器速度的增加。另一方面，机器学习算法的理论性越来越强，计算复杂度也越来越高。基于统计学习理论的支持向量机便是一个典型的例子。

大量的对比实验已经表明支持向量机在很多问题上获得了良好的推广能力。然而，支持向量机的训练过程等价于求解一个约束凸二次规划。尽管理论上该优化问题很容易求解，例如通过内点法求解，实际上经典优化方法的计算复杂度非常高，通常是训练样本数的立方。高计算代价已经成为支持向量机在大规模问题中应用的瓶颈。针对这一问题，本文提出了多种快速算法，概括如下：

(1) 对有噪数据，硬边缘支持向量机会出现过拟合现象。软边缘支持向量机通过引入正则参数来避免过拟合，获得了良好的性能，但该方法的计算复杂度很高。本文提出了一种新的学习算法，贪婪分阶段支持向量机来克服硬边缘支持向量机的过拟合问题。贪婪分阶段支持向量机最吸引人的优点是在最差情况下，它的计算复杂度仅是训练样本数的平方。在高达400000个训练样本的基准数据集上的对比实验表明贪婪分阶段支持向量机在几乎不牺牲推广性能的情况下比LIBSVM 2.83快得多。我们也利用统计学习理论分析了实验数据，结果表明贪婪分阶段支持向量机的成功在于它能够产生较小的VC维。

(2) 近来，研究者们提出了一些基本域算法训练支持向量机。沿着这一方向，本文提出了用于训练非线性支持向量回归的递归有限牛顿算法。我们详细讨论了不敏感Huber损失函数的特性和牛顿步的计算。与LIBSVM 2.82的对比实验验证了所提算法的有效性。我们也探讨了如何在基本域构造稀疏支持向量回归，提出了两个快速稀疏支持向量回归算法：基于简化集选择的稀疏支持向量回归和基于简化集构造的稀疏支持向量回归。对比实验表明：当和支持向量回归的精度相近时，本文算法所需的基函数数目远小于支持向量回归的支持向量数；即使仅考虑精度，在许多情况下，基于简化集构造的稀疏支持向量回归的性能也略优于支持向量回归。

(3) 由于可以诱导稀疏性，l1正则在机器学习中有着广泛的应用。然而直到现在，与l2正则相比，l1正则在核机器中很少使用。一个重要的原因是基于l1正则的核机器计算复杂度 5 非常高。为了构造基于l1正则的大规模核机器，本文提出了分块分解算法CLAR-LASSO。CLAR-LASSO将大规模问题分解为一系列小的子问题，然后利用近来提出的LAR-LASSO算法来求解这些子问题。我们证明了CLAR-LASSO的有限收敛性，并分析了它的时间复杂度和空间复杂度。对比实验表明：CLAR-LASSO比LAR-LASSO更有效，而且不牺牲推广性能；CLAR-LASSO与支持向量机的推广性能相近，但支持向量数明显更少。

(4) 核Fisher判别分析是一种非常有效的分类方法。选择合适的超参数包括核参数和正则参数是核Fisher判别分析最具挑战性的工作。本文的讨论集中在特征标度核，在此类核函数中，每个特征都对应于一个独立的尺度因子。本文提出了一个新算法，命名为特征标度核Fisher判别分析，来调节特征标度核的尺度因子和正则参数。特征标度核Fisher判别分析的基本思想是利用梯度下降方法优化光滑的留一误差来得到超参数的估计。特征标度核Fisher判别分析的提出是基于下面两个基本前提： 核Fisher判别分析的留一误差具有解析表达式；阶跃函数可以用sigmoid函数来逼近。在人工和基准数据集上的对比实验表明：特征标度核Fisher判别分析提高了核Fisher判别分析的分类精度，特别是当数据集中包括不相关特征的时候。

(5) 为了使最小二乘支持向量机能应用于大规模数据集并提高它的测试速度，本文提出了两个快速稀疏逼近算法：快速稀疏逼近最小二乘支持向量机和加速的快速稀疏逼近最小二乘支持向量机。快速稀疏逼近最小二乘支持向量机通过一次增加一个来自于核字典的基函数来迭代构造决策函数，并采用灵活且稳定的 不敏感停止判据终止算法。通过仅从一个随机子集中选择基函数，我们能进一步提高快速稀疏逼近最小二乘支持向量机的速度，这一算法命名为加速的快速稀疏逼近最小二乘支持向量机。本文算法具有两个非常吸引人的特性：低的计算复杂度和稀疏的解。在基准数据集上的对比实验表明：本文算法在不牺牲推广性能的前提下，以相当低的计算复杂度获得了稀疏分类器。

(6) 提出了一个新颖的分解算法——序列稀疏贪婪优化来训练大规模最小二乘支持向量机。序列稀疏贪婪优化将大规模优化问题分解为一系列小规模的稀疏贪婪优化问题。不像以前的分解算法同时选择所有的激活变量，稀疏贪婪优化通过增量的方式选择激活变量。稀疏贪婪优化直接逼近目标函数的下降，因而可以明显地减小目标函数。我们也证明了序列稀疏贪婪优化的全局收敛性并讨论了如何利用它来优化多个超参数。在高达100000个训练样本的基准数据集上的对比实验表明：序列稀疏贪婪优化要比共轭梯度算法和序列最小优化算法快得多。

(7) 提出了一个高分辨距离像识别框架，命名为MCPVC，并在实测飞机数据上比较了支持向量机和本论文开发的分类器的识别精度。结果表明，我们的高分辨距离像识别方法优于两种常用的平移不变的特征提取方法；本论文第六章开发的快速稀疏逼近最小二乘支持向量机的识别精度高于支持向量机。

关键词： 核方法, 支持向量机, 支持向量分类, 支持向量回归, 最小二乘支持向量机, 核Fisher判别分析, LASSO 快速算法, 序列最小优化, 贪婪分阶段算法 有限牛顿算法, 稀疏贪婪算法, 稀疏逼近, 序列稀疏贪婪优化 6 Research on Large Scale Kernel Machines

Bo Liefeng

ABSTRACT

Kernel machines and its application have already come into many disciplines and achieved

plentiful fruits in diversified fields, including data mining, information retrieval, computer vision,

bioinformatics, signal processing, intelligent controlling, etc. During the last decade, dataset size

has outgrown processor speed. Meanwhile, machine learning algorithms became more principled,

and also more computationally expensive. Support vector machines based on statistical learning

theory is a typical example.

Extensive comparisons have shown that support vector machines obtain good generalization

performance on various data sets. However, the training procedure of support vector machines

amounts to solving a constrained quadratic programming. Although the training problem is, in

principle, solvable, in practice it is intractable for large scale problems by the classical optimization

techniques, e.g., interior point method, because their computational complexity usually scales

cubically with the size of training samples. The high computational cost has become a bottleneck of

support vector machines applied to large scale problems. To overcome this limitation, we propose a

few novel fast algorithms in this dissertation, which can be summarized as follows:

(1) Hard margin support vector machines have a risk of getting over-fitting in the presence of noise.

Soft margin support vector machines deal with this problem by introducing a regularization

term and obtain a state of the art performance. However, this disposal leads to a relatively high

computational cost. In this paper, an alternative method, greedy stagewise algorithm for support

vector machines, named GS-SVMs, is presented to cope with the over-fitting of hard margin

support vector machines without employing the regularization term. The most attractive

property of GS-SVMs is that its computational complexity in the worst case only scales

quadratically with the size of training samples. Experiments on benchmark data sets with up to

400000 training samples demonstrate that GS-SVMs are faster than LIBSVM 2.83 without

合集下载

基于机器学习的3D物体识别与姿态估计算法研究

基于机器学习的3D物体识别与姿态估计算法研究

基于机器学习的3D物体识别与姿态估计算法研究

近年来，基于机器学习的3D物体识别与姿态估计算法在计算机视觉领域得到了广泛的研究与应用。这项技术的目标是通过对输入图像或视频进行处理，准确地检测、识别出其中的3D物体，并能够估计出物体的姿态信息。这项任务的研究具有重要的理论价值和实际应用价值，可以在许多领域中发挥重要的作用，例如机器人导航、增强现实和虚拟现实等。

在基于机器学习的3D物体识别与姿态估计算法中，主要的核心任务包括物体检测、物体识别和姿态估计。其中，物体检测旨在在输入图像或视频中准确定位和标定出物体的边界框，物体识别则是识别出图像或视频中的物体类别，姿态估计则是估计出物体的三维位置、姿态和方向等信息。

在物体检测方面，许多计算机视觉领域的研究者提出了各种各样的算法和方法。其中，基于深度学习的物体检测算法成为了主流。这些算法通常采用卷积神经网络（CNN）作为基础模型，并结合一些特定的优化方法和技巧，如区域建议网络（RPN）和多尺度特征融合等。这些算法在大规模数据集上进行训练，并能够有效地检测出输入图像中的物体。然而，由于物体检测算法的复杂性和计算量的增加，对于实时性要求较高的应用场景来说，仍然存在一定的挑战。

物体识别是指将物体从图像中进行分类，即将物体识别为已知类别或未知类别。与传统的2D物体识别相比，基于机器学习的3D物体识别算法更加复杂和困难。这是因为3D物体存在着复杂的几何变换和视角变化等问题。在解决这个问题时，研究者们通常会使用一些先进的神经网络结构，如卷积神经网络（CNN）和循环神经网络（RNN），并结合一些特征提取和特征融合的技术。这些算法能够在实际场景中高效地检测出各种复杂物体，如汽车、人体、建筑等。

姿态估计是指估计物体的三维姿态（3D位置、姿态和方向）信息。传统的姿态估计算法通常基于使用特征点或特征描述子进行匹配的方法，但这些方法存在一定的局限性，如对光照条件和噪声敏感。近年来，基于机器学习的姿态估计算法获得了较好的效果。这些算法通常结合了深度学习和传统机器学习的方法，使用大规模数据集进行训练，并能够准确地估计出物体的姿态信息。这些算法在机器人导航和增强现实等领域具有重要的应用价值。

人工智能的研究内容

人工智能的研究内容

人工智能的研究内容

人工智能（Artificial Intelligence，简称AI）是一门致力于模拟、延伸和扩展人类智能的科学与技术。自20世纪50年代诞生以来，人工智能领域迅速发展，涵盖了各种各样的研究内容。本文将介绍一些主要的人工智能研究内容，包括机器学习、自然语言处理、计算机视觉和专家系统等。

一、机器学习

机器学习是人工智能的核心领域之一，致力于通过模型和算法实现计算机系统的自主学习能力。机器学习可以分为监督学习、无监督学习和强化学习等不同类型。在监督学习中，计算机从已标记的数据中学习，以预测未标记数据的结果。无监督学习则通过对未标记数据的分析和聚类来揭示模式和结构。而强化学习建立在奖励机制的基础上，使计算机能够通过试错来学习并逐步提高自身的性能。

二、自然语言处理

自然语言处理（Natural Language Processing，简称NLP）致力于使计算机能够理解、处理和生成人类语言。该领域涉及到文本分析、语义理解、情感分析、机器翻译等任务。研究者们基于机器学习和深度学习技术，开发出了各种模型和算法，能够处理大规模的自然语言数据，并从中提取有用的信息。

三、计算机视觉 计算机视觉（Computer Vision）旨在使计算机能够感知和理解图像和视频。研究者们通过开发图像分类、目标检测、图像分割等算法，使计算机能够实现人类视觉的某些能力。计算机视觉应用广泛，包括人脸识别、图像搜索、无人驾驶等领域。

四、专家系统

专家系统是一种基于知识库和推理机制的计算机程序，模仿领域专家的决策和问题解决能力。通过将专家的经验和知识转化为计算机可用的形式，专家系统能够解决一些复杂的问题，为决策提供支持。该领域研究着以人工智能技术为基础的推理、知识表示和推理机制等问题。

五、其他研究内容

除了以上几个主要领域，人工智能研究还涉及到机器人技术、知识图谱、数据挖掘、智能优化等众多研究内容。机器人技术致力于开发具有感知、移动和决策能力的机器人系统，能够在现实世界中完成各种任务。知识图谱通过构建和组织知识的网络，实现知识的智能共享和推理。数据挖掘则旨在从大规模数据中发现有价值的信息和模式。智能优化则通过自动化搜索和决策算法，寻找问题的最优解。

机器学习中的常见算法及应用场景

机器学习中的常见算法及应用场景

机器学习中的常见算法及应用场景

机器学习是近年来非常热门的研究领域，许多人都将其视为未来科技的发展方向之一。而在机器学习中，算法的选择和应用是非常关键的环节。本文将介绍机器学习中常见的算法及其应用场景。

一、监督学习算法

监督学习是机器学习中最常见的一类算法，其主要的任务是根据已知的输入-输出数据，预测新的输入所对应的输出值。常见的监督学习算法包括线性回归、逻辑回归、决策树、支持向量机(SVM)等。

1. 线性回归算法

线性回归是一种最基本的监督学习算法，其目的是根据已知的一组特征值和对应的结果，得到一个线性方程，用于预测新的输入所对应的输出值。常见的应用场景包括房价预测、销售预测等等。

2. 逻辑回归算法

逻辑回归是一种广义的线性回归模型，常用于二分类问题。其目的是通过一个sigmoid函数将输入映射到0~1之间，表示分类的概率。逻辑回归常被用于信用评分、欺诈检测、广告点击率预测等场景。 3. 决策树算法

决策树是一种基于树结构的分类器，通过对数据集的分裂，构造一个树形结构来进行分类。其适用于离散型数据和连续型数据，常被用于金融、医学、电商等领域。

4. 支持向量机(SVM)算法

支持向量机是一种二分类模型，其决策边界是一个超平面，使其距离最近的样本点到该超平面的距离最大。它被广泛应用于图像识别、自然语言处理等领域。

二、无监督学习算法

无监督学习算法的任务是从无标记数据中找到数据内在的结构或规律，常见的算法包括聚类、降维等。

1. K均值聚类算法

K均值聚类是一种常见的聚类算法，其目的是将样本划分成K个簇，簇内样本相似度高，不同簇样本相似度低。常被用于市场分析、医学影像分析等领域。

2. 层次聚类算法

层次聚类是一种自下而上或自上而下的聚类算法，其目标是将样本逐步合并或分裂成若干个簇。常被用于生物学、社会科学、自然语言处理等领域。 3. 主成分分析(PCA)算法

PCA是一种线性降维算法，它通过线性变换，将高维数据映射到一个低维空间上，保留样本的主要信息。常被用于图像处理、信号处理等领域。

机器学习算法的优化与加速提升效率的关键因素

机器学习算法的优化与加速提升效率的关键因素

机器学习算法的优化与加速提升效率的关键因素

机器学习算法的优化和加速是当前人工智能领域的研究热点之一，旨在提高算法的执行效率和性能，以满足大规模数据处理和实时决策等应用需求。本文将探讨机器学习算法的优化和加速过程中的关键因素，并介绍一些常用的优化和加速技术。

一、数据预处理

在机器学习算法应用中，数据的预处理是提高算法效率的关键步骤之一。常见的数据预处理操作包括数据清洗、特征选择、特征变换等。通过对原始数据进行清洗和处理，能够减少噪声和异常值的干扰，提高数据的可靠性和质量，从而为后续的算法优化和加速打下基础。

二、特征选择与特征提取

特征选择是指从原始数据中选择出对目标变量具有较好预测能力的特征子集。通过剔除冗余和无关特征，能够减少数据的维度，提高算法的训练效率和预测准确度。特征提取是指利用降维等方法从原始数据中提取与目标变量相关的新特征。通过将高维数据转化为低维表示，能够减少特征的数量和计算复杂度，加速算法的运行速度。

三、模型选择与调优

机器学习算法的优化过程中，合适的模型选择和参数调优是提高算法效率的关键因素。不同的机器学习模型对数据的拟合能力和泛化能力有所差异，因此需要根据具体的问题选择适合的模型。在模型选择后，通过调整模型的参数和超参数，进一步提升算法的性能和效率。常用的模型选择和调优方法包括交叉验证、网格搜索等。

四、算法优化技术

除了针对数据和模型进行优化之外，还可以通过算法本身的改进和优化来提高机器学习算法的效率。常见的算法优化技术包括并行计算、分布式计算、数据压缩和存储等。通过合理地利用多核处理器、分布式集群等计算资源，能够提高算法的计算速度和并发处理能力。此外，采用适当的数据压缩和存储方法，能够减少数据的存储空间和传输成本，提高算法的执行效率。

五、硬件优化和部署

除了算法本身的优化之外，合适的硬件设备和部署环境也是提高机器学习算法效率的关键因素。选择适合的硬件设备，如GPU加速器、FPGA等，能够提供更高的计算性能和并行处理能力。同时，合理的部署环境和软硬件的协同优化，能够更好地发挥机器学习算法的效能。