基于高斯过程回归的强化学习算法研究
- 格式：pdf
- 大小：1.15 MB
- 文档页数：64
硕士专业学位论文论文题目 基于高斯过程回归的强化学习算法研究研究生姓名 庄 超指导教师姓名 刘 全（教授）专业名称 软件工程研究方向 强化学习论文提交日期 2014年5月基于高斯过程回归的强化学习算法研究摘要基于高斯过程回归的强化学习算法研究摘要强化学习（Reinforcement Learning）是机器学习方法中重要的一类，在人工智能领域中有着举足轻重的地位，在博弈、电梯调度和智能机器人等领域得到广泛的应用。
在强化学习框架下，Agent不断和周围环境进行交互，学习从环境状态到行为的映射，以期望获得最大累积奖赏。
本文针对强化学习方法在大规模离散状态空间和连续空间所面临的“维数灾”问题，以值函数逼近技术为基础，提出相应的改进算法，对比不同算法的收敛性能，具体研究内容包括以下三方面：（1）利用监督学习中的高斯过程回归（Gaussian process for regression）模型，在一般的函数逼近方法中，通常需要假设具体的函数形式，而该方法不需要事先假设具体的函数模型，而是倾向于让样本数据本身来表示值函数，同时该方法具有易实现，参数自适应的优点，并且有很好的理论基础。
（2）针对Dyna-Q算法随着离散状态规模的增加，算法收敛速度降低的问题，提出一种基于高斯过程回归的Dyna框架聚类优化算法，对大规模的离散状态空间做状态聚类处理，利用聚类后的较低规模空间进行学习，并利用学习到的状态值去评估高规模的状态空间的状态值。
通过实验验证了该算法在提升算法收敛速率方面的有效性。
（3）提出一种连续状态空间下值迭代算法—GPRV。
该算法是以高斯过程回归模型为基础的。
在连续状态空间下无法像离散空间那样进行值函数表格式存储。
为解决大状态连续空间的强化学习中的值函数逼近问题，结合值迭代与高斯过程回归。
该算法通过高斯过程回归框架，可以有效的对所有状态的价值进行评估，并通过实验验证了GPRV算法的收敛性，并作出相关分析。
关键词：强化学习，值函数逼近，高斯过程回归，Dyna结构，GPRV作 者：庄超指导老师：刘全(教授)Abstract Research on Reinforcement Learning Based on Gaussian process regression Research on Reinforcement LearningBased on Gaussian process regressionAbstractReinforcement learning is an important class of machine learning methods，particularly in the area of Artificial Intelligence. In the frameword of reinforcement learning, the agent learns how to map the situations to actions through a long-term interaction with the environment, so as to maximize the cumulative reward. Reinforcement learning methods have been widely applied in the fields of games, elevator dispatching and robotics and so on.Facing the “curse of dimensionality” issue in large discrete state space or continuous space, this paper proposes an algorithm based on value function approximation and compares the performance of convergence of different algorithms. The main studies are generated as follows：(1) In general value function approximation method, the assumption of specific functional form is usually required. However, this paper uses the method of Gaussian process for regression, which does not need to claim the function relates to some specific models. It can represent the function obliquely, but rigorously, by the data themselves. This method has the advantages of easy implementation and parameter self-adaptation. Also, it has a good foundation of theory. The model of gaussian process for regression is also a form of supervised learning.(2) In the framework of Dyna, the convergence rate of the algorithm decreases while the size of the discrete state increases. In response to this problem, an optimized algorithm is proposed, which is based on Gaussian process regression and state clustering. Firstly, we reduce the scale of the discrete state space by clustering. Secondly, Gaussian process regression is used to evaluate the state-value of the high-scale discrete state space. Experiments can prove that the algorithm can effectively improve the convergence speed.(3) A value iteration algorithm based on Gaussian process regression inResearch on Reinforcement Learning Based on Gaussian process regression Abstract continuous-space named GPRV is proposed. In continuous space, value function can’t be stored as in discrete space. We combine the value iteration with the model of Gaussian process regession to implement the function approximation. The GPR-based algorithm can evaluate the value of state effectively, and show better convergence through the experiment of balance pole.Keywords: Reinforcement Learning, function approximation, Gaussian process regression, Dyna framework, GPRVWritten by: Chao ZhuangSupervised by: Prof. Quan Liu目 录第一章 引言 (1)1.1研究背景及意义 (1)1.2国内外研究现状 (2)1.2.1国外研究现状 (2)1.2.2国内研究现状 (3)1.3主要创新工作 (3)1.4论文组织结构 (4)第二章 强化学习理论概述 (5)2.1强化学习简介 (5)2.2强化学习框架 (5)2.2.1强化学习模型 (5)2.2.2强化学习的四个要素 (6)2.2.3马尔科夫决策过程 (7)2.3强化学习中的探索与利用 (8)2.4强化学习经典算法 (9)2.4.1 TD算法 (9)2.4.2 SARSA算法 (11)2.4.3 Q-learning 算法 (12)2.4.4 Actor-Critic算法 (13)2.5强化学习中的值函数逼近 (14)2.5.1带参函数逼近器 (15)2.5.2非参函数逼近器 (15)2.5.3 带参与非参逼近器的区别 (16)2.6强化学习应用 (17)2.7本章小结 (17)第三章 高斯过程回归理论 (18)3.1高斯过程的定义 (18)3.2高斯过程回归预测 (19)3.3高斯模型的训练 (21)3.3.1参数集合的选择 (22)3.3.2协方差函数模型的选择 (23)3.4高斯过程回归的缺点及改进方法 (25)3.4.1 SD(Subset of data)近似法 (25)3.4.2 SPGP(Sparse pseudo-input Gaussian process)方法 (26)3.5 本章小结 (26)第四章基于GPR的Dyna框架聚类优化算法 (27)4.1 Dyna框架及相关算法 (27)4.1.1 Dyna框架结构 (27)4.1.2 Dyna-Q算法 (28)4.2聚类分析 (29)4.3基于GPR的Dyna框架聚类优化算法 (29)4.4实验及结果分析 (31)4.4.1实验描述 (31)4.4.2实验设置 (31)4.4.3实验分析 (31)4.5 本章小结 (33)第五章基于GPR的连续空间值迭代算法 (35)5.1 基于模型的值迭代 (35)5.2基于GPR的连续空间的值迭代算法 (35)5.3实验及结果分析 (36)5.3.1实验描述 (36)5.3.2实验设置 (38)5.3.3实验分析 (39)5.4本章小结 (42)第六章 总结与展望 (43)6.1 工作总结 (43)6.2 工作展望 (43)参考文献 (45)致 谢 (49)基于高斯过程回归的强化学习算法研究第一章引言第一章引言一般情况下，我们定义一个系统通过自我改进来获得智能的过程为机器学习。
