当前位置：文档之家 › 增强学习ReinforcementLearning经典算法梳理

增强学习ReinforcementLearning经典算法梳理

  • 格式：docx
  • 大小：4.15 MB
  • 文档页数：14

前言就目前来看，深度增强学习（Deep Reinforcement Learning)中的很多方法都是基于以前的增强学习算法，将其中的value function价值函数或者Policy function策略函数用深度神经网络替代而实现。

因此，本文尝试总结增强学习中的经典算法。

本文主要参考：1；21 预备知识对增强学习有所理解，知道MDP，Bellman方程详细可见：很多算法都是基于求解Bellman方程而形成：Value IterationPolicy IterationQ-LearningSARSA2 Policy Iteration 策略迭代Policy Iteration的目的是通过迭代计算value function 价值函数的方式来使policy收敛到最优。

Policy Iteration本质上就是直接使用Bellman方程而得到的：那么Policy Iteration一般分成两步：Policy Evaluation 策略评估。

目的是更新Value FunctionPolicy Improvement 策略改进。

使用greedy policy 产生新的样本用于第一步的策略评估。

本质上就是使用当前策略产生新的样本，然后使用新的样本更新当前的策略，然后不断反复。

理论可以证明最终策略将收敛到最优。

具体算法：那么这里要注意的是policy evaluation部分。

这里的迭代很重要的一点是需要知道state状态转移概率p。

也就是说依赖于model模型。

而且按照算法要反复迭代直到收敛为止。

所以一般需要做限制。

比如到某一个比率或者次数就停止迭代。

3 Value Iteration 价值迭代Value Iteration则是使用Bellman 最优方程得到然后改变成迭代形式value iteration的算法如下：那么问题来了：Policy Iteration和Value Iteration有什么本质区别？为什么一个叫policy iteration，一个叫value iteration呢？原因其实很好理解，policy iteration使用bellman方程来更新value，最后收敛的value 即vπ是当前policy下的value值（所以叫做对policy进行评估），目的是为了后面的policy improvement得到新的policy。

而value iteration是使用bellman 最优方程来更新value，最后收敛得到的value即v∗就是当前state状态下的最优的value值。

因此，只要最后收敛，那么最优的policy也就得到的。

因此这个方法是基于更新value 的，所以叫value iteration。

从上面的分析看，value iteration较之policy iteration更直接。

不过问题也都是一样，需要知道状态转移函数p才能计算。

本质上依赖于模型，而且理想条件下需要遍历所有的状态，这在稍微复杂一点的问题上就基本不可能了。

4 异步更新问题那么上面的算法的核心是更新每个状态的value值。

那么可以通过运行多个实例同时采集样本来实现异步更新。

而基于异步更新的思想，DeepMind出了一篇不错的paper：Asynchronous Methods for Deep Reinforcement Learning。

该文对于Atari游戏的效果得到大幅提升。

5 小结Reinforcement Learning有很多经典算法，很多算法都基于以上衍生。

鉴于篇幅问题，下一个blog再分析基于蒙特卡洛的算法。

1 前言在上一篇文章中，我们介绍了基于Bellman方程而得到的Policy Iteration和Value Iteration两种基本的算法，但是这两种算法实际上很难直接应用，原因在于依然是偏于理想化的两个算法，需要知道状态转移概率，也需要遍历所有的状态。

对于遍历状态这个事，我们当然可以不用做到完全遍历，而只需要尽可能的通过探索来遍及各种状态即可。

而对于状态转移概率，也就是依赖于模型Model，这是比较困难的事情。

什么是状态转移？就比如一颗子弹，如果我知道它的运动速度，运动的当前位置，空气阻力等等，我就可以用牛顿运动定律来描述它的运动，进而知道子弹下一个时刻会大概在哪个位置出现。

那么这个基于牛顿运动定律来描述其运动就是一个模型Model，我们也就可以知道其状态（空间位置，速度）的变化概率。

那么基本上所以的增强学习问题都需要有一定的模型的先验知识，至少根据先验知识我们可以来确定需要多少输入可以导致多少输出。

比如说玩Atari这个游戏，如果输入只有屏幕的一半，那么我们知道不管算法多么好，也无法训练出来。

因为输入被限制了，而且即使是人类也是做不到的。

但是以此同时，人类是无需精确的知道具体的模型应该是怎样的，人类可以完全根据观察来推算出相应的结果。

所以，对于增强学习的问题，或者说对于任意的决策与控制问题。

输入输出是由基本的模型或者说先验知识决定的，而具体的模型则可以不用考虑。

所以，为了更好的求解增强学习问题，我们更关注Model Free的做法。

简单的讲就是如果完全不知道状态转移概率（就像人类一样），我们该如何求得最优的策略呢？本文介绍蒙特卡洛方法。

2 蒙特卡洛方法蒙特卡洛方法只面向具有阶段episode的问题。

比如玩一局游戏，下一盘棋，是有步骤，会结束的。

而有些问题则不一定有结束，比如开赛车，可以无限的开下去，或者说需要特别特别久才能结束。

能不能结束是一个关键。

因为只要能结束，那么每一步的reward都是可以确定的，也就是可以因此来计算value。

比如说下棋，最后赢了就是赢了，输了就是输了。

而对于结束不了的问题，我们只能对于value进行估计。

那么蒙特卡洛方法只关心这种能够较快结束的问题。

蒙特卡洛的思想很简单，就是反复测试求平均。

如果大家知道在地上投球计算圆周率的事情就比较好理解了。

不清楚的童鞋可以网上找找看。

那么如何用在增强学习上呢？既然每一次的episode都可以到结束，那么意味着根据：每一步的reward都知道，也就意味着每一步的return Gt都可以计算出来。

这就好了。

我们反复做测试，这样很多状态会被遍历到，而且不止一次，那么每次就可以把在状态下的return求和取平均。

当episode无限大时，得到的数据也就接近于真实的数据。

蒙特卡洛方法就是使用统计学的方法来取代Bellman方法的计算方法。

上面的算法叫first-visit MC。

也就是每一次的episode中state只使用第一次到达的t来计算return。

另一种方法就是every-visit，就是每一次的episode中state只要访问到就计算return求平均。

所以可以看到蒙特卡洛方法是极其简单的。

但是缺点也是很明显的，需要尽可能多的反复测试，而且需要到每一次测试结束后才来计算，需要耗费大量时间。

但是，大家知道吗？AlphaGo就是使用蒙特卡洛的思想。

不是蒙特卡洛树搜索，而是说在增强学习中使用蒙特卡洛方法的思想。

AlphaGo每次也是到下棋结束，而且只使用最后的输赢作为return。

所以这也是非常神奇的事，只使用最后的输赢结果，竟然能够优化每一步的走法。

3 使用蒙特卡洛方法来控制上面说的蒙特卡洛方法只是能够对当前的policy进行评估。

那么大家记得上一个blog说的policy iteration 方法吗？我们可以在policy iteration中使用蒙特卡洛方法进行评估，然后使用greedy policy更新。

那么依然是有两种做法。

一种就是在一个policy下测试多次，评估完全，然后更新policy，然后再做很多测试。

另一种就是不完全评估，每次测试一次完就评估，评估完就更新：第一种做法：第二种做法：两种做法都能够收敛，那么显然第二种做法的速度更快。

那么再改进一点，就是改变greedy policy中ϵ的值，使得不断变小趋于0，这个时候最后得到的policy就是完全的最优policy了。

这个算法就叫做GLIE Monte-Carlo Control：其他变种：Monte Carlo with Exploring Starts,使用Q(s,a),然后使用上面说的第二种做法，一次episod就更新一次policy，而且policy直接使用Q值。

policy的更新使用了ϵ−greedy，目的就是能够更好的探索整个状态空间。

4 Off Policy Learning那么上面的方法一直是基于当前的policy，为了探索状态空间，采用一个次优的策略ϵ−greedy policy来探索。

那么是不是可以更直接的使用两个policy。

一个policy用来探索空间，也就是behavior policy，另一个policy就是为了达到最优policy，叫做target policy。

那么这种方法就叫做off policy learning。

On-policy的方法比较简单，off-policy 方法需要更多的概念和标记，比较不好理解，而且，由于behaviour policy和target policy不相关，这种方法比较不容易收敛。

但是off-policy更强大，更通用，实际上的on-policy方法就是off-policy方法的一个子集。

比如，就可以使用off-policy从人类专家或者传统的控制算法来学习一个增强学习模型。

关键是要找到两个policy之间的权重关系，从而更新Q值。

关于off-policy learning的部分，之后结合TD方法再做分析。

小结本次blog分析了一下蒙特卡洛方法。

这种基于统计学的方法算法简单，但是更多的只能用于虚拟环境能进行无限测试的情况。

并且state 状态比较有限，离散的最好。

基于这个方法，比如简单的五子棋（棋盘最好小一点），就可以用这个方法来玩玩了。

1 前言在上一篇blog中，我们分析了蒙特卡洛方法，这个方法的一个特点就是需要运行完整个episode从而获得准确的result。

但是往往很多场景下要运行完整个episode是很费时间的，因此，能不能还是沿着bellman方程的路子，估计一下result呢？并且，注意这里，依然model free。

那么什么方法可以做到呢？就是TD （temporal-difference时间差分）方法。

有个名词注意一下：boostraping。

所谓boostraping就是有没有通过估计的方法来引导计算。

那么蒙特卡洛不使用boostraping，而TD使用boostraping。

接下来具体分析一下TD方法2 TD与MC的不同MC使用准确的return来更新value，而TD则使用Bellman方程中对value的估计方法来估计value，然后将估计值作为value的目标值进行更新。

合集下载

什么是强化学习

什么是强化学习

强化学习强化学习（Reinforcement Learning, RL），又称再励学习、评价学习或增强学习，是机器学习的范式和方法论之一，用于描述和解决智能体（agent）在与环境的交互过程中通过学习策略以达成回报最大化或实现特定目标的问题。

强化学习的常见模型是标准的马尔可夫决策过程（Markov Decision Process, MDP）。

按给定条件，强化学习可分为基于模式的强化学习（model-based RL）和无模式强化学习（model-free RL），以及主动强化学习（active RL）和被动强化学习（passive RL）。

强化学习的变体包括逆向强化学习、阶层强化学习和部分可观测系统的强化学习。

求解强化学习问题所使用的算法可分为策略搜索算法和值函数（value function）算法两类。

深度学习模型可以在强化学习中得到使用，形成深度强化学习。

强化学习理论受到行为主义心理学启发，侧重在线学习并试图在探索-利用（exploration-exploitation）间保持平衡。

不同于监督学习和非监督学习，强化学习不要求预先给定任何数据，而是通过接收环境对动作的奖励（反馈）获得学习信息并更新模型参数。

强化学习问题在信息论、博弈论、自动控制等领域有得到讨论，被用于解释有限理性条件下的平衡态、设计推荐系统和机器人交互系统。

一些复杂的强化学习算法在一定程度上具备解决复杂问题的通用智能，可以在围棋和电子游戏中达到人类水平。

中文名强化学习外文名Reinforcement Learning, RL别名再励学习，评价学习，增强学习；强化学习是智能体（Agent）以“试错”的方式进行学习，通过与环境进行交互获得的奖赏指导行为，目标是使智能体获得最大的奖赏，强化学习不同于连接主义学习中的监督学习，主要表现在强化信号上，强化学习中由环境提供的强化信号是对产生动作的好坏作一种评价(通常为标量信号)，而不是告诉强化学习系统RLS(reinforcement learning system)如何去产生正确的动作。

强化学习算法中的反向动力学方法详解(Ⅰ)

强化学习算法中的反向动力学方法详解(Ⅰ)

强化学习（Reinforcement Learning, RL）是一种机器学习方法，它通过代理在与环境的互动中学习如何做出决策来最大化累积奖赏。

RL 中的核心问题是探索与利用的权衡，以及如何在不确定性环境下做出最优决策。

近年来，强化学习在许多领域取得了巨大的进展，并成为人工智能领域备受关注的研究方向之一。

在强化学习算法中，反向动力学方法是一种重要的学习策略。

与传统的基于值函数或策略函数的方法不同，反向动力学方法直接学习动作值函数或动作策略函数。

本文将详细介绍反向动力学方法在强化学习中的应用及其原理。

一、反向动力学方法的基本原理在强化学习中，代理与环境不断进行交互，代理根据环境的反馈调整自己的决策策略。

反向动力学方法的核心思想是从输出开始反向计算输入对应的价值函数或策略函数，以此来更新参数。

与直接从输入到输出的前向计算相比，反向动力学方法更适用于高维复杂的问题，并且能够在参数更新过程中更好地处理梯度消失和梯度爆炸等问题。

二、反向动力学方法在深度强化学习中的应用深度强化学习是指将深度学习技术应用于强化学习中，以解决高维、复杂环境下的决策问题。

在深度强化学习中，反向动力学方法被广泛应用于价值函数的估计和策略函数的优化。

通过神经网络逼近动作值函数或动作策略函数，可以有效地处理高维状态空间和动作空间，并且能够对复杂的非线性关系进行建模。

三、反向动力学方法的算法实现在实际应用中，反向动力学方法通常采用基于梯度的优化算法进行参数更新。

常用的算法包括随机梯度下降（Stochastic Gradient Descent, SGD）、Adam、RMSProp 等。

这些算法通过不断地迭代更新参数，使得神经网络逼近目标函数，并且能够处理高维、非凸的优化问题。

四、反向动力学方法的改进与应用近年来，学者们提出了许多改进的反向动力学方法，以应对深度强化学习中的挑战。

例如，基于自适应激励的增强学习方法（Intrinsically Motivated Reinforcement Learning, IMRL）可以有效地解决探索与利用的平衡问题；基于元学习的方法可以在少样本学习的场景下实现快速收敛。

基于多策略学习的强化学习算法研究

基于多策略学习的强化学习算法研究

基于多策略学习的强化学习算法研究强化学习（Reinforcement Learning）是一种机器学习的方法，它在不知道正确答案的情况下，通过尝试和错误不断的学习，从而实现某种任务的优化。

强化学习的基本思想是在与环境的交互中，根据环境对智能体的反馈不断地进行学习和优化。

当然这意味着我们需要在某些情况下允许智能体犯错，但这是不可避免的。

强化学习为人工智能的进一步发展掀开了一个新的篇章。

然而，在传统强化学习算法中，由于智能体在优化过程中只能使用单一策略，且往往只能优化某些特定目标，其应用受到了很大的限制。

为了解决这一问题，出现了多策略学习的概念。

多策略学习（Multiple Policies Learning）指的是在一个智能体中使用多种策略来完成某个目标，以提高策略的适应性和稳定性。

多策略学习让机器在决策过程中更加具有灵活性和鲁棒性，在面对未知情况时能够采取更加合理的策略。

通常情况下，多策略学习算法涉及到动态策略选择和策略融合（如softmax和UCB等），能够在不同环境下使智能体能够更加平稳的完成任务。

为了更好地理解多策略学习，我们可以将其与单策略学习进行对比。

单策略学习只能使机器通过一个固定的策略来完成任务，无法很好地适应复杂和多变的情况。

与之相反，多策略学习通过使用多个策略，使机器在不同情况下选择相应策略，从而提高了性能、鲁棒性和可控性。

在多策略学习的算法中，一个主要的挑战是如何选择适合的策略。

通常情况下，我们可以通过混合（mixing）和转换（switching）两种方式来实现策略的选择。

混合（mixing）指的是在不同阶段使用不同的策略，而转换（switching）指的是在任务处理的过程中，根据一些标准或者加性系数动态选择适合的策略。

这两种选择策略的方式都需要考虑状态对策略的影响，从而实现最优策略的选择。

值得注意的是，虽然多策略学习方式可以有效提高机器在复杂任务中的性能和稳定性，但是也存在着一些问题。

integral reinforcement learning

integral reinforcement learning

integral reinforcement learning强化学习是一种机器学习算法，它通过利用试错方法来对多个环境中的行为作出预测和决策，以实现某个目标。

当与积分学习（Integral Learning）结合时，强化学习能够更好地学习和更新环境的状态，从而更快地实现预期目标。

本文将详细介绍“integral reinforcement learning”。

第一步：什么是强化学习？强化学习是一种通过与环境的不断交互来学习和改进决策策略的机器学习算法。

在强化学习中，智能体会与环境进行交互，根据环境的反馈来调整和改进自己的行为。

强化学习中的“强化”指的是通过环境的奖励和惩罚来引导智能体的学习。

第二步：什么是积分学习？积分学习是指在机器学习过程中对数据进行求和，以获得更好的结果的一种方法。

这种方法可以帮助算法更好地学习数据的概览特征，从而更有效地分类和预测数据。

第三步：为什么需要积分学习？强化学习中经常需要对多个状态和动作进行汇总分析。

积分学习可以对这些数据进行求和，从而得到更准确的结果。

除此之外，积分学习还可以帮助算法更好地处理不同的信号和噪声，从而减少误判和误判率。

第四步：什么是integral reinforcement learning？积分强化学习是强化学习与积分学习相结合的一种方法。

在这种方法中，智能体会根据环境的反馈进行调整和改进，同时进行积分分析以获取环境中的任何重要特征，并更好地学习数据的概览特征。

积分强化学习有助于智能体更快地学习和理解环境，并更好地决策和预测行为。

第五步：integral reinforcement learning的应用积分强化学习已经应用于各种领域，包括计算机视觉、自然语言处理、机器人学和自动化等。

在计算机视觉领域中，积分强化学习可以帮助识别图像中的物体和区域，并帮助智能体更快地识别和处理信号。

在自然语言处理中，积分强化学习可以帮助智能体更好地理解语言，从而更好地进行语音识别和翻译。