下载文档原格式
马尔可夫决策过程的应用前景分析引言马尔可夫决策过程（Markov decision process, MDP）是一种用于描述随机过程的数学模型，它在各种领域中都有着广泛的应用。
特别是在人工智能、运筹学和控制理论等方面，马尔可夫决策过程的应用前景十分广阔。
本文将就马尔可夫决策过程的应用前景进行分析，探讨其在不同领域中的潜在价值。
马尔可夫决策过程简介马尔可夫决策过程是一种描述随机决策过程的数学模型。
它由状态空间、动作空间、状态转移概率和奖励函数组成。
在马尔可夫决策过程中，决策者通过选择动作来改变系统的状态，同时系统状态的转移是由概率决定的。
马尔可夫决策过程的目标是寻找一种最优策略，使得长期累积奖励最大化。
马尔可夫决策过程的应用前景在人工智能领域，马尔可夫决策过程被广泛应用于强化学习算法中。
强化学习是一种通过与环境交互来学习最优策略的方式，而马尔可夫决策过程为强化学习提供了理论基础。
通过马尔可夫决策过程，我们可以建立起一种状态空间、动作空间和奖励函数的数学模型，然后利用强化学习算法来寻找最优策略。
这种方法在机器人控制、自动驾驶和游戏策略等领域都有着广泛的应用。
在运筹学领域，马尔可夫决策过程被广泛应用于资源分配和调度优化问题中。
例如，在生产调度中，我们可以利用马尔可夫决策过程来建立生产线上不同状态之间的转移关系，并根据奖励函数来优化生产调度策略。
另外，在供应链管理和库存控制方面，马尔可夫决策过程也可以帮助企业实现最优的资源配置和库存管理。
在控制理论领域，马尔可夫决策过程被广泛应用于自动控制系统中。
通过建立马尔可夫决策过程模型，我们可以设计出一种最优的控制策略，使得系统能够在不确定性环境中实现稳定的控制。
这种方法在工业控制、交通管理和能源系统等领域都有着重要的应用价值。
总结综上所述，马尔可夫决策过程在人工智能、运筹学和控制理论等领域都有着广泛的应用前景。
通过建立状态空间、动作空间和奖励函数的数学模型，我们可以利用马尔可夫决策过程来寻找最优策略，实现系统的优化控制。
马尔可夫决策过程在机器人行为决策中的应用研究机器人是人工智能领域的热门研究课题之一。
在复杂环境中，机器人需要根据传感器获得的信息，在不确定的情况下做出正确的决策。
然而，由于环境的复杂性和不确定性，机器人在决策时面临着许多问题。
马尔可夫决策过程（MDP）被广泛应用于机器人行为决策中，以加强机器人在复杂环境下的表现。
马尔可夫决策过程是一种数学模型，它涉及频繁的随机事件和决策。
其中，状态转移和决策是马尔可夫决策过程的两个基本概念。
状态转移指的是机器人从一个状态转移到另一个状态，而决策是机器人为了达到某个目标而采取的特定行为。
在MDP模型中，机器人面临多个状态和行为空间，每一次决策所消耗的收益也不同。
因此，机器人需要在每次决策时估计收益，并采取能够最大化收益的行为。
利用MDP模型，机器人在行动时可以思考下一步应该采取哪种行为，以最大化其行为的效果。
具体而言，机器人可以通过MDP模型来预测其行为将会带来的积极和消极后果，从而识别哪些行为可能导致不利后果。
如果机器人能够识别出将导致不利后果的行为并将其替换为更有利的行为，那么它就能够在执行任务时更加高效。
在实际应用中，MDP模型在机器人行为决策中的应用非常广泛。
比较典型的例子是机器人足球。
在机器人足球比赛中，机器人需要调整其行为决策来适应比赛中的变化，例如足球球的位置、球员的位置、场地的变化等等。
MDP模型可以帮助机器人预测可能的动态，并在不确定的情况下做出最好的动态决策——例如，当看到球员发送信号向右移动时，机器人可以快速调整自己的位置。
除了机器人足球，MDP模型还可以应用于许多不同的领域，例如机器人导航、机器人家政服务、自动驾驶等等。
在这些应用中，MDP模型可以帮助机器人做出更加精确、高效的决策，从而提高其智能水平并提高其工作效率。
MDP模型的一大优势是可以自动学习。
当机器人执行动态任务时，MDP模型会自动矫正自己在行为决策中的错误，并不断改进自己的决策能力。
空间马尔可夫链测算-概述说明以及解释1.引言1.1 概述在空间马尔可夫链的研究中，该模型主要用于描述和分析具有空间特征的随机过程。
与传统的马尔可夫链不同的是，空间马尔可夫链不仅考虑了状态的转移概率，还考虑了状态间的空间依赖关系。
通过将马尔可夫链的状态扩展为空间上的节点，我们可以更好地模拟和分析各种现实世界中的随机过程。
本文将详细介绍空间马尔可夫链的概念和测算方法。
在第二章中，我们将首先给出空间马尔可夫链的定义和基本概念，包括状态空间、状态转移概率和初始概率分布等。
然后，我们将介绍一些经典的空间马尔可夫链模型，如格点模型和连续空间模型，并对它们的特点进行讨论。
在第三章中，我们将重点介绍空间马尔可夫链的测算方法。
这些方法包括参数估计、马尔可夫链融合和模拟仿真等。
我们将详细介绍每种方法的原理和步骤，并给出相应的数学公式和算法。
此外，我们还将讨论测算结果的解释和应用，以及可能存在的限制和改进空间。
总之，本文旨在为读者提供一个全面的关于空间马尔可夫链测算的指南。
通过对该模型的深入理解和应用，我们可以更好地分析和预测各种具有空间特征的随机过程，为实际问题的解决提供科学依据和决策支持。
在未来的研究中，我们也将继续探索空间马尔可夫链的新理论和方法，以适应不断变化的科学和工程需求。
文章结构部分的内容应该是对整篇文章的结构和各个部分的内容进行介绍和说明。
以下是对文章结构部分的内容的一个可能的编写：1.2 文章结构本文共分为引言、正文和结论三个部分。
每个部分的主要内容如下：引言部分：引言部分包括了概述、文章结构和目的三个小节。
概述部分会对空间马尔可夫链测算的主题进行简要介绍，指出该主题的重要性和研究意义。
文章结构部分则会明确说明整篇文章的结构安排和各个部分的主要内容。
目的部分则会明确表达本文的研究目的和所要解决的问题。
正文部分：正文部分分为空间马尔可夫链的概念和空间马尔可夫链的测算方法两个小节。
空间马尔可夫链的概念部分会系统介绍空间马尔可夫链的基本概念、特点和相关理论背景，为后续的测算方法提供理论基础。
随机过程马尔可夫链随机过程是研究随机事件在时间和空间上的变化规律的数学模型。
而马尔可夫链是随机过程的一种，它的特别之处在于，当前时刻的状态只与前一时刻的状态有关，而与其它时间的状态无关。
现在，让我们来详细了解一下随机过程与马尔可夫链。
一、随机过程随机过程实际上就是由一系列随机变量组成的，这些随机变量的取值是在某些规定的时间或空间上进行的。
它是一个随机事件的序列或集合，因此其本质是一种时间或空间上的随机演化。
二、马尔可夫链马尔可夫链是一种特殊的随机过程，其特征在于它只与其前一状态有关。
其实，马尔可夫链是一种转移概率的数学模型，它描绘了系统从一个状态到另一个状态的转移概率，而这些概率只与前一时刻的状态有关。
马尔可夫链的形式化描述就是一个状态空间和一个转移矩阵。
这里，状态空间可以是任意形式的集合，而转移矩阵则是一个矩阵，其每个元素表示从一个状态到另一个状态的概率。
三、马尔可夫链的性质马尔可夫链具有多种性质：1、马尔可夫性质：当前时刻的状态只与前一时刻的状态有关。
2、无记忆性质：其将来的状态与过去的状态无关。
3、多步转移概率：马尔可夫链具有的多步转移概率与初始状态无关。
4、周期性：若马尔可夫链从一个状态出发始终无法到达其它状态，可以说其为周期性的。
四、应用1、生物统计：马尔科夫链应用到多态遗传研究。
2、分子动力学：马尔可夫链应用到高分子链的构象和动力学研究。
3、自然语言处理：将一个英文句子转化为标签序列可以看做是一个马尔可夫链。
总之，随机过程和马尔可夫链是最基础的统计学习模型。
它们在多个领域都有广泛的应用，如金融、医学、工业等。
深刻了解它们的特性和应用将有助于我们更好地理解大量数据背后的规律。
0引言部分可观察马尔可夫决策过程 (partially observable Markov decision processes , POMDP 描述的是当前世界模型部分可知的情况下,智能体 Agent Agent 的例如, 足球运动员在球场上踢足球, 每个球员并不完全清楚他周围的所有状态, 当他向前带球的过程中, 他可能知道在他前面人的位置和状态, 但是可能不知道在他后面的其他队友的位置和状态, 此时他观察到的信息是不完整的, 但是一个优秀的足球运动员往往靠着一种感觉传给他身后的最有利的队员, 使其进行最有利的进攻,过程就是部分可观察马尔可夫决策过程。
在部分可感知模型中, 不仅要考虑到状态的不确定性, 同时还要考虑到动作的不确定性,这种世界模型更加能够客观的描述真实世界, 因此应用十分广泛。
本文综述了目前在 POMDP 领域的研究情况, 介绍了 MDP 的数学理论基础和决策模型, 以及一种典型的 POMDP 决策算法-值迭代算法, 介绍了目前现有的几种经典的决策算法, 并分析它们之间的优点和不足, 列举了一些 POMDP 常见的应用领域, 并进行了总结和展望。
1马尔可夫决策过程Agent 每一个时刻都要做一些决策, 做决策时不仅要考虑甚至是其它 Agents (Markov decision process , MDP 的最优解, MDP 可以用一个四元组<, >来描述 [1]::Agent的行为集;, :×:当 Agent在状态 ,可能转移到状态的概率,使用 |:→ 情况下采用动作-2116--2117-, Agent 使 Agent 选择的动作能够获得在 MDP 模型中, Agent在为折扣因子,其目标是让期望值有界(1由于 MDP 决策过程中, 要同时考虑世界模型的不确定性和目标的长远性,需要在策略时刻,状态的情况下,值函数构造如下=,=,*,也就是 Agent 每个时刻都能做到的最优决策, 根据 Bellman最优策略公式可以得到。
马尔可夫决策过程简介马尔可夫决策过程（Markov Decision Process, MDP）是一种用于描述随机决策问题的数学框架。
它是由苏联数学家安德雷·马尔可夫在20世纪初提出的，被广泛应用于控制理论、人工智能、经济学等领域。
马尔可夫决策过程的核心思想是通过数学模型描述决策者在具有随机性的环境中做出决策的过程，以及这些决策对环境的影响。
本文将介绍马尔可夫决策过程的基本概念和应用。
1. 随机过程马尔可夫决策过程是建立在随机过程的基础上的。
随机过程是指随机变量随时间变化的过程，它可以用来描述许多自然现象和工程问题。
在马尔可夫决策过程中，状态和行动都是随机变量，它们的变化是随机的。
这种随机性使得马尔可夫决策过程具有很强的适用性，可以用来描述各种真实世界中的决策问题。
2. 状态空间和转移概率在马尔可夫决策过程中，环境的状态被建模为一个有限的状态空间。
状态空间中的每个状态都代表了环境可能处于的一种情况。
例如，在一个机器人导航的问题中，状态空间可以表示为机器人可能所处的每个位置。
转移概率则描述了从一个状态转移到另一个状态的概率。
这个概率可以用一个转移矩阵来表示，矩阵的每个元素代表了从一个状态到另一个状态的转移概率。
3. 奖励函数在马尔可夫决策过程中，决策者的目标通常是最大化长期的累积奖励。
奖励函数用来描述在不同状态下采取不同行动所获得的奖励。
这个奖励可以是实数，也可以是离散的，它可以是正也可以是负。
决策者的目标就是通过选择合适的行动，使得累积奖励达到最大。
4. 策略在马尔可夫决策过程中，策略是决策者的行动规则。
它描述了在每个状态下选择行动的概率分布。
一个好的策略可以使得决策者在长期累积奖励最大化的同时，也可以使得系统的性能达到最优。
通常情况下，我们希望找到一个最优策略，使得系统在给定的状态空间和转移概率下能够最大化累积奖励。
5. 值函数值函数是描述在给定策略下，系统在每个状态下的长期累积奖励的期望值。
马尔可夫决策过程马尔可夫决策过程(Markov Decision Processes，MDP)马尔可夫决策过程概述马尔可夫决策过程是基于马尔可夫过程理论的随机动态系统的最优决策过程。
马尔可夫决策过程是序贯决策的主要研究领域。
它是马尔可夫过程与确定性的动态规划相结合的产物，故又称马尔可夫型随机动态规划，属于运筹学中数学规划的一个分支。
马尔可夫决策过程是指决策者周期地或连续地观察具有马尔可夫性的随机动态系统，序贯地作出决策。
即根据每个时刻观察到的状态，从可用的行动集合中选用一个行动作出决策，系统下一步（未来）的状态是随机的，并且其状态转移概率具有马尔可夫性。
决策者根据新观察到的状态，再作新的决策，依此反复地进行。
马尔可夫性是指一个随机过程未来发展的概率规律与观察之前的历史无关的性质。
马尔可夫性又可简单叙述为状态转移概率的无后效性。
状态转移概率具有马尔可夫性的随机过程即为马尔可夫过程。
马尔可夫决策过程又可看作随机对策的特殊情形，在这种随机对策中对策的一方是无意志的。
马尔可夫决策过程还可作为马尔可夫型随机最优控制，其决策变量就是控制变量。
马尔可夫决策过程的发展概况50年代R.贝尔曼研究动态规划时和L.S.沙普利研究随机对策时已出现马尔可夫决策过程的基本思想。
R.A.霍华德(1960)和D.布莱克韦尔(1962)等人的研究工作奠定了马尔可夫决策过程的理论基础。
1965年，布莱克韦尔关于一般状态空间的研究和E.B.丁金关于非时齐（非时间平稳性）的研究，推动了这一理论的发展。
1960年以来，马尔可夫决策过程理论得到迅速发展，应用领域不断扩大。
凡是以马尔可夫过程作为数学模型的问题，只要能引入决策和效用结构，均可应用这种理论。
马尔可夫决策过程的数学描述周期地进行观察的马尔可夫决策过程可用如下五元组来描述：{S，(A(i)，i∈S，q，γ，V},其中S 为系统的状态空间（见状态空间法）；A(i)为状态i(i∈S)的可用行动（措施，控制）集；q为时齐的马尔可夫转移律族，族的参数是可用的行动；γ是定义在Γ(Г呏{(i，ɑ):a∈A(i)，i∈S}上的单值实函数；若观察到的状态为i，选用行动a，则下一步转移到状态j的概率为q(j│i，ɑ)，而且获得报酬γ(j，ɑ),它们均与系统的历史无关；V是衡量策略优劣的指标（准则）。
0引言部分可观察马尔可夫决策过程 (partially observable Markov decision processes , POMDP 描述的是当前世界模型部分可知的情况下,智能体 Agent Agent 的例如, 足球运动员在球场上踢足球, 每个球员并不完全清楚他周围的所有状态, 当他向前带球的过程中, 他可能知道在他前面人的位置和状态, 但是可能不知道在他后面的其他队友的位置和状态, 此时他观察到的信息是不完整的, 但是一个优秀的足球运动员往往靠着一种感觉传给他身后的最有利的队员, 使其进行最有利的进攻,过程就是部分可观察马尔可夫决策过程。
在部分可感知模型中, 不仅要考虑到状态的不确定性, 同时还要考虑到动作的不确定性,这种世界模型更加能够客观的描述真实世界, 因此应用十分广泛。
本文综述了目前在 POMDP 领域的研究情况, 介绍了 MDP 的数学理论基础和决策模型, 以及一种典型的 POMDP 决策算法-值迭代算法, 介绍了目前现有的几种经典的决策算法, 并分析它们之间的优点和不足, 列举了一些 POMDP 常见的应用领域, 并进行了总结和展望。
1马尔可夫决策过程Agent 每一个时刻都要做一些决策, 做决策时不仅要考虑甚至是其它 Agents (Markov decision process , MDP 的最优解, MDP 可以用一个四元组<, >来描述 [1]::Agent的行为集;, :×:当 Agent在状态 ,可能转移到状态的概率,使用 |:→ 情况下采用动作-2116--2117-, Agent 使 Agent 选择的动作能够获得在 MDP 模型中, Agent在为折扣因子,其目标是让期望值有界(1由于 MDP 决策过程中, 要同时考虑世界模型的不确定性和目标的长远性,需要在策略时刻,状态的情况下,值函数构造如下=,=,*,也就是 Agent 每个时刻都能做到的最优决策, 根据 Bellman最优策略公式可以得到。
部分可观察马尔可夫决策过程研究进展引言部分可观察马尔可夫决策过程(POMDPs)是一种广泛应用于机器人、智能制造、无人驾驶等场景的决策模型。
和完全可观察马尔可夫决策过程相比，POMDPs模型不需要完全观察到结构状态才能做出决策，这意味着在不确定和复杂的环境下仍然能够进行决策。
本文将介绍部分可观察马尔可夫决策过程的概述、应用场景、基本假设和算法等内容。
概述POMDPs模型是一种基于概率的模型，它描述了一个决策者如何在状态不完全可观察的情况下，通过观察到的一些信号来选择一个最佳的动作。
这个决策模型具有以下几个特点：•部分可观察：不能同时观察到所有状态信息。
•马尔可夫性质：未来状态与现在状态的概率分布只受到现在状态和现在决策的影响，和历史状态是无关的。
•策略可观察：决策者必须能够观察到策略的效果。
应用场景在实际生产中，POMDPs模型已经广泛应用于各种智能系统和机器人，特别是在以下几个领域：•机器人路径规划：机器人如果要做出正确的路径规划，必须了解自己所处的环境，但是很多时候机器人无法完全感知到环境的状态。
因此，POMDPs可以应用于机器人路径规划中，它不需要完整的状态信息，而是通过观察到的一些信号，来做出最优路径规划方案。
•无人驾驶：无人驾驶汽车需要根据路况来做出各种决策，比如加速、减速、左转、右转等，但是在实际驾驶中，车辆无法完全感知到路况的变化。
因此，POMDPs可以应用于无人驾驶领域，通过观察到的一些信号，来做出最优的驾驶决策。
•智能制造：在智能制造中，机器也需要根据环境来进行各种决策，比如零件的加工、检测、包装等任务，但是在实际生产中，机器也无法完全感知到环境的状态，因此，POMDPs也可以应用于智能制造中。
基本假设POMDPs模型有以下基本假设：1.状态空间S：一组离散化状态，$s \\in S$；2.动作空间A：一组可选的动作，$a \\in A$；3.观察空间O：一组可观察到的信号，$o \\in O$；4.马尔可夫过程：一个状态序列s0,s1,s2,...，其中每个状态只与前一个状态和对应动作相关，P(s n|s n−1,a n)描述了这个马尔可夫过程的特点；5.系统动态：每个状态间可选用的每个动作会以不同的概率移动到下一个状态，P(s n+1|s n,a n)描述了系统的动态；6.观测模型：观察到的信号与实际状态之间存在关联，P(o n|s n,a n)描述了观测模型；7.报酬函数R：每个状态s和可以执行的动作a有一定的奖励或者惩罚，R(s,a)描述了报酬函数；POMDPs算法POMDPs模型有很多求解算法，例如：1.值迭代(PI)方法：直接使用了值迭代方法来求解POMDPs问题；2.直接解法：通过线性规划或者动态规划等方法，对POMDPs模型直接求解；3.递归算法：根据信念状态来定义一个更新状态的递归方程，逐步更新信念状态。
马尔可夫过程研究方向马尔可夫过程是研究得相当深入，而且还在蓬勃发展的随机过程。
随着现代科学技术的发展，很多在应用中出现的马氏过程模型的研究受到越来越多的重视。
马氏过程研究组目前从事的研究领域包括测度值过程、分枝过程、仿射过程、随机微分方程、迷向随机流、随机环境模型、随机金融模型等。
这些模型来源于物理、生物、金融等学科，既有丰富优美的数学结构，又有广泛深刻的应用背景。
马氏过程方向研究的目的是从理论上理解这些模型所描述的自然现象。
马氏过程研究方向的学术带头人是王梓坤院士，他的研究组是国内该方向最早的研究集体之一。
王梓坤1958年毕业于莫斯科(Moscow)大学数学力学系，获副博士学位。
他的导师是著名数学家A.N.Kolmogorov教授和R.L.Dobrushin教授。
王梓坤的毕业论文的研究课题是生灭过程的分类，他的工作后来对国内在该领域的研究产生了重要影响。
1958年，王梓坤回国后在继续自己研究的同时，积极培育概率论和随机过程的研究队伍，并于1959年开始带研究生。
他早期的学生包括施仁杰、杨向群、吴让泉、吴荣、刘文、李志阐等。
50至60年代，王梓坤在生灭过程研究中提出了极限过渡构造方法，以此解决了生灭过程的构造问题。
他还将差分和递推方法应用于生灭过程的泛函和首达时分布的研究，得到了一系列结果。
苏联数学家hkevich [Transaction 4th Prague Conference on Information Theory, StatisticalDecision Function, Random Process. 1965]写道：“Feller构造了生灭过程在轨道达到无穷以后的不同延拓…，而王梓坤用极限过渡法找出了生灭过程的所有延拓”。
英国皇家学会会员D.G.Kendall在美国《数学评论》上对王梓坤的一篇论文评论道：“我认为，这篇文章除作者所提到的应用外，还有许多重要的应用。
例如，在传染病研究中…，该问题是困难的，本文所提出的技巧值得认真研究”。
在马氏过程方面，王梓坤证明某些马氏过程的常返性等价于其有限调和函数为常数，而0-1律等价于其有限过份函数为常数。
1962年，王梓坤翻译的前苏联数学家、后成为美国科学院院士的E.B.Dynkin的著作《马尔可夫过程论基础》由科学出版社出版。
该书总结了当时苏联概率学派在马氏过程研究方面的最新成就，推动了我国在该领域的研究。
1965年，科学出版社出版了王梓坤的著作《随机过程论》。
该书是国内最早系统叙述随机过程理论的著作之一，多年来是我国学者在该领域重要的教学和研究参考书，几次印刷发行总计近3万册，对概率论与随机过程理论在我国的传播与发展起了重要的作用。
70年代，王梓坤和他的同事转向概率论应用的研究，主要从事随机过程的计算机模拟和统计预报方面的研究。
1976年科学出版社出版了他的《概率论基础及其应用》。
该书在严格地讲述概率论基础知识的同时，介绍了概率论在数理统计、计算方法和可靠性理论中的应用，被很多高等院校和研究单位用作教材或参考书。
1978年，王梓坤与钱尚纬合著的《概率统计预报》由科学出版社出版。
80年代初，王梓坤和他的小组研究布朗运动与位势理论和多参数马氏过程。
1980年他与R.K.Getoor几乎同时独立地解决了布朗运动的首出时与末离时的联合分布问题。
1984年他利用多重随机积分给出了多指标Ornstein-Uhlenbeck过程的定义，并取得了一系列的成果。
国外J.B.Walsh 于1986年也提出了基本上一致的定义。
后来王梓坤又将两种定义作了统一的处理。
1980年，王梓坤的研究专著《生灭过程与马尔可夫链》作为“纯粹数学与应用数学专著”丛书的第5号由科学出版社出版。
该书对他在生灭过程方面的研究成果进行了较为系统地概括和总结。
此后王梓坤与杨向群合作对该书进行了扩充，1992年由德国Springer公司出版了英文版。
美国《数学评论》介绍说：“本书后三章的许多结果来源于作者个人的研究，这是一部雅致而明晰的著作(an elegant and lucid book)”，又对英文版评论道：“这本专著带给英文读者中国概率论学派70年代所获得的许多结果”。
实际上，该书的大部分结果是在50年代末至60年代取得的！1983年，科学出版社出版了王梓坤著的《布朗运动与位势》。
1984年，王梓坤调入北京师范大学后与李占柄共同主持马氏过程讨论班，继续在马氏过程与位势理论、多参数马氏过程等方面的研究工作。
李占柄1961年7月毕业于前苏联莫斯科大学数学力学系概率论与数理统计专业。
1961年8月开始任教于北京师范大学数学系。
他曾于1980年10月至1982年1月访问美国麻省州立大学，1991年11月至1992年6月访问乌克兰基辅大学。
李占柄长期从事随机过程，非线性方程和数学物理方面的研究。
八十年代，他在对一类满足某种非线性Fokker-Planck 方程的马氏过程的研究中所采用的扩散逼近方法受到M.Crandall和R.Gardner的好评，在高维Burger方程的研究中曾解决了著名学者Ya.G.Sinai提出的一个问题，在非平衡系统的Master方程的建立及稳定性、基本粒子的方程机制、辐射源交叉定位的精度分析几方面也有多项研究成果。
1990年，王梓坤和李占柄培养的博士陈雄毕业留数学系任教。
陈雄的研究工作主要集中在多参数马氏过程方向，在多参数OU过程和多参数Poisson型随机微分方程的研究中取得了很好的研究成果。
陈雄1993年出国工作，此后若干年中仍继续有关方向的研究。
1988年，王梓坤由于在概率论、科学教育和研究方法论等方面的成就获澳大利亚麦克里(Macquarie)大学荣誉科学博士学位。
1988年底至1989年初，美国国家科学院院士E.B.Dynkin应邀访华，在南开大学和北京师大做了Dawson-Watanabe超过程方面的系列讲座。
此后，王梓坤和李占柄带领他们的研究组开始该方向的研究。
DW超过程是大规模微观粒子群体随机演化的数学模型，在生物、物理等学科中有很强的应用背景。
1989年，李占柄在一篇短文中阐述了Dynkin关于DW超过程分枝机制积分表示的猜想。
1990年，王梓坤给出了DW超过程Laplace泛函的幂级数展开。
同年李增沪证明了分枝机制的积分表示，这个表示是超过程定义中几个基本的公式之一。
Dynkin [Ann. Probab. 1993]利用他的结果解释DW超过程模型的普适性：如果超过程是由某个分枝粒子系统取极限得到的，则其分枝机制一定具有特定的积分表示形式。
1991年11月，王梓坤当选中国科学院院士。
同年，他发表了关于DW超过程的综述文章，向国内学术界系统地介绍了国际上在测度值马氏过程方面的研究进展情况。
李增沪在1992年发表的论文中引入了一类带移民的测度值分枝过程，并研究了相应的粒子系统的收敛。
他同年的另一篇论文利用非局部分枝DW超过程构造了一般的多物种模型。
基于上述思想，李增沪后来与D.A.Dawson等合作系统研究了非局部分枝DW超过程的构造，并作为应用导出了多物种型、年龄结构型、质量结构型、随机控制型等超过程。
对于上述模型的统一化处理和存在性的简洁证明被美国《数学评论》认为是他们构造的“真正好的特色(the really nice feature)”。
1993年，王梓坤利用多参数随机积分定义了一类多参数无穷维OU过程，并给出了其分布相互绝对连续的充要条件。
1994年10月李增沪从日本回国后留在数学系作博士后，1996年10月开始任教于数学系。
1996年，北京师大出版社再版了王梓坤的《概率论基础及其应用》，并以《随机过程通论》为题重编再版了他的《随机过程论》、《生灭过程与马尔可夫链》和《布朗运动与位势》。
1999年，王梓坤研究了多参数无穷维OU过程分布的绝对连续性和渐进行为，他的新著《马尔可夫过程与今日数学》由湖南科技出版社出版。
1998年12月至1999年12月李增沪获日本学术振兴会(JSPS)博士后研究基金资助访问东京工业大学，其间还获日本文部省的追加研究经费，并于1999年3月应邀访问加拿大Fields数学所。
通常的Dawson-Watanabe超过程是封闭的微观粒子系统随机演化的数学模型。
比这种模型更有理论和实际意义的是开放系统模型，或称为移民超过程。
1995年，李增沪和Shiga研究了测度值分枝扩散过程的游弋(excursions)和相应的移民过程的构造 。
同年，李增沪发现DW超过程的伴随移民过程的分布概率族{N(t): t≧0}满足斜卷积方程N(r+t) = [N(r)Q(t)]*N(t)，其中{Q(t): t≧0}是DW 超过程的转移半群，他最早把该方程的解称为“斜卷积半群”。
李增沪证明斜卷积半群与无穷可分概率进入律之间的1-1对应关系，并在此后的论文中发展了相应的移民超过程理论。
斜卷积半群作为开放系统的研究工具也适用于若干其它模型。
例如，李增沪与Dawson等后来将斜卷积半群应用于广义Mehler半群的研究，给出了Hilbert空间值OU过程的完整刻画。
李增沪和Dawson还将斜卷积半群工具应用于数理金融的研究，回答了Duffie等[Ann. Appl. Probab. 2003]提出的仿射金融模型的正则性问题，并建立了该模型与随机介质移民分枝过程的联系。
Bojdecki和Gorostiza [Math. Nachr.2002]写道：“李通过引进和使用斜卷积半群的概念发展了移民系统的一套理论(a theory of immigration systems)”。
Gorostiza在德国《数学文摘》上称斜卷积半群“对移民分枝过程起着关键的作用(play a key role in immigration branching processes)”。
Dawson和Perkins [Math. Surv. Monogr. AMS 1999 / Lect. Notes Math. 2002]两次收录了李增沪和Shiga关于测度值游弋的定理，用来研究DW超过程的“丛束(cluster)”分解。
Dawson和Gorostiza等人[Electron. J. Probab., 2004]利用李增沪和Shiga给出的移民过程的理论框架深入研究了多层群体过程。
作者们在论文中称“由进入律决定的移民过程的存在性最初是由李和Shiga建立的”，而他们的移民模型“可纳入李和Shiga 研究的由边界进入的移民过程的框架(the framework of immigration processes from the boundary)”。
上述成果后被总结于李增沪的专著《Measure-Valued Branching Markov Processes》，该书2011年由Springer出版。
