宏观经济学 数学基础-3-动态规划

2006年度秋季中国精算师资格考试-考试指南第一部分中国精算师资格考试准精算师部分01～09科目01数学基础Ⅰ考试时间：3小时考试形式：客观判断题考试内容和要求：考生应掌握微积分、线性代数和运筹学的基本概念和主要内容。

A.微积分（分数比例约为60％）1.函数、极限、连续2.一元函数微积分3.多元函数微积分4.级数5.常微分方程B.线性代数（分数比例约为30％）1.行列式2.矩阵3.线性方程组4.向量空间5.特征值和特征向量6.二次型C.运筹学（分数比例约为10％）1.线性规划2.整数规划3.动态规划1.《高等数学讲义》（第二篇数学分析）樊映川编著高等教育出版社2.《线性代数》胡显佑四川人民出版社3.《运筹学》（修订版）1990年《运筹学》教材编写组清华大学出版社除以上参考书外，也可参看其他同等水平的参考书。

02数学基础Ⅱ考试时间：3小时考试形式：客观判断题考试内容和要求：A.概率论（分数比例约为50％）1.概率的计算、条件概率、全概公式和贝叶斯公式2.随机变量的数字特征，特征函数；3.联合分布律、边际分布函数及边际概率密度的计算4.大数定律及其应用5.条件期望和条件方差6.混合型随机变量的分布函数、期望和方差等B.数理统计（分数比例约为35％）1.统计量及其分布2.参数估计3.假设检验4.方差分析5.列联分析C.应用统计（分数比例约为15％）1.回归分析2.时间序列分析(移动平滑，指数平滑法及ARIMA模型)1、《概率论与数理统计》茆诗松，周纪芗编著，中国统计出版社1996年7月第1版。

2、《统计预测——方法与应用》，易丹辉编著，中国统计出版社，2001年4月第一版。

除以上参考书外，也可参看其他同等水平的参考书。

03复利数学考试时间：2小时考试形式：客观判断题考试内容和要求：1.利息及利率（分数比例：6%-15%）2.年金（分数比例：15%-25%）3.收益率（分数比例：15%-25%）4.债务偿还（分数比例：15%-25%）5.债券与其他证券（分数比例：15-25%）6.利息理论的应用（分数比例：6%-15%）参考书目：1.《利息理论》（中国精算师资格考试用书）刘占国主编南开大学出版社2000年9月第1版第1～5章、第6章第6.1节04寿险精算数学考试时间：4小时考试形式：客观判断题考试内容和要求：考生应掌握生命表、纯保费（趸缴、均衡）、责任准备金（均衡、修正）、总保费、多元生命函数、多元风险模型等主要内容。

宏观经济学分析⽅法系列：变分法、欧拉⽅程、极值路径与动态经济模型分析附录：宏观经济学分析⽅法：变分法、极值路径与动态最优化(08、09 、10、11 硕已讲，精细订正版)⼀、动态最优化在静态最优化问题中，我们寻找在⼀个特定的时间点或区间上，使⼀个给定的函数最⼤化和最⼩化的⼀个点或⼀些点：给定⼀个函数y y(x)，最优点x 的⼀阶条件是y(x)0.在动态最优化问题中，我们要寻找使⼀个给定的积分最⼤化或最⼩化的曲线x (t).这个最⼤化的积分定义为独⽴变量t、函数x(t)及它的导数dx/dt的函数F下的⾯积。

简⾔之，假设时间区域从t0 0到t1 T，且⽤x表⽰dx/dt，我们寻找最⼤化或最⼩化T0 F[t,x(t), x(t)]dt (20.1 ) 这⾥假定F对t、x(t)、x(t)是连续的，且具有对x和x的连续偏导数.将形如(20.1)，对每⼀个函数x(t)对应着⼀个数值的积分称为“泛函”．⼀个使泛函达到最⼤或最⼩值的曲线称为“ 极值曲线”．极值可接受的“候选”极值曲线是在定义域上连续可微，且特别地满⾜⼀些固定端点条件的函数类x(t) ．(讲！)例1 ⼀家公司当希望获得从时间t 0到t T的最⼤利润时发现，产品的需求不仅依赖于产品的价格p ，⽽且也依赖于价格关于时间的变化率如dp/dt。

假设成本是固定的，并且每个p和dp/dt是时间的函数，p 代表dp/dt ，公司的⽬标可以作如下数学表⽰TMax 0 [t, p(t), p(t)] dt另⼀家公司发现它的总成本依赖于⽣产⽔平x(t) 和⽣产的变化率dx/dt x .假设这个公司希望最⼩化成本，且x和x是时间t的函数，公司的⽬标可以写成t1min C[t, x(t), x(t)]dtt满⾜x(t o) X o,且X(tJ X i这些初始和终值约束称为端点条件．例2 Ramsey经济：消费最优化问题从家庭终⽣效⽤函数的集约形式u u(c)出发，在消费预算约束的集约形式下求解家庭终⽣效⽤最⼤化问题，就是所谓“ Ramsey问题”⼀找出⼀条消费路径c(t)，使家庭终⽣效⽤函数U U(c)最⼤化：1max B e t [c(t)] dtc 0 1k0 o ( (t) c(t))e(n g)t R(t)dt 0⼆、欧拉⽅程：动态最优化的必要条件(三种形式)定理(泛函极值曲线即最优化)的必要条件)：对于⼀个泛函t it F[t,x(t),x(t)]dtt连接点(t o, X o)和(t i, X i)的曲线x x (t)是⼀个极值曲线(即最优化)的必要条件是F F(20 . 2a)x dt x称之为欧拉⽅程.尽管该定理等价于静态最优化的⼀阶必要条件，但是由式中稍微不同的记号可以容易了解，欧拉⽅程实际上是⼀个⼆阶微分⽅程.⽤下标表⽰偏导数，并列出其⾃变“量”，它们本⾝也可能是函数.（20 . 2a）的欧拉⽅程表⽰为F x（t,x,x）⾟［F x（t,x,x）］（20 .2b）dt然后，⽤链式法则求F x关于t的导数，并且省略⾃变“量”，得F x F xt F xx（x） F xx（x）（20 . 2c）这⾥，x d2x/dt2F⾯给出欧拉⽅程是极值曲线的必要条件的证明图20-2证明：（重点！09、10、11硕，已讲）设x x （t）是图20-2中连接点（t°,x°）和（t i,xj的曲线，并且它使F⾯泛函取得最⼤值；F[t,x(t),x(t)]dt(20 . 3)T即x x (t)为极值曲线，欧拉⽅程(20 . 2a)是x x (t)为极值曲线的⼀个必要条件.取X x (t) mh(t)是x x (t)的相邻曲线，这⾥m 是任意常数，h(t) 是⼀个任意函数.为了使曲线刃也通过点(t o ,x o )和(切禺)，则卞也满⾜端点条件：h(t o ) 0h(t i ) 0(20 . 4)⼀旦取定x (t)和h(t)之后，因x (t)和h(t)固定，则积分值^F[t,x(t), x(t)]dt 仅为m 的函数，不妨改写成tt lg(m) t F[t,x (t) mh(t) ,x (t) mh(t)]dt(20 . 5)t由于x (t)使(20 . 3)中的泛函fl F[t,x(t), x(t)]dt 实现最优化，所以t(20 .5)中的函数g(m)仅当m 0时 g(m) 1F[t,x (t) mh(t) ,x (t) mh(t)]dt 才能还原为t最优化，即有dg dm对(20 . 5)即 g(m) :F[t,x(t) mh(t),x(t) mh(t)]dt ⽤链式法则求F / m .由于F 是x 和x 的函数，依次⼜是m 的函数，代⼊(20 . 7)得dg t1上(x mh) F (x mh) dtdmt0x mx m(因为m 0时的：F[t,x(t), x(t)]dt )实现t(20 . 6)由于旦』h 且旦上h ，⽤条件(20 . 6)即岂|m0 0,有mmdm—m o th(t) h (t) dt 0(20 . 8)dm t0xx(注:u h(t)所以,去掉，合并其余两项，有由于h(t)是不必为零的任意函数，因此推出，对于极值曲线的必要条件为⽅括号中式⼦为零，即这就是欧拉⽅程．定理证毕⽅括号中的第⼀项不动，第⼆项的积分⽤分部积分，分部积分公式即vdu vu udv u u(t),v v(t)dv dv dt dtdu dF xdt⽕ dt h(t) dtdt dg dmt i tFh(t)dt xttdt-h(t)dt 0 x由(20 . 4)知，h(t 。

动态规划（生产和存储问题）一、动态规划法的发展及其研究内容动态规划是运筹学的一个分支，是求解决策过程最优化的数学方法。

20世纪50年代初美国数学家R.E.BELLMAN等人在研究多阶段决策过程的优化问题时，提出了著名的最优化原理，把多阶段问题转化为一系列的单阶段问题，逐个求解创立了解决这类过程优化问题的新方法——动态规划。

1957年出版的他的名著《Dynamic Proggramming》，这是该领域的第一本著作。

动态规划问世以来，在经济管理·生产调度·工程技术和最优控制等方面得到了广泛的应用。

例如最短路线·库存管理·资源分配·设备更新·组合·排序·装载等问题，采用动态规划法求解比用其他方法更为简便。

二、动态规划法基本概念一个多阶段决策过程最优化问题的动态规划模型通常包括以下几个要素：1．阶段阶段（stage）是对整个过程的自然划分。

通常根据时间顺序或是空间特征来划分阶段，对于与时间，空间无关的“静态”优化问题，可以根据其自然特征，人为的赋予“时段”概念，将静态问题动态化，以便按阶段的顺序解优化问题。

阶段变量一般用k=1.2….n.表示。

1.状态状态(state)是我们所研究的问题（也叫系统）在过个阶段的初始状态或客观条件。

它应能描述过程的特征并且具有无后效性，即当某阶段的状态给定时，这个阶段以后的过程的演变与该阶段以前各阶段的状态无关。

通常还要求状态是可以直接或者是间接可以观测的。

描述状态的变量称为状态变量（State Virable）用s 表示，状态变量的取值集合称为状态集合，用S表示。

变量允许取值的范围称为允许状态集合(set of admissble states).用x(k)表示第k阶段的状态变量，它可以是一个数或者是一个向量。

用X(k)表示第k阶段的允许状态集合。

n 个阶段的决策过程有n+1个状态变量，x(n+1)是x(n)的演变的结果。

第3章动态规划动态规划是一种通过将问题分解为子问题，并且以自底向上的方式求解子问题从而求解整个问题的算法设计方法。

它在计算机科学中的应用非常广泛，特别是在优化问题和组合优化问题中。

动态规划的核心思想是将问题划分为多个重叠子问题，并且将计算结果储存起来以供后续使用。

通过这种方式，可以避免重复计算，提高算法效率。

动态规划通常适用于满足最优子结构的问题，即问题的最优解可以通过一系列子问题的最优解得到。

在动态规划中，需要定义一个状态转移方程，用于描述问题的最优解与其子问题的最优解之间的关系。

通过利用状态转移方程，可以从最底层的子问题开始，逐步求解出更大规模的问题的最优解。

最终，可以得到整个问题的最优解。

动态规划的基本步骤包括问题建模、确定状态、定义状态转移方程、确定边界条件和计算最优解。

首先，需要将原始问题转化为适合动态规划求解的形式，通常可以采用数学建模的方法。

然后，需要确定问题的状态，即将问题划分为多个子问题，并且定义子问题的状态。

接下来，需要定义状态转移方程，该方程记录了问题的最优解与子问题的最优解之间的关系。

然后，需要确定边界条件，即问题的最基本解。

最后，通过逐步计算子问题的最优解，得到整个问题的最优解。

动态规划在多个领域都有广泛的应用。

在计算机科学中，动态规划被广泛应用于图论算法、字符串处理算法、序列比对算法等。

此外，动态规划还被应用于经济学、运筹学和生物学等领域的优化问题。

通过应用动态规划，可以有效地解决这些领域中的复杂问题。

总结起来，动态规划是一种通过将问题划分为多个子问题，并且利用状态转移方程求解子问题从而求解整个问题的算法设计方法。

通过避免重复计算，动态规划可以提高计算效率，并且被广泛应用于计算机科学和其他领域的问题求解。

================= ================= 附录：宏观经济学分析方法：动态规划的Bellman 原理（10、11硕已讲，精细订正版）二、一个简化的例子欲对Bellman 原理有一个快速的理解，这里通过一个简化的例子，以勾勒出动态规划方法所特有的向后追溯（backward recursion ，逆向递归，逆向归纳）的特征。

假定：（1）典型个人生存两个时期，他可以在两个时点上，即10、=t 上做决策（3=t 时，他就死亡了）；他被赋予一定量的初始资源0)0(>W 。

（2）理想化的资本市场上存在两种资产1。

一种是无风险的现金或者债券，它的价格在任何时刻都没有变化，始终为1；另一种是有风险的股票，它的价格过程假定由以下二项树描绘（参见下图）。

1所谓理想化资本市场如上一章中的要求，即无交易成本、制度限制、操纵行为等。

简单地说，它表示在每一时点上，股票价格要么以 9/4的概率上涨一倍，要么以 )9/41(-的概率下跌一半。

用)0(w 和)1(w 表示该投资者在10、时刻上，投资于风险资产（股票）上的财富分额。

（3）投资者的非资本收入为0，效用函数具有以下特定形式： x x u =)(（4）为了简化求解，假定投资者不进行任何消费，这样最优决策的惟一目标就是最大化他来自最终财富的期望效用。

至此，最优化问题就可以简化为：⎣⎦)2(..)2(max )1(),0(>W t s W E w w我们的任务就是找到最优的投资决策变量（最优控制）)0(w 和)1(w ，使以上最优化问题得以解决。

可以尝试采用“向前”推导的方法，即从0=t 时刻开始，事先决图 股票价格运动的二项树模型p 1000 1 2 t定一个策略)0(w ，但它是不是最优还不清楚，根据)0(w 我们仅仅能够知道1=t 时刻的期望财富水平的函数表达式，但是最大化这个函数得到的“最优的”)0(w ，并不一定是最优决策过程)]1(),0([w w 的必然组成部分，除非可以明确地知道在所有不同情况状态下的)1(w ，并且它是惟一的。

§12.4 动态规划[学习目标]1. 能建立动态规划问题的数学模型；2. 会表述动态规划问题的一般形式；3. 会求解简单的动态规划问题。

动态规划是解决多阶段决策过程最优化的一种方法。

这种方法把困难的多阶段决策问题变换成一系列互相联系比较容易的单阶段问题，解决了这一系列比较容易的单阶段问题，也就解决了这困难的多阶段决策问题。

多阶段决策问题，是指这样一类活动的过程，在它的每个阶段都需要做出决策，并且一个阶段的决策确定以后，常影响下一个阶段的决策，从而影响整个过程决策的效果。

多阶段决策问题就是要在允许的各阶段的决策范围内，选择一个最优决策，使整个系统在预定的标准下达到最佳的效果。

有时阶段可以用时间表示，在各个时间段，采用不同决策，它随时间而变动，这就有“动态”的含意。

动态规划就是要在时间的推移过程中，在每个时间阶段选择适当的决策，以便整个系统达到最优。

用动态规划可以解决管理中的最短路问题、装载问题、库存问题、资源分配、生产过程最优化问题。

近几十年来，动态规划在理论、方法和应用等方面取得了突出的进展，并在工程技术、经济、工业生产与管理、军事工程等领域得到广泛的应用。

下面我们先看一个简单的例子。

一、引例：最短线路问题如图形5.5，从A 0地要铺设一条管道到A 6地，、中间必须经过五个中间站。

第一可以在A B 11,两地中任选取一个，类似地，第二、三、四、五站可供选择的地点分别是{}{}{}{}A B C D A B C A B C A B 222233344455,,,,,,,,,,,。

连接两点间的管道的距离用图3-7上的数字表示，两点间没有连线的相应两点间不能铺设管道，现要选择一条从A 0到A 6的铺管线路，使总距离最短。

解 最短线路问题有一个特性，如果最短线路在第k 站通过p k ，则这一线路在由p k出发到达终点的所有可能选择的不同线路来说，必定也是距离最短的。

最短线路的这一特性，启发我们从最后一段开始，用从后向前逐渐递推的方法，示出各点到A 6的最短线路，最后球得从A 0到A 6的最短线路。

撰写学习笔记个人关于动态规划及高级宏观学习的意见在论坛“宏观版”中，有许多讨论高级宏观学习，特别是动态方法学习的讨论帖。

我看后觉得大家做为非数学专业的人，似乎都对动态规划、动态优化方法学习所需的数学背景比较茫然，不知从何入手。

的确，动态方法本身尽管比较容易掌握，但是真正深入学习却需要很多较高等的数学知识，而这些知识散落在各类数学教材中，如果逐一打好基础，再去学习高级宏观显然是不明智的。

因此，这里就我个人的学习谈一下自己的体会，希望起到抛砖引玉的作用：我觉得要解决的第一个问题是你对宏观经济研究的偏向。

在这里，我觉得宏观计量的经验研究固然需要理解动态规划方法，因为在DSGE模拟时要用到，但是更重要的却是计量方法本身。

因此，本文重点探讨理论研究，我个人也写过一篇宏观计量学习的帖子，可以参见：/bbs/thread-920034-1-1.html。

理论研究中，我觉得如果是以入门来看，那么罗默（2002）已经足够了。

并且我建议在读完迪克西特的《经济理论中的最优化方法（第二版）》一书以后阅读。

网上很多人批评该书的数学工具不够高级，那么我就要问：“你是在学高级数学还是高级宏观经济学？”所以，当一本像罗默（2002）这样的教材能够以简洁的数学知识告诉我们高级宏观在探讨的内容时，我们有什么理由求全责备呢？当然，如果要做真正的理论研究，那么进入杨奎斯特、萨金特（2004）的学习就是必要的。

于是这就引来了第二个问题：动态方法的学习过程。

大体看来，动态方法分为：连续时间问题和离散时间问题两种。

前者术语叫动态“优化”，后者术语叫做动态“规划”方法。

现分而述之：在连续时间优化方面，强烈建议读一下凯曼，施瓦茨（Kamien M.I. & Schwartz N.L）合著的《Dynamic Optimization》一书。

该书由浅入深（阅读此书只需要本科经济专业的微积分和基础线性代数知识）把动态优化问题所有相关问题做了详细阐述，不仅告诉你这个方法如何使用，而且对方法背后的许多数学定理都在附录中给予了证明，供你选择阅读。

宏观教材讨论个人关于动态规划及高级宏观学习的本坛网友鲁峰发表了一篇不错的高宏学习的帖子，名为："个人关于动态规划及高级宏观学习的意见"地址见：作为一名学了N年宏观的经济学工作者，我非常有兴趣和同道中人进行讨论。

同时，也可以为各位致力于宏观学习的童鞋提供一些(可能不完全正确)的建议。

我的研究领域与鲁峰网友近似，为：经济周期理论(按照惯例，也应包括经验研究)、货币理论与政策。

首先，想商议的第一个话题是，"你对宏观经济研究的偏向"。

在讨论这个话题之前，我假设大家都知道，所谓"经验"，是指empirical这个词。

为了避免与positive弄混淆，我用经验，而非"实证"来表示empirical。

按照惯例，如果有人说自己做宏观经济学，我们一般知道他主要是做理论研究的。

但是，宏观理论中，除了其基础--一般均衡理论外，基本上是找不到一处不能验证的理论的。

换言之，宏观理论直接来自于经验事实，同时，任何宏观理论一定要接受实验(经验)的检验，当然，只能用自然实验，而无法进行可控的实验。

我的看法是，宏观经济学不存在理论研究和经验研究之分，这两者都是由宏观经济学理论研究者完成。

如果有人说他用时间序列之类的方法在检验宏观经济理论，那么，按照惯例，这类研究领域应该叫做"应用时间序列研究"，最多叫做"应用计量经济学"，而绝对不能成为"经验宏观经济研究"，更不能叫做"应用宏观经济理论"。

举个例子，鲁克波尔与克莱茨希的一本教材，叫"应用时间序列计量经济学"。

(这两个人是德国人，名字不好记，所以就把中文名字记住了)这本书是SVAR课程的重要参考教材，整本书的内容就是宏观经济学的经验研究。

大家不妨看看书的名字。

另外一个例子，DeJong and Dave将其著作叫做《结构宏观计量经济学》、Canova将其著作叫《应用宏观经济研究方法》。

==================================附录：宏观经济学分析方法：动态规划的Bellman 原理（10、11 硕已讲，精细订正版）二、一个简化的例子欲对 Bellman 原理有一个快速的理解，这里通过一个简化的例子，以勾勒出动态规划方法所特有的向后追溯（ backward recursion ，逆向递归，逆向归纳）的特征。

假定：（1）典型个人生存两个时期，他可以在两个时点上，即t 0、1上做决策（ t 3 时，他就死亡了）；他被赋予一定量的初始资源W (0) 0。

（2）理想化的资本市场上存在两种资产1。

一种是无风险的现金或者债券，它的价格在任何时刻都没有变化，始终为 1；另一种是有风险的股票，它的价格过程假定由以下二项树描绘（参见下图）。

1所谓理想化资本市场如上一章中的要求，即无交易成本、制度限制、操纵行为等。

p (t)2004/94004/95/91001005/94/9505/925012t图股票价格运动的二项树模型简单地说，它表示在每一时点上，股票价格要么以4/ 9的概率上涨一倍，要么以 (1 4 / 9) 的概率下跌一半。

用 w(0) 和 w(1) 表示该投资者在 0 、1时刻上，投资于风险资产（股票）上的财富分额。

（3）投资者的非资本收入为0 ，效用函数具有以下特定形式：u( x)x（4）为了简化求解，假定投资者不进行任何消费，这样最优决策的惟一目标就是最大化他来自最终财富的期望效用。

至此，最优化问题就可以简化为：max E W (2)w(0 ),w (1)s.t. W (2)0我们的任务就是找到最优的投资决策变量（最优控制） w(0) 和w(1) ，使以上最优化问题得以解决。

可以尝试采用“向前”推导的方法，即从 t0 时刻开始，事先决定一个策略 w(0) ，但它是不是最优还不清楚，根据w(0) 我们仅仅能够知道 t 1时刻的期望财富水平的函数表达 式，但是最大化这个函数得到的“最优的” w(0) ，并不一定是最优决策过程 [ w(0), w(1)] 的必然组成部分，除非可以明确地知道在所有不同情况状态下的 w(1) ，并且它是惟一的。