下载文档原格式
hamilton–jacobi–bellman 方程Hamilton-Jacobi-Bellman方程（简称HJB方程）是一个偏微分方程，是最优控制的核心。
其解是针对特定动态系统及相关代价函数下，有最小代价的实值函数。
若只在某一个区域求解，HJB方程是一个必要条件，若是在整个状态空间下求解，HJB方程是充份必要条件。
其解是针对开回路的系统，但也允许针对闭回路系统求解。
HJB方程也可以扩展到随机系统。
一些经典的变分问题，例如最速降线问题，可以用此方法求解。
HJB方程的基础是以1950年代由理查德·贝尔曼及其同仁提出的动态规划。
对应的离散
系统方程式一般称为贝尔曼方程。
✧ 2.1考虑N 个厂商，每一厂商均有规模报酬不变的生产函数(),Y F K AL =，或采用密集形式()Y ALf k =。
假定()()0,0f f '''>< 。
假定所有厂商均可以工资wA 雇佣劳动，以成本r 租用资本，且所有厂商均有相同的A 值。
a) 考虑一厂商试图以最小成本生产Y 单位产品的问题。
证明成本最小化时的k 值为唯一的且与Y 无关，并证明所有厂商因此均选择相同的k 值。
b) 证明：这N 个成本最小化厂商的总产量，等于一个具有相同生产函数、雇佣这N 家厂商所雇佣的全部劳动和资本的单个厂商的产量。
答：a) 本问题为如下的最优化问题：min wAL rK +st()Y ALf k =易知其FOC 条件为：()()()()()*******1/f k f k r w k w rf k k f k f k ''=⇒=+'- 所以可见成本最小化时的k 值（如果有解）必然和Y 无关。
b) 证明：对任意厂商来说，()**,k kw r =，故()()**i i Y AL f k ALf k ==∑∑()()**,1i Y ALf k ALF k ⇒==∑因为生产函数为规模报酬不变的，所以有()()()**,1,,iiiY ALF k F ALk AL F K A L Y ====∑∑∑该厂商利用N 个厂商拥有的全部资本与劳动的产出为N 个厂商产量之和。
✧ 2.2不变相对风险回避系数效用函数的替代弹性。
考虑一个人，他只存活两期，且其效用函数由（2.46）给出。
令12,P P 代表消费品在这两期的价格，W 代表他一生收入的价值；因此他的预算约束为1122PC P C W +=。
a) 若12,P P 和W 给定，则使他效用最大化的1C 和2C 是多少？b) 两期消费之间的替代弹性为()()1212ln //ln /C C P P -∂∂。
()dt u y t F V T ,,0⎰=()()Ao y u y t f y==,,12..V Max ()t u ()t y()t u y f y,,= ()t u y g u ,,=[].,,0dt t u y F V t ⎰=y1(),,pp D Q d =,d s Q Q =()pp D Q ,= ().,pp R PQ R =≡()()[].,pp D C Q C C ==()()[]()p p p p D c pp R C R ,,,ππ=-=-≡ 10().,100dt p p π⎰[]10,010[]10,0*p 102()c U U =(),,L K Q Q =()().,,K L K Q I L K Q c -=-= ()()[].,KL K Q u c u -= ()[].,0dt K L K Q u Max T -⎰1λu y ,λ().t λ()()()()u y t f t u y t F u y t H ,,,,,,,λλ+=().0=T λ 2()λ,,,u y t MaxH [].,0T t ∈λ∂∂=HyyH∂∂-=λ[]的运动方程λ ()0=T λ MaxH 0=∂∂uH[]c a ,示汉密尔顿函数H 对控制变量u 在特定时刻y λ的一种可能曲线。
1于u 是可微的， MaxH 出现在 b u =处，内2 MaxH 在c u =， 边界.0≠∂∂uH3 Max 在.a u = 边界.0≠∂∂uH域可能是一个闭集且具有边界解这一事实，的陈述.MaxH 。
事实上，在最大值原理之下，H 函数关于u 可微。
.λ∂∂=Hy它正是最初设定的状态变量的运动方表述。
λ 状态变量y 对H 的偏导数的负值， .yH∂∂-=λ3 值原理的经济学解释家企业，它寻求最大化它在区间[]T ,0上的利状态变量资本存量K ，并有单个控制变量u ，123aobcu00k ().,,u k t πu k u k()dt u k t Max T ,,0ππ⎰=..t s ()u k t f k,,= ()()T k k k ,00= λλt ()t λ()()[]ku k t f t -,,λ()()[]u k t f k t ,,- λ Hamilton()()()u k t f t u k t H ,,,,λπ+=u()u k t f ,,u k f ()t λu uu*uu u πMax MaxH ()0=∂∂+∂∂=∂∂uft u u H λπ()u f t u ∂∂-=∂∂λπ u ∂∂πuf∂∂ *u()kft k k H ∂∂-∂∂-=∂∂-=λπλ()()λλπλπλ-∂∂-=∂∂∂∂+∂∂=-k f t k k f t k 或k ∂∂πkf∂∂λλ-=∂∂kH()0=T λ4pt e -().,,max dt e u y t G V pt T -︒⎰= ().,,..u y t f yt s = ()().,,,,u y t f e u y t G H pt λ+=-mpt e m λ=pt me -=λ隐含;Hc()().,,,,u y t mf u y t G He Hc pt +=≡+Hc pt c e H H -≡.pt He Hc =pt e *u .HcuMaxHc []T t ,0ε().,,mHcu y t f H ∂∂==∂∂λ mHc y ∂∂=.yH∂∂-=λ.pt e m λ= pt me -=λpt pt pme e m ---= λ.pt Hce H -≡ .pte yHc y H -∂∂-=∂∂-pm yHcm+∂∂-= pm yH c∂∂ρ ρ=+∂∂m m yH c/)(()[]00=⇒==-T t pt me T λ ()0=⇒-pT e T m 5,0Fdt ω⎰.b .0dt Fept -⎰ω.00pFeF Fe pt pt =⎰≤⎰--ωω。
第2章 最优控制理论2.1 静态最优化复习（1）一元最优化（Single variable optimization ） 考虑以下无约束的最大化问题， max ()xf x (2.1)如果是最小化问题，可以转化为等价的最大化问题，即[]min ()max ()xxf x f x - (2.2)因此，在本章我们只考虑最大化问题。
一阶条件：*()0f x ¢= （参见图2.1）图2.1、 一元函数最大化的一阶条件二阶条件：*()0f x ¢¢£ （如果二阶导数严格小于0，则最大值唯一）证明：在最大值*x 处，将目标函数()f x 进行二阶泰勒展开。
注：如果()f x 为凹函数，则二阶条件自动满足。
凹函数的经济含义：边际收益递减、边际产出递减、边际效用递减。
凹函数的几何含义是，函数增长的速度慢于切线的速度，参见图2.2。
图2.2、 凹函数的几何意义（2）价值函数及包络定理（The Value Function and the Envelope Theorem ）考虑带参数的一元最优化问题。
max (,)xf x a (2.3)其中，a 为参数。
一阶条件为，*(,)0()f x a x x a x¶= =¶ (2.4) 定义“价值函数”（Value function ）为，()()max (,)(),xV a f x a f x a a º= (2.5)即当参数取值为a 时，目标函数的最大值。
包络定理（The Envelope Theorem ）：关心当参数a 变化时，价值函数()V a 如何变化，即求()V a ¢。
()()()0(),(),(),()()df x a a f x a a f x a a x a V a dax a a=¶¶¶¢==+¶¶¶(2.6)由于*()x x a =为最优解，故满足一阶条件(,)0f x a x¶=¶，因此()()*(),(),()x x a f x a f x a a V a aa=¶¶¢==¶¶ (2.7)直观来说，由于()()(),V a f x a a º，故a 的变化有两个效应。
标准文档1 2f最优控制习题及参考答案习题 1 求通过 x (0) = 1 ， x (1) = 2 ，使下列性能指标为极值的曲线：t f J = ∫(x2 +1)dt t 0解： 由已知条件知： t 0 = 0 ， t f = 1d由欧拉方程得： (2x ) = 0dtx = C 1x = C 1t + C 2将 x (0) = 1，x (1) = 2 代入，有：C 2 = 1，C 1 = 1得极值轨线： x *(t ) = t +1习题 2 求性能指标： J = ∫ 1(x 2 +1)dt在边界条件 x (0) = 0 ， x (1) 是自由情况下的极值曲线。
解：由上题得： x *(t ) = C t + C由 x (0) = 0 得： C 2 = 0∂L由∂xt =t f= 2x (t f ) = 2C 1 t =t = 0 t于是： x *(t ) = 0【分析讨论】对于任意的 x (0) = x 0 ，x (1) 自由。
2 0 1∫⎩ λ = −λ有： C = x ， C = 0 ，即： x *(t ) = x 其几何意义： x (1) 自由意味着终点在虚线上任意点。
习题 3 已知系统的状态方程为： x1 (t ) = x2 (t ) ， x 2 (t ) = u (t )边界条件为： x 1 (0) = x 2 (0) = 1 ， x 1 (3) = x 2 (3) = 0 ，31 试求使性能指标 J =u 2(t )dt 2取极小值的最优控制 u *(t ) 以及最优轨线 x *(t ) 。
⎡ x ⎤解：由已知条件知： f = ⎢ 2⎥⎢⎣ u ⎥⎦Hamiton 函数： H = L + λT f H = 1u 2 + λ x + λ u⎧λ = 0由协态方程： ⎨ 12 121 22⎧λ = C① 得： ⎨11⎩λ2 = −C 1t + C 2②∂H由控制方程： ∂u= u + λ2 = 0得： u = −λ2 = C 1t − C 2 ③由状态方程： x 2 = u = C 1t − C 2得： x (t ) = 1C t 2− C t + C④22 由状态方程： x 1 = x 21 2 3得： x (t ) = 1C t 3− 1C t 2+ C t + C⑤16 122 3 41 ∫⎪⎩=−=−⎡1⎤ ⎡0⎤将 x (0) = ⎪ ⎪ ， x (3) = ⎪0⎪ 代入④，⑤,⎣1⎦ ⎣ ⎦10联立解得： C 1 =由③、④、⑤式得：u * (t ) = 10t − 29 ， C 2 = 2 ， C 3 = C 4 = 1 9x *(t ) = 5 t 3 −t 2 + t +127 x *(t ) = 5 t 2 − 2t +1 29习题 4 已知系统状态方程及初始条件为x =u ， x (0) = 1试确定最优控制使下列性能指标取极小值。
