收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

时间不相容的随机控制问题和弱形式的正倒向随机微分方程

王海洋  
【摘要】:在本篇论文中,我们主要研究了两类不满足Bellman's最优性原理的时间不相容随机控制问题:一个是随机系数的时间不相容最优控制问题,另一个是部分观测的时间不相容递归最优控制问题。另外,我们还研究了一类受障碍约束的递归最优控制问题,它的代价泛函由反射倒向随机微分方程(BSDE)的解给出。我们建立了该问题的近似最大值原理及其最优解和近似最优解的充分条件。进而,通过考察与随机最优控制理论的紧密联系以及其它的实际应用,我们引入了一类新型的正倒向随机微分方程(FBSDEs),称为弱形式的FBSDEs。我们还进一步讨论了这类方程解的适定性。下面我们给出本文的主要内容和结构框架。在第一章中,我们简明扼要地介绍了本文所研究问题的历史背景,研究动机以及理论工具。在第二章中,我们研究了一类随机系数的时间不相容最优控制问题。通过构造多人微分对策问题的方法,我们得到了一族刻画平衡值函数的倒向随机发展方程,称为随机平衡Hamilton-Jacobi-Bellman(HJB)方程。在适当的条件下,该方程存在唯一解,从而可以给出闭环形式的时间相容平衡控制。另外,我们还相应讨论了特殊并且重要的线性二次时间不相容控制问题。在第三章中,我们研究了一类部分观测的时间不相容递归最优控制问题。我们首先研究了相应的完全观测的时间不相容递归最优控制问题,得到平衡控制的验证定理和该问题的Hamiltonian系统,并且还进一步建立了该Hamiltonian系统的Kalman-Bucy滤波公式。从而由倒向分离原理,我们可以给出部分观测的时间不相容递归最优控制问题的平衡控制,它是状态滤波估计的反馈调节。另外,作为理论的应用,我们还研究了一个制订最优保险费用的问题,给出平衡保费的显式表示。在第四章中,我们研究了一类受障碍约束的递归最优控制问题,其值函数由反射BSDEs的解给出。通过一族带惩罚的BSDEs逼近一个反射BSDE的方法,我们建立了该问题的近似最大值原理。另外,我们还分别得到了该问题最优解以及近似最优解的充分条件。最后,我们用一个混合最优控制问题的例子说明所得理论的实际应用,并给出最优控制和最优停时。在第五章中,我们引入了一类新型的弱形式的正倒向随机微分方程。通过考察在期权对冲理论,非线性Feynman-Kac公式以及最大值原理和动态规划原理的关系问题中的应用,我们可以看到此类FBSDEs是自然合理的。特别地,我们用两个例子说明这类新型的弱形式的FBSDEs联系着弱框架的随机最优控制问题,它们在相对强框架问题更一般的条件下存在最优解。另外,我们还讨论了这类弱形式的FBSDEs解的适定性。接下来,我们给出本篇论文的主要结论。1.随机系数的时间不相容最优控制问题及随机平衡HJB方程。对给定的完备概率空间(Ω,F:P)和其中相互独立的1-维和d-维布朗运动{Wt,t≥0},{Wt1,t≥0},考虑如下的控制系统:以及代价泛函:其中b(x,v,s):Rn×Rk×[0,T]→Rn,σ(x,s):Rn×[0,T]→Rn,π(x,s):Rn×[0,T]→ Rn×d,L(x,v,s,t):Rn×Rk×[0,T]×[0,T]→R均为确定性函数,且h(x,t,№) Rn×[0,T]×Ω→R是FTW-可测的随机变量。[t,T]时间段内的容许控制v是取值于U(?)Rk的FtW,w1-适应随机过程,且E[∫tT|vs|2ds]+∞。我们称该随机系数的时间不相容控制问题为问题(N)。通过(2.7)定义的关键性映射ψ,构造一列依赖于分划Ⅱ的多人微分对策问题并考察步长||Π||→0时的情形,我们建立了如下的随机平衡HJB方程,它是一族含参数的倒向随机发展方程:其中H=L2(Rn),V={u∈L2(Rn):Du∈L2(Rn)}且由压缩映射方法,我们可以得到:定理2.3.1.若假设2.3.1和2.3.2成立,则存在唯一的((?).(.;τ),A.(.;τ))∈M2(τ,T;V)× M2(τ,T;H),0≤τ≤T,满足随机平衡HJB方程(3)。从而我们可以给出定义2.2.1意义下问题(N)的时间相容平衡控制和平衡值函数:定理2.3.2.若假设2.3.1,2.3.2和2.3.3成立,则随机平衡HJB方程(3)的解(?)t(x;t)是初值为(x,t)∈Rn×[0,T]的问题(N)的平衡值函数,相应的时间相容平衡控制由(2.29)给出。另外,我们还研究了一类时间不相容的线性二次(LQ)控制问题,其动力系统为:且代价泛函为其中对任意的s∈[0,T],A(·):C(·),G(·)∈Rn×n,S(·),F(·),H(·)∈Rn×k,Q(·)是取值于Sn的FW-可测的非负有界随机变量;对任意的(s,t)∈D[0,T],R(·,·)∈Sn是非负的,N(·,·)∈Sk是正定的。当F三0时,我们充分利用其二次型结构,建立了该时间不相容LQ问题的Riccati-Volterra积分方程系统:关于(4)解的存在唯一性,我们有:命题2.4.1.若进一步假设则(4)存在唯一解。因此,对于该时间不相容的线性二次控制问题,我们有如下结论:定理2.4.1. 若命题2.4.1中的假设全部成立,则初始状态为(x,t)∈Rn×[0,T]的平衡值函数为其中K(·)满足(4)。时间相容平衡控制由(2.39)给出。2.部分观测的时间不相容递归最优控制问题及应用。对给定的完备概率空间(Q,F,P),及其中的2-维标准布朗运动{(W1(t),W2(t)),t≥ 0}和独立的Gaussian型随机变量ζ,我们首先考虑完全观测的时间不相容递归最优控制问题,其动力系统为:且代价泛函为其中A(·),B(·),C1(·),C2(·),a(·),b(·),c(·),f1(·),f2(·)均为取值于R的Ftζ,W1,W2-适应随机过程,且g,h,μ1,μ2均为常数。容许控制u(.)是取值于R的Ftζ,W1,W2-适应随机过程,且E[∫0T|u(t)|4dt]+∞。我们记全体容许控制构成的集合为U。在(Q,F)空间中定义一个新的概率测度Q:由Girsanov's定理,如下定义的过程{(U(t),V(t)),t≥0):是2-维的Q-标准布朗运动。从而通过计算,代价泛函(6)可以改写为:-he∫tTb(τ)dτ((EtQ[X(T)])2-(μ1Xt+μ2)e∫tTb(τ)dτEtQ[X(T)],其中EtQ[·]=EQ[·|Ftζ,W1,W2]表示(Q,F,Q)空间中关于Ftζ,W1,W2的条件数学期望。根据最大值原理中的针状变分思想,我们得到了定义3.1.1意义下的该时间不相容控制问题的平衡解的充分条件:定理3.1.1.令假设3.1.1成立。若存在随机过程{(X*(s),u*(s)),0≤s≤T}和一族随机过程{(p(s;t),k1(s;t),k2(s;t)),t≤s≤T},0≤t≤T,使得对任意的t∈[0,T),满足下述Hgmiltonian系统以及Λ(·;t)=B(·)p(·;t)+2c(·)e∫tb(r)dru*(·)满足(3.8),并且u*∈U,则u*是一个平衡控制。但是在很多实际问题中,我们不能直接观测到(8)中的(X*,p,k1,k2),而是观测一个与X*(·)相关的过程Z(·),其动力系统为:为了得到(X*,p,k1,k2)关于观测Z(·)的最优估计(X*,p,k1,k2),我们解耦合Hamilto-nian系统(8)并通过经典的正向SDEs滤波理论可得:定理3.2.1.若假设3.1.1和3.2.1成立,则Hamiltonian系统(8)解的最优滤波估计{(X*(s),p(s;t),k1(s;t),k2(s;t)),t≤s≤T},0≤t≤T由(3.21),(3.22),(3.24)以及(3.25)给出,其中M(·),N(·),r(·)和φ(·)分别为(3.16),(3.17),(3.18)和(3.19)的解。下面考虑相应的部分观测的时间不相容递归最优控制问题。由倒向分离原理,我们分离状态和观测方程如下:并定义容许控制u(·)为取值于R的FtZ和FtZ1-适应随机过程,且E[∫0T|u(t)|4dt] +∞。结合前面的结论,我们可以得到该部分观测的时间不相容递归最优控制问题的平衡解:定理3.3.1.若假设3.1.1和3.2.1成立,则部分观测的时间不相容递归最优控制问题的平衡控制为(3.31),其中M(·),N(·),r(·)和φ(·)分别为(3.16),(3.17),(3.18),(3.19)的解,且X’(·)是相应于平衡控制(3.31)的状态滤波估计,由(3.33)给出。最后,作为理论结果的应用,我们研究了一个制订最优保险费用的实际问题。考虑一家保险公司,其现金流过程X(·)为:其中x00为初始资金,无风险利率δ(·)0,责任率l(.)0是单位时间的预期责任,保费率v(·)是控制变量,波动率σ(·)0表示责任风险。这家公司希望制订最优保费率v(·)最小化代价泛函:其中,常数β是折现因子,常数co是某个预定的目标,常数G,Q以及随机过程R(·)是为了使代价泛函(13)一般化的权重因子。但是决策者通常不能直接观测到现金流X(·),而可以观测到公司的股票价格S(·),它与X(·)的关系如下:其中,常数a,c为相关系数,随机过程ρ(·)为波动率。通过变量代换及计算,该控制问题可以转化为前面研究的部分观测的时间不相容递归最优控制问题。从而我们可以得到平衡保费策略:定理3.4.1.若假设3.4.1和3.4.2成立,则可观测的平衡保费策略为其中J1(·)和φ1(·)分别由(3.58)和(3.59)给出,且X*(.)是相应于平衡保费策略的现金流滤波估计,满足(3.52)。3.一类受障碍约束的递归最优控制问题的随机最大值原理。对给定的完备概率空间(Q,F,P),和其中的d-维标准布朗运动{Wt,t≥0},考虑如下的正向控制系统:和一个受控的反射BSDE:以及代价泛函其中α∈Rd是一个给定的常数,且b(t,x,v):[0,T]×Rd×Rl→Rd,σ(t,x):[0,T]×Rd→ Rd×d,f(t,x,y,v):[0,T]×Rd×Rm×Rl→Rm,h(t,x):[0,T]×Rd→Rm,g(x):Rd→ Rm,γ(y):Rm→R均为确定性函数。容许控制v是取值于紧集U∈Rl的FtW-适应随机过程,且E[∫0T|vt|2dt]+∞。记全体容许控制构成的集合为U。我们称这个受障碍约束的递归最优控制问题为问题(P)。假设u∈U是问题(P)的一个最优控制,且{xt,0≤t≤T},{(yt,zt,kt),0≤t≤T}分别为相应的(16)和(17)的解。由于引入了一个连续的增过程{kt},我们不能直接利用针状变分法得到问题(P)的最大值原理。首先,我们构造一族带惩罚的近似BSDEs逼近反射BSDE(17):其中n=1,2,…。从而由Ekeland's变分原理,(4.8)给出了一列容许控制{un}n≥1和递减趋于0的数列{ε。}n≥1,使得{un}n≥1是问题(P)的近似最优解,且对每个n∈N,un∈U以及相应的(16)和(19)的解{xtn,0≤t≤T},{(ytn,ztn),0≤t≤T}是如下构造的辅助最优控制问题的最优解:问题(Pn) 对于正倒向随机控制系统(16)和(19),寻找容许控制v∈Uf最小化代价泛函但是(19)的生成元仅为Lipschitz连续却不可导,因此我们不能直接使用针状变分法。对任意的n,k∈N,定义光滑函数:其中φ,ψ为两个光滑化函数。现在,我们引入生成元光滑的BSDEs:其中n,k=1,2,…。类似地,由Ekeland's变分原理,对任意给定的n∈N,(4.20)给出了一列容许控制{un,k}k≥1和递减趋于0的数列{δn,k}k≥1,使得{un,k}k≥1是问题(Pn)的近似最优解,且对每个n,k∈N,un,k∈U以及相应的(16)和(22)的解{xnt,k,0≤t≤T},{(ytn,k,ztn,k),0≤t≤T}是如下最优控制问题的最优解:问题(Pn,k) 对于正倒向随机控制系统(16)和(22),寻找容许控制v∈u最小化代价泛函从而由标准的针状变分法,我们有:命题4.2.1.令假设4.1.1,4.1.2和4.1.3成立。则对任意给定的n∈N,存在容许控制un是问题(Pn)的最优解,和常数ε。0,以及一族容许控制{un,k}k≥1是问题(Pn)的近似最优解,和递减趋于0的数列{δn,k}k≥1,使得对任意的k∈N,1)d(un,k,un)≤(?);2)对任意的v∈U,其中xtn,k},{(ytn,k,ztn,k)}是相应于控制un,k的(16)和(22)的解,{Ptn,k},{Qtn,k}分别是(4.22)和(4.23)给出的伴随过程,且Hamiltonian函数Hn,k为结全Krylov's不等式,我们考察当n∈N固定,k趋于∞时的情形,从而建立了问题(P)的近似最优控制的最大值原理:定理4.2.1.令假设4.1.1,4.1.2,4.1.3以及假设4.2.1,4.2.2成立,u∈U是问题(P)的一个最优控制。则存在一族容许控制{un}n≥1是问题(P)的近似最优解以及递减趋于0的数列{ε。}n≥1,使得对任意的n∈N,1)d(un,u)≤(?);2)对任意的v∈U,其中{xnt},{(ynt,ztn)}是相应于控制un的(16)和(19)的解,{Ptn},{Qtn}分别是(4.33)和(4.34)给出的伴随过程,且Hamiltonian函数Hn为另外,利用Clarke's广义导数,我们还可以得到问题(P)的最优解以及近似最优解的充分条件。定理4.3.1.若假设4.1.1,4.1.2,4.1.3以及假设4.3.1成立,u是一个容许控制,{xt,0≤ t≤T),{(yt,zt,kt),0≤t≤T}分别为相应的(16)和(17)的解。记τ*=inf{0≤t≤ T:yt=h(t,xt)},h(t,x)=h(t,x)1{tT)+g(x)1{t=T}且令伴随过程{Pt},{Qt}满足以及如果H(t,.,.,Pt,Qt,qt.),h(t,.)和γ(·)均为凸函数,且对任意的t∈[0,τ*]和v∈U,则u是问题(P)的一个最优控制。定理4.3.2.若假设4.1.1,4.1.2,4.1.3以及假设4.3.2成立,对任意的n∈N,un是一个容许控制,{xtn,0≤t≤T},{(ytn,ztn),0≤t≤T}分别是相应的(16)和(19)的解。记令伴随过程{Ptn},{Qtn}满足以及如果Hn(t,·,·,Ptn,Qtn,qtn,·),γ(·)和g(·)均为凸函数,且对任意的t∈[0,T]和v∈U,则un是问题(P)的εn-近似最优控制,其中当n→∞时,{εn}n≥1递减趋于0。4.一类弱形式的正倒向随机微分方程。我们引入一类弱形式的正倒向随机微分方程:我们从理论结果以及实际应用的角度,给出了几个具体的例子,如例5.1.2,5.2.1和5.2.2说明此类弱形式的FBSDEs的研究动机,特别是它与随机最优控制理论的联系,并且(32)联系着一类拟线性抛物型PDE:定义弱形式的FBSDE(32)的解为:定义5.1.1.我们称(i)带域流的概率空间(Ω,F{Ft)0≤t≤T,P)和Ft-适应随机过程{(Wt,Xt,Yt,Zt,Nt),0≤t≤T}为弱形式的FBSDE(32)的弱解,如果它们满足(32),P-a.s.,W是P-标准布朗运动,N是与X正交的P-鞅,且No=0;(ii)一个弱解为半强解,如果(Y,Z)是FtX-适应的;(iii)一个弱解为强解,如果N=0,且(X,Y,Z)是FtW-适应的。利用相关的PDE(33),我们可以得到弱形式的FBSDE (32)解的适定性:定理5.3.1.令假设5.3.1成立。若PDE(33)存在经典解u∈C1,2,且(?)xu和(?)2xxu均一致有界,则FBSDE (32)存在强解。如果又有假设5.3.2和5.3.3成立,则强解唯一。定理5.3.2.令假设5.3.1,5.3.2和5.3.3成立。若PDE(33)存在粘性解u∈C0,0且b,σ不含z,则FBSDE (32)存在半强解。如果u∈C0,1,则当b,σ含有z时,(32)仍存在半强解。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 邢进生,刘人境,李晋玲;一个有效两阶段最优控制问题的算法[J];北京电子科技学院学报;2004年04期
2 佟欣;张洪光;;一类生态系统的最优控制问题[J];生物数学学报;2013年03期
3 俞玉森;评《最优控制问题的计算方法》[J];数学研究与评论;1981年S1期
4 吴铁军,吕勇哉;一种求解带约束最优控制问题的算法[J];控制理论与应用;1986年04期
5 蕭亮壮;医学中的一个最优控制问题[J];北京航空学院学报;1988年03期
6 赵宝元;气-固反应中的一个最优控制问题[J];高校应用数学学报A辑(中文版);1990年02期
7 王玲,李建国,斯洛齐克;解决最优控制问题的准梯度方法(英文)[J];控制理论与应用;1999年03期
8 杨然,周钢,许晓鸣;求解最优控制问题的改进辛几何算法[J];上海交通大学学报;2000年04期
9 杨然,周钢,许晓鸣;求解最优控制问题的改进辛几何算法[J];上海交通大学学报;2000年05期
10 曾进,任庆生;受约束时间最优控制问题罚函数法收敛性分析[J];上海交通大学学报;2001年07期
11 陈学华;带不变凸的非光滑约束分式最优控制问题的对偶[J];苏州大学学报(自然科学);2001年03期
12 饶维亚;一个弱化的状态方程的最优控制问题[J];长春大学学报;2002年02期
13 王秀丽,王辉;时变森林发展系统的最优控制问题[J];哈尔滨师范大学自然科学学报;2002年01期
14 朱淑倩,程兆林;含摄动二次指标的线性奇异摄动最优控制问题的广义系统途径[J];山东大学学报(理学版);2003年04期
15 唐旭清,翁昊年;变分法在最优控制问题中的一个应用[J];江南大学学报;2003年05期
16 苏鸿雁,高红玲,王辉;一类分布参数系统的最优控制问题[J];哈尔滨师范大学自然科学学报;2004年02期
17 李康弟,朱经浩;非线性和非二次最优控制问题的扩展Kleinman-Newton法[J];上海电力学院学报;2005年02期
18 史敬涛,吴臻;一类证券市场中投资组合及消费选择的最优控制问题[J];高校应用数学学报A辑(中文版);2005年01期
19 卜春霞,于俊燕,慕小武;一类线性开关系统的鲁棒最优控制问题[J];河南科学;2005年01期
20 钱伟懿;张进;;一类非线性多阶段最优控制问题解的研究[J];渤海大学学报(自然科学版);2006年01期
中国重要会议论文全文数据库 前10条
1 潘立平;周渊;;线性非二次最优控制问题的一种解法[A];第二十七届中国控制会议论文集[C];2008年
2 张宝琳;樊铭渠;;一类奇异时滞系统奇异二次指标最优控制问题的近似方法[A];第二十七届中国控制会议论文集[C];2008年
3 李春发;陈华;;古地温度场系统的参数识别及最优控制问题[A];中国运筹学会第六届学术交流会论文集(上卷)[C];2000年
4 高彩霞;冯恩民;;一类以脉冲系统为约束最优控制问题的优化算法[A];中国运筹学会第八届学术交流会论文集[C];2006年
5 唐万生;李光泉;;时变广义系统最优控制问题[A];全国青年管理科学与系统科学论文集(第1卷)[C];1991年
6 雍炯敏;;具有状态约束的二阶半线性椭圆型方程的最优控制问题[A];1991年控制理论及其应用年会论文集(下)[C];1991年
7 肖华;吴臻;;一类线性二次正倒向随机控制系统的最优控制问题[A];第二十三届中国控制会议论文集(上册)[C];2004年
8 陶世明;朱经浩;;Canonical对偶方法与一类最优控制问题[A];中国运筹学会第九届学术交流会论文集[C];2008年
9 杨富文;;求一类H~∞最优控制问题的非迭代算法[A];1992年中国控制与决策学术年会论文集[C];1992年
10 王水;朱经浩;;线性规划在半定二次最优控制问题中的应用[A];中国运筹学会第八届学术交流会论文集[C];2006年
中国博士学位论文全文数据库 前10条
1 邵殿国;若干正倒向随机比例系统的最优控制问题[D];吉林大学;2015年
2 巩本学;具有随机场系数偏微分方程的最优控制问题数值方法[D];山东大学;2016年
3 王海洋;时间不相容的随机控制问题和弱形式的正倒向随机微分方程[D];山东大学;2016年
4 张稳;若干微分方程最优控制问题的谱方法[D];上海大学;2009年
5 郭磊;混合动态系统建模、稳定性及最优控制问题研究[D];山东大学;2006年
6 李彬;含状态和控制约束的最优控制问题和应用[D];哈尔滨工业大学;2011年
7 唐跃龙;两类最优控制问题变分离散方法的研究[D];湘潭大学;2012年
8 武利猛;奇异摄动最优控制问题的空间对照结构研究[D];华东师范大学;2013年
9 徐琰恺;控制系统的学习和优化:马尔可夫性能势理论与方法[D];清华大学;2008年
10 赵瑞艳;具有切换结构的非线性系统最优控制方法研究[D];中国石油大学;2011年
中国硕士学位论文全文数据库 前10条
1 张培勇;时标上一类最优控制问题研究[D];贵州大学;2009年
2 管文君;发展方程的能控性和最优控制问题[D];东北师范大学;2015年
3 黄启灿;数值天气预报模式误差项的最优控制问题研究[D];兰州大学;2015年
4 方研;带有终端角度和攻击时间约束的协同制导律设计[D];哈尔滨工业大学;2015年
5 夏云飞;一类满足Lotka-Volterra互惠关系的生物种群最优控制问题[D];哈尔滨师范大学;2015年
6 邵志政;带有非线性干扰补偿的ADP控制方法及在风机变桨控制的应用[D];东北大学;2014年
7 李年卫;一类考虑到敏感因素的最优经济模型及计算[D];贵州大学;2008年
8 郑红艳;具有约束的生产—库存管理系统最优控制问题[D];哈尔滨理工大学;2009年
9 韦兰用;最优控制问题研究综述[D];吉林大学;2006年
10 旷雨阳;拟稳态微波加热系统的最优控制问题[D];贵州大学;2007年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978