基于近似动态规划的非线性系统最优控制研究

【摘要】：非线性系统的最优控制一直是控制领域研究的热点和难点之一.近似动态规划自从诞生之日起就一直被认为是解决非线性系统最优控制的有效方法.近似动态规划结合了神经网络,自适应评判设计,加强学习和经典动态规划等理论.由于近似动态规划在求解非线性系统最优控制时成功避免了“维数灾”问题而获得广泛的关注.因此,进一步探讨近似动态规划理论及其算法,对更深入的解决非线性系统的最优控制问题有着重要的理论意义和应用价值.本文基于近似动态规划理论与算法,分别对多目标优化系统,跟踪系统,二人零和微分对策以及时滞系统的最优控制进行了深入的研究,取得了如下创新性成果： 1.提出一种新型无模型增量Q-学习方法,解决了在无模型条件下的多目标最优控制问题.通过系统变换,使得带有向量值性能指标函数的多目标动态规划问题转变成标准的带有二次型性能指标函数的动态规划问题.该方法采用状态和控制的增量进行计算,而不是直接计算状态变量和控制变量本身.同时,证明了由该方法得出的最优控制增量满足相应的离散时间代数Riccati方程.应用动态规划的最优性原理,该方法允许评判网络和执行网络在无模型条件下自适应调节权值并最终得到最优控制,同时在理论上证明了性能指标函数的收敛性和系统的稳定性. 2.首次应用贪婪启发式动态规划(HDP)迭代算法解决了非线性系统的最优跟踪控制问题.针对最优跟踪控制问题提出了一种新型的性能指标函数,以达到更好的跟踪效果.文中通过跟踪误差来设计最优跟踪控制,并通过系统变换使得离散时间非线性最优跟踪控制问题转变成最优调节问题.给出严格的数学证明保证了所提出贪婪HDP迭代算法的收敛性. 3.提出了一种新型迭代近似动态规划(ADP)算法,解决了连续时间非线性系统二人零和微分对策问题.通过动态规划理论和微分对策理论,迭代求解出最优控制量,使得性能指标函数达到鞍点.同时通过严格的数学理论证明了求得的最优控制量能够使得系统稳定并使性能指标函数收敛到最优解. 4.针对鞍点不存在条件下的二人零和微分对策问题,通过迭代ADP算法,首次求解出一组确定的控制策略使得性能指标函数达到对策的混合最优解.并且用严格的数学理论证明了所求得的混合最优控制对能够使得系统稳定,并使得性能指标函数收敛到微分对策的混合最优解. 5.基于近似动态规划理论,研究了带有时滞的离散时间仿射非线性系统的最优控制问题.通过引进时滞矩阵函数,获得了时滞系统最优控制的显式表达式.应用迭代ADP算法求解出时滞系统的最优控制和最优性能指标函数,同时给出迭代算法的收敛性证明. 6.针对一类离散时间状态时滞非线性系统,采用一种伪线性化方法—线性时变近似方法,将时滞非线性系统近似成一系列带有时滞的线性系统.根据经典动态规划的基本理论,求解出最优控制并使得最优控制满足相应的离散时间时滞代数Riccati方程.用严格的数学理论证明了系统的稳定性和状态的收敛性.