收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于梯度逼近方法的Markov系统及其在通信中的应用

鲍秉坤  
【摘要】: 随着信息科学技术的迅猛发展和广泛应用,出现了大量的复杂随机动态系统,比如在通讯网络(Internet及无线网络),柔性制造,智能机器人,交通管理等领域。目前,该类系统的性能优化问题逐渐成为很多领域的研究热点。这些领域包括控制系统领域,运筹学领域,计算机科学领域以及人工智能领域等等。不同领域采用不同的方法来解决该问题,如控制系统领域的离散事件动态系统的摄动分析方法,运筹学领域的Markov决策过程理论,计算机科学和人工智能领域的强化学习(或神经元动态规划)方法。虽然这些方法对系统结构有着不同的描述,但这些方法都是围绕着同一个目的展开,即寻找一个“最好的策略”来优化系统的性能。 近几年来,一种基于灵敏度观点的优化方法将以上不同领域的不同方法有机的统一起来。该方法以性能势理论为基础,通过两种性能灵敏度公式:性能差公式和性能导数公式,将摄动分析方法,Markov决策过程理论以及强化学习方法统一在同一框架下。该方法不仅可以基于模型采用理论计算的方法来寻找系统的最优策略,而且可以在系统模型参数未知的情况下基于一条样本轨道在线地改进系统性能。因而在某种程度上它解决了该类系统的“维数灾”和“模型灾”问题。到目前为止,该方法在自适应Markov报酬过程上的应用还没有被研究,本文在该方法的基础上,研究了自适应Markov报酬过程的灵敏度分析,得到了性能差和性能导数公式,以及在单样本轨道上性能导数的估计式。 基于仿真的梯度逼近方法是基于一种可以基于单样本轨道在线的改进系统性能的梯度逼近方法。这个方法首先参数化策略。然后根据仿真出来的样本轨道估计出性能测度关于参数向量的梯度;最后再沿梯度的方向改进参数。利用参数化策略,减少了未知参数的个数,避开了“维数灾”的问题;通过仿真避开了“模型灾”的问题。参数的更新时刻的不同,这个方法分为两个传统的算法。再生环梯度逼近算法是每到更新点时,即更新一次参数,每步梯度逼近算法是每次状态转移都更新一次参数。这两个算法虽然很好的避开了“维数灾”和“模型灾”的问题,但它们也有其局限的地方:在再生环梯度逼近算法中,状态空间比较大时,再生环相应增大,更新缓慢,导致较低的计算效率,同时带来比较大的方差;在每步梯度逼近算法中,由于每做一次转移,算法进行一次更新,这洋计算量就会比较大,甚至有些实际系统是无法实现的。本文为了解决现有方法的这些不足,提出了Markov报酬过程、自适应Markov报酬过程以及随机策略的Markov决策过程的双时间尺度梯度逼近算法。算法主要思想是,在给定的更新周期上更新参数,而这个给定的更新周期序列是由两个时间尺度通过计算获得的,并且是个递增序列。算法的特点是开始更新较快,随后更新频率慢慢降低。这个特点带来的好处就是,在最初的更新中,算法结合了每步逼近算法的优点,更新较快,并且方差很小,有助于参数较快地收敛到最优值附近,同时将方差降低到一个很小的范围内;在随后的更新中,算法更新频率降低,经过很多次的状态转移参数才会更新一次,一次更新中获得的信息量比较多,有助于估值准确性的提高,提高了收敛精度,同时降低了计算量。并且在较弱的假设下,从理论上证明了算法的收敛性。 无线多媒体通信网络问题是近期的研究热点,目前仍存在大量瓶颈问题。本文在上述理论研究的基础上,研究OVSF-CDMA系统中动态编码分配的呼叫容许接入控制问题和有QoS指标约束下的CDMA系统的呼叫容许接入控制问题的建模和优化。通过将问题建模为Markov决策过程,提出一种在线学习估计策略梯度,随机逼近优化容许接入策略的在线算法,利用双时间尺度的技术降低计算复杂度,提高收敛速度。并且这个算法不依赖于系统的具体参数,具有较强的适应性,可以适用于复杂应用环境中的无线多媒体通信网的呼叫容许接入控制的在线优化,具有较高的应用价值。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 任艳斐;;网络数据库的安全及性能优化问题研究[J];科技广场;2008年03期
2 刘阳;陆治国;;基于TMS320C54X处理器的DSP性能优化[J];科技信息;2006年11期
3 李红;冯立军;杨竣飞;;基于波导CO_2激光器光声光谱仪的性能优化[J];辽宁师范大学学报(自然科学版);2009年03期
4 邢承杰;宋式斌;林莉;杨旭;;LoadRunner在系统性能优化中的应用[J];中山大学学报(自然科学版);2009年S1期
5 李萍;;浅谈TOMCAT之性能优化[J];科技情报开发与经济;2011年12期
6 王崇民;先进陶瓷材料性能优化中的微观结构设计(英文)[J];兰州大学学报(自然科学版);1999年03期
7 张仁惠;;消除行迁移与Oracle数据库性能调优[J];科技信息(科学教研);2007年33期
8 刁志坚;丁娟;万里勇;;浅谈Oracle数据库性能调优[J];科技广场;2007年11期
9 梁达平;;试析大型制造业ERP软件数据库性能优化技巧[J];甘肃科技;2008年10期
10 廉彦平;;Oracle数据库性能优化策略[J];科技信息(学术研究);2008年29期
11 唐威;何济洲;;自旋系统量子布雷顿热机循环性能分析[J];江西科学;2008年06期
12 李立功;;浅谈数据库规划和设计原则[J];科技信息;2009年02期
13 刘芬;苏健;延飞波;;局域网络性能的优化[J];延安大学学报(自然科学版);2009年01期
14 张燕;杨春杰;;基于.NET的在线冲印服务系统设计[J];黑龙江科技信息;2009年12期
15 包韶平;;面向前端的网站性能优化方法与工具研究[J];科技风;2009年09期
16 文捷;吴庆杰;陈翼;吴图南;张计龙;宓詠;;复旦大学选课系统的性能优化策略研究和实践[J];中山大学学报(自然科学版);2009年S1期
17 王茹;;基于ASP.NET应用程序的性能优化[J];黑龙江科技信息;2010年10期
18 姜惠娟;刘世贵;郭文龙;;Hibernate性能优化初探[J];黑龙江科技信息;2010年19期
19 王建宇;徐卫明;袁立银;林颖;何志平;刘军;;热红外高光谱成像系统的背景抑制和性能优化[J];红外与毫米波学报;2010年06期
20 刘楚雄;梁莺莺;;管理信息系统数据库性能优化技术[J];科技广场;2011年05期
中国重要会议论文全文数据库 前10条
1 方奇;袁茂森;刘志强;;三聚吲哚化合物的选位异构及双光子性能优化:长程与短程电荷转移[A];全国第八届有机固体电子过程暨华人有机光电功能材料学术讨论会摘要集[C];2010年
2 陈建松;;IBM大型机应用系统性能优化[A];中国计量协会冶金分会2011年会论文集[C];2011年
3 曹燕;;ORACLE数据库系统的性能优化[A];数据库技术在气象领域的应用学术会议论文集[C];2001年
4 高明星;;DB2数据库应用性能优化问题浅谈[A];科技、工程与经济社会协调发展——中国科协第五届青年学术年会论文集[C];2004年
5 李昱;;DB2 SQL性能优化准则在武钢物流管理系统中的实践[A];中国计量协会冶金分会2011年会论文集[C];2011年
6 高俊;;浅谈企业内部局域网的维护[A];计算机技术在工程建设中的应用——第十二届全国工程建设计算机应用学术会议论文集[C];2004年
7 冯春燕;张晨;周继成;丁炜;;基于多协议标记交换MPLS的因特网流量工程[A];中国航空学会信号与信息处理专业全国第八届学术会议论文集[C];2004年
8 冯立;王良勇;钱晓龙;;冗余控制系统的原理及性能优化[A];中国仪器仪表学会第五届青年学术会议论文集[C];2003年
9 陳正士;徐華陽;陳曉強;馬闖;;直流磁控反应溅镀NiCr-CN薄膜性能研究[A];第六届华东三省一市真空学术交流会论文集[C];2009年
10 宋晔;张元;于秋;郑伟芳;;SMS通信服务器的性能优化[A];全国第三届信号和智能信息处理与应用学术交流会专刊[C];2009年
中国博士学位论文全文数据库 前10条
1 鲍秉坤;基于梯度逼近方法的Markov系统及其在通信中的应用[D];中国科学技术大学;2009年
2 张雷;嵌入式系统性能优化若干问题研究[D];电子科技大学;2010年
3 何倩;P2P系统性能优化若干关键技术研究[D];北京邮电大学;2010年
4 吴长泽;数据网格中高可用性副本管理及性能优化研究[D];重庆大学;2007年
5 吴钊;保证服务质量的动态Web服务组合及其性能分析研究[D];武汉大学;2007年
6 朱正林;电站辅机及辅机系统性能优化[D];东南大学;2005年
7 张国义;水科学应用网格的若干关键技术研究[D];中国科学技术大学;2007年
8 李衍杰;扩展Markov决策过程的性能灵敏度分析与优化[D];中国科学技术大学;2006年
9 宁静红;R290/CO_2自然工质复叠式制冷循环系统的理论分析与实验研究[D];天津大学;2007年
10 张颖星;面向复杂系统应用的并行离散事件仿真性能优化技术研究[D];国防科学技术大学;2011年
中国硕士学位论文全文数据库 前10条
1 林树新;SmartOSEK的系统设计和时间性能优化[D];浙江大学;2005年
2 熊远生;网络控制系统的滑模预估变结构控制器设计及性能优化[D];浙江工业大学;2004年
3 徐慧君;基于JSP平台的信息发布系统的设计与实现[D];北京工业大学;2004年
4 吕栗;邮件过滤系统中数据库的性能优化[D];哈尔滨工程大学;2005年
5 石鹏飞;J2EE企业门户网站技术研究[D];浙江大学;2006年
6 陆琳琳;MD5算法的技术研究及性能优化[D];吉林大学;2006年
7 徐永军;基于视频压缩新标准H.264的软件编码器及其性能优化的研究[D];山东大学;2005年
8 梁海波;R6160ZC柴油机增压系统优化设计[D];山东大学;2005年
9 杨秋萍;纳米二氧化钛光催化性能优化研究[D];中国地质大学(北京);2006年
10 宋龙甫;B231柴油机降低排放及性能优化的研究[D];清华大学;2005年
中国重要报纸全文数据库 前10条
1 陈翔;性能优化只能救火[N];中国计算机报;2007年
2 奥创利高级开发工程师 Robert A. Aekins 奥创利高级产品经理 Gregg Lafontaine;六类系统性能优化“秘笈”[N];计算机世界;2002年
3 北京日讯在线科技有限公司;GPRS/EDGE支撑数据业务增长[N];通信产业报;2007年
4 陈洪康 郭宝群 李雪梅;浅谈VLDB性能优化与维护[N];人民邮电;2001年
5 本报记者 张旭军;渐入佳境[N];网络世界;2006年
6 ;安图特引入新型数据加速解决方案[N];人民邮电;2008年
7 爱立信(中国)通信有限公司服务产品部 刘浩;EDGE网规网优夯实数据业务基础[N];通信产业报;2007年
8 爱立信(中国)有限公司;爱立信助深圳移动提升EDGE网络性能[N];通信产业报;2007年
9 田光富;SQL语句不当 也会影响性能[N];中国计算机报;2008年
10 ;天时科技DGTime NAServer9000主打中小企业[N];中国计算机报;2002年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978