收藏本站
《中国科学技术大学》 2008年
收藏 | 手机打开
二维码
手机客户端打开本文

半Markov切换空间控制过程及其应用

江琦  
【摘要】: 随着信息科学技术的迅猛发展和广泛应用,出现了大量反映现代科学技术发展方向的网络通信系统。在应用需求的推动下,网络通信系统的功能日益强大,结构日趋复杂,加上多种控制策略与随机变化的应用环境频繁交互,使得系统的动态行为更加复杂。网络通信系统的性能分析和优化为系统的设计提供依据,为系统的运行提供控制决策方案,在提高系统的运行效率和服务能力并提供服务质量保证方面发挥着关键的作用。在诸如系统与控制、运筹学、计算机科学及人工智能等领域,出现了众多用于研究随机动态系统性能与优化的方法。实际网络通信系统的复杂性与现有优化方法的局限性,是该研究领域所面临的挑战。如何更好地描述系统的特征并加以有效利用,探索新的优化方法,解决实际网络通信系统中存在的关键技术问题,是当前面临的重要理论和应用课题。 本文研究旨在面向现代网络通信系统中的全新控制对象,探索有效的性能分析与优化方法。系统地提出事件驱动的具有层次化动态结构的半Markov切换空间控制过程,涉及到系统的建模、性能分析、基于事件的优化方法。通过对事件灵活定义和分类,并根据系统的动态特征,从状态空间上将系统划分为多个层级,使得模型的构建具有很高的灵活性、普适性和可扩展性,提高对实际系统的描述能力。采用事件驱动的控制策略,以减小策略空间,大幅度降低优化算法的计算复杂度,提高算法的实时性。利用事件驱动的策略特性及层次化的动态结构信息,来降低优化算法对系统参数信息的依赖,提高算法的自适应性。探索网络通信系统中一类关键技术问题的解决途径,如无线多媒体通信网的适应带宽配置、动态电源管理的策略优化、新一代网络媒体服务系统的建模与优化,为现代信息服务业提供低代价、高性能、可扩展、易管理的控制决策方案。 通过对不同层级事件的定义,构造在事件驱动控制策略下系统的半Markov核和拟无穷小矩阵,定义了性能函数、切换代价以及优化的性能测度,提出了半Markov切换空间控制过程的模型。基于半Markov性能势,推导半Markov切换空间过程的Poisson方程,进而构造出事件驱动策略的灵敏度公式,包括性能梯度和性能差公式。对于确定型策略的优化,充分利用切换过程半Markov核和拟无穷小矩阵中包含的层次化动态结构信息,推导了事件驱动的切换控制策略的比较定理,摆脱策略迭代算法对转移概率信息的依赖,实现算法的自适应性;利用事件驱动的策略特性,放宽了策略迭代算法的适用性条件即行动不相关的前提,拓展了策略迭代算法的适用范围;通过依据事件进行性能势聚集,减少需要计算或估计的性能势数量,有效降低计算的复杂度和提高算法的实时性。在此基础上,提出了基于单样本轨道的在线自适应策略迭代算法,证明了算法的收敛性。对于随机型策略的优化,在性能梯度公式的基础上,结合性能势基于单样本轨道的表示形式,推导出平均性能测度关于事件驱动的切换控制策略的性能梯度基于单样本轨道的估计式,进而结合随机逼近算法,提出了基于策略梯度的在线自适应优化算法。利用事件驱动的策略特性,有效减小优化算法的计算量,摆脱对系统参数的依赖,提高算法的自适应性。系统的层次化动态结构使得基于梯度的算法能够收敛到全局最优。 研究无线多媒体通信网的适应带宽配置,通过构建事件驱动的随机分析模型,将适应带宽配置问题转化为一个带约束的随机优化问题。在模型中,适应带宽配置和呼叫准入控制构成一个统一整体,考虑了各类业务的不同优先级,区分了新到达呼叫与越区切换呼叫。考虑三种重要的QoS指标作为约束,提出一种结合策略梯度估计和随机逼近的在线自适应优化算法。该算法充分利用事件驱动的策略特性,计算和评估只需在事件发生的时刻进行,并且不依赖于系统参数的信息,对环境的变化具有良好的适应性,能够保证收敛到全局最优值,有效求解多种QoS指标约束下的适应带宽配置问题。 考虑动态电源管理的随机型策略和超时策略的优化问题,构建事件驱动的半Markov随机切换模型,通过刻画随机环境中动态电源管理系统所表现出的典型的层次化动态,对实时系统的动态提供了精确的描述。对应于随机型策略和超时策略,提出了两种在线自适应优化算法,充分利用事件驱动的策略特性及系统的层次化动态结构信息,实现了实际应用对算法的自适应性、计算实时性和有效性的需求。通过分析在随机型策略和超时策略控制下动态电源管理系统的稳态特性,揭示了这两种类型的电源管理策略在性能与功耗均衡上的等效性,推导出二者之间的等效关系。 针对新一代网络媒体服务系统采用分层控制机制的特点,提出了一个三层级的半Markov切换空间控制过程的系统分析模型,为自适应资源部署、动态服务组合和用户请求调度提供了一个综合的性能分析和策略优化框架。提出一种基于动态文件分组的流媒体服务器集群负载均衡策略,充分利用流化服务器的缓存来缓解存储节点I/O带宽的瓶颈,通过提高缓存文件的访问命中率以减少从存储节点读取的频度,并通过均衡集群中各服务器的负载来提高系统资源的可用性。构建一个两层级的半Markov切换控制过程模型对动态文件分组策略进行性能分析,进而采用结合性能势估计和策略迭代的强化学习算法,实现系统和环境参数未知情况下的在线自适应策略优化,有效提高系统资源的利用率。
【学位授予单位】:中国科学技术大学
【学位级别】:博士
【学位授予年份】:2008
【分类号】:TN914

【引证文献】
中国博士学位论文全文数据库 前2条
1 唐亮;基于离散事件动态系统的多媒体网络传输若干问题研究[D];中国科学技术大学;2011年
2 胡晗;大规模网络服务系统能耗控制与性能优化[D];中国科学技术大学;2012年
【参考文献】
中国期刊全文数据库 前3条
1 姜爱全 ,叶晓国 ,吴家皋;无线/移动网络中基于遗传算法的带宽适应方案[J];计算机研究与发展;2004年09期
2 吴越,毕光国;无线多媒体网络中一种基于测量网络状态的动态呼叫接纳控制算法[J];计算机学报;2005年11期
3 吴琦,熊光泽;非平稳自相似业务下自适应动态功耗管理[J];软件学报;2005年08期
【共引文献】
中国期刊全文数据库 前10条
1 赵红丹;王希杰;;基于隐马尔科夫模型的词性标注[J];安阳师范学院学报;2010年05期
2 徐文焘;张侃健;;基于性能势的随机系统最优控制[J];兵工自动化;2006年12期
3 王红睿;赵黎明;;基于增强学习规则的倒立摆模糊神经网络控制器[J];吉林大学学报(信息科学版);2006年05期
4 胡黎黎;陈向东;张传武;王毅;;无线传感器网络能量最优的QoS路由发现方法[J];传感器与微系统;2007年07期
5 张星辉;康建设;刘占军;李志勇;;轴承故障诊断与故障预测方法[J];轴承;2011年01期
6 杜兆芳;韩江洪;刘小平;;A Method for Solving Textile Production Scheduling Problem[J];Journal of Donghua University(English Edition);2011年02期
7 张骏;向渝;汪文勇;;无线传感器网络节点能耗状态转换模型研究[J];电子科技大学学报;2009年04期
8 魏春娟;吕剑;;集成电路功耗优化技术综述[J];上海电力学院学报;2011年02期
9 赵杰;姜健;臧希喆;;基于强化学习的多机器人编队导航[J];辽宁工程技术大学学报;2007年06期
10 戚隆宁;张哲;黄少珉;;多任务下I/O设备的动态功耗管理[J];中国工程科学;2008年02期
中国重要会议论文全文数据库 前10条
1 ;Optimization of Semi-Markov Switching State-space Control Processes for Network Communication Systems[A];第二十六届中国控制会议论文集[C];2007年
2 ;An Event-Driven Dynamic Load Balancing Strategy for Streaming Media Clustered Server Systems[A];第二十七届中国控制会议论文集[C];2008年
3 ;Admission Control for P2P-Based Media Delivery Network[A];第二十九届中国控制会议论文集[C];2010年
4 ;On Solving Optimal Policies for Event-based Dynamic Programming[A];第二十九届中国控制会议论文集[C];2010年
5 张晓艳;唐吴;韩江洪;周雷;;多Agent系统连续时间Option算法[A];第二十九届中国控制会议论文集[C];2010年
6 ;Sample-Based Potentials Estimation for the Optimal Control of Stochastic System[A];中国自动化学会控制理论专业委员会D卷[C];2011年
7 唐昊;周雷;陆阳;袁继彬;;SMDP基于TD(λ)学习的统一神经元动态规划优化方法[A];2005中国控制与决策学术年会论文集(上)[C];2005年
8 袁继彬;唐昊;韩江洪;;马尔可夫决策过程基于TD(0)学习和性能势的NDP优化[A];第二十三届中国控制会议论文集(上册)[C];2004年
9 ;The Best Possible Metropolis Type Algorithm[A];第二十四届中国控制会议论文集(上册)[C];2005年
10 唐昊;陈栋;周雷;;MDP基于actor-critic网络的统一NDP方法[A];第二十四届中国控制会议论文集(下册)[C];2005年
中国博士学位论文全文数据库 前10条
1 林龙信;仿生水下机器人的增强学习控制方法研究[D];国防科学技术大学;2010年
2 李慧;智能居住环境学习和控制策略研究[D];山东大学;2011年
3 张浩;视频运动人体行为识别与分类方法研究[D];西安电子科技大学;2011年
4 李彬;含状态和控制约束的最优控制问题和应用[D];哈尔滨工业大学;2011年
5 陈春林;基于强化学习的移动机器人自主学习及导航控制[D];中国科学技术大学;2006年
6 李衍杰;扩展Markov决策过程的性能灵敏度分析与优化[D];中国科学技术大学;2006年
7 于满泉;面向人物追踪的知识挖掘研究[D];中国科学院研究生院(计算技术研究所);2006年
8 吴琦;嵌入式操作系统功耗管理技术研究[D];电子科技大学;2006年
9 沈晶;分层强化学习方法研究[D];哈尔滨工程大学;2006年
10 魏维;基于统计学的视频语义分析与提取技术研究[D];南京理工大学;2006年
中国硕士学位论文全文数据库 前10条
1 张炜;嵌入式系统功耗管理研究与实现[D];山东科技大学;2010年
2 沈扬;协商僵局消解优化问题研究[D];郑州大学;2010年
3 岂欣;移动网格安全策略存储机制研究[D];长春工业大学;2010年
4 刘文静;连续时间统一MAXQ算法及其应用研究[D];合肥工业大学;2011年
5 洪丹龙;适应环境能量补给的无线传感器网络节点低功耗技术研究[D];中南大学;2011年
6 许杏;基于隐马尔可夫模型的手势识别研究[D];华南理工大学;2011年
7 王曙光;LTE系统中无线接纳控制的研究[D];西南交通大学;2011年
8 刘力;长期演进系统下入侵检测关键技术的研究[D];南京航空航天大学;2009年
9 陈立明;低轨卫星移动通信系统的信道分配与切换管理策略研究[D];哈尔滨工业大学;2010年
10 黄紫藤;动画角色自动标注方法研究[D];国防科学技术大学;2010年
【同被引文献】
中国期刊全文数据库 前1条
1 江琦;奚宏生;殷保群;;动态电源管理的随机切换模型与在线优化[J];自动化学报;2007年01期
中国博士学位论文全文数据库 前6条
1 朱进;Markov跳跃系统的鲁棒Kalman滤波与非线性控制[D];中国科学技术大学;2006年
2 李衍杰;扩展Markov决策过程的性能灵敏度分析与优化[D];中国科学技术大学;2006年
3 徐陈锋;面向P2P的Markov模型[D];中国科学技术大学;2008年
4 许书彬;时移电视点播系统交互技术研究[D];中国科学技术大学;2009年
5 卓居超;时移电视集群系统缓存调度研究[D];中国科学技术大学;2010年
6 樊葆华;基于网络演算的计算机网络性能分析模型研究[D];国防科学技术大学;2009年
【相似文献】
中国期刊全文数据库 前10条
1 秦勇;基于NAT的Free BSD负载均衡网关研究[J];茂名学院学报;2001年04期
2 王继曾,张秋余,杨俊秀,王娜;一种基于语义的负载均衡调度算法[J];甘肃工业大学学报;2003年04期
3 凌仲权,丁振国;基于第四层交换技术的负载均衡[J];中国数据通信;2003年07期
4 朱利,张兴军;Web服务器组的负载均衡方法研究[J];小型微型计算机系统;2003年12期
5 ;Radware助一汽集团管理数字化[J];计算机安全;2004年04期
6 罗跃娣;如何构建高性能低成本的校园网络[J];西部探矿工程;2004年12期
7 谢华雯,吉国力;基于移动Agent的双层负载均衡策略[J];电脑开发与应用;2004年12期
8 杨晓军;;全局服务负载均衡策略的常见技术及应用[J];中国科技信息;2004年22期
9 杨灿,卢正鼎,邹雪城;可伸缩分布式VOD系统的设计与实现[J];华中科技大学学报(自然科学版);2005年01期
10 杨佳,闫涛;用NAT技术实现负载均衡的实践[J];平顶山工学院学报;2005年03期
中国重要会议论文全文数据库 前10条
1 季磊;谭庆平;;一种针对CDN系统的负载均衡解决方案[A];第二十二届中国数据库学术会议论文集(技术报告篇)[C];2005年
2 张敏;郭军华;陈飞;;Linux集群技术研究与应用[A];电工理论与新技术2004年学术研讨会论文集[C];2004年
3 马婕;蒋青;唐伦;陈前斌;;用多代理联盟解决泛在网络的负载均衡[A];2009年全国无线电应用与管理学术会议论文集[C];2009年
4 赵立芳;马向南;;WLAN中双链路负载均衡的研究与应用[A];中国通信学会第六届学术年会论文集(下)[C];2009年
5 陈明;王振武;;基于.NET Remoting技术的分布式构件库模型[A];2007年全国开放式分布与并行计算机学术会议论文集(上册)[C];2007年
6 史军晖;程良伦;;EASNS:一种能量敏感、负载均衡的感知节点调度算法[A];中国自动化学会中南六省(区)2010年第28届年会·论文集[C];2010年
7 翟晓波;杨放春;;Parlay Framework中基于负载感知的业务发现方法[A];2005通信理论与技术新进展——第十届全国青年通信学术会议论文集[C];2005年
8 徐萌;孟祥武;陈俊亮;梅翔;;综合业务平台负载均衡的研究[A];2006年全国通信软件学术会议论文集[C];2006年
9 郑旭明;胡光岷;;基于链路丢包率估计的Ad Hoc网络负载均衡路由[A];2008年中国西部青年通信学术会议论文集[C];2008年
10 黄海月;;基于负载均衡的无线Mesh骨干网接入算法[A];2009年研究生学术交流会通信与信息技术论文集[C];2009年
中国重要报纸全文数据库 前10条
1 何支涛;牵手:反垃圾、Web防御、负载均衡[N];网络世界;2008年
2 于开年 张国才 史韶惠;路由器实现线路负载均衡[N];网络世界;2002年
3 本报记者 边歆;随需而变 创新不止[N];网络世界;2009年
4 本报记者 张旭军;博科负载均衡新品的四大优势[N];网络世界;2010年
5 ;负载均衡让宝钢网络不再中断[N];网络世界;2007年
6 张旭军;根深枝茂[N];网络世界;2007年
7 新疆财经学院 孙彬;负载均衡的电子商务技术[N];新疆科技报(汉);2001年
8 河北省沙河市二十冶高中 于江波;负载均衡[N];中国电脑教育报;2004年
9 F5金融行业解决方案咨询经理 扬明飞;给应用加份“保险”[N];网络世界;2007年
10 ;Array负载均衡助中石油加油卡系统[N];人民邮电;2009年
中国博士学位论文全文数据库 前10条
1 江琦;半Markov切换空间控制过程及其应用[D];中国科学技术大学;2008年
2 张泽华;云计算联盟建模及实现的关键技术研究[D];云南大学;2010年
3 杨际祥;并行与分布式计算负载均衡问题研究[D];大连理工大学;2012年
4 王小海;常数度P2P系统负载均衡与拓扑优化技术研究[D];国防科学技术大学;2010年
5 曾锋;无线Mesh网流量负载均衡关键技术研究[D];中南大学;2010年
6 薛萍;复杂系统的信息脆性风险研究及在网络通信系统中的应用[D];哈尔滨工程大学;2008年
7 吴宇;对等网络内容搜索及索引缓存研究[D];中国科学院研究生院(计算技术研究所);2006年
8 张家冰;轧钢企业生产过程建模与优化研究[D];天津大学;2004年
9 胡晓峰;并行路由器体系结构若干关键技术研究[D];国防科学技术大学;2004年
10 郑相全;基于负载均衡的无线自组网关键技术与算法研究[D];电子科技大学;2005年
中国硕士学位论文全文数据库 前10条
1 吕月梅;结构化P2P系统的负载均衡策略的研究[D];北京邮电大学;2011年
2 张永辉;DHT服务器集群系统的负载均衡研究[D];北京邮电大学;2011年
3 胡利军;Web集群服务器的负载均衡和性能优化[D];北京邮电大学;2010年
4 周顺;面向Web Service的负载均衡策略研究[D];湖南大学;2010年
5 冯青峰;基于Java RMI的分布对象负载均衡研究与实现[D];西安电子科技大学;2002年
6 李莉;图书馆类网站建设的若干技术问题研究[D];华中师范大学;2004年
7 方瑞;自助建站负载均衡解决方案研究与实现[D];北京邮电大学;2011年
8 黄登玺;基于负载均衡的防病毒防火墙的设计和实现[D];中国科学院研究生院(软件研究所);2002年
9 潘传志;远程虚拟实验信息平台负载均衡研究[D];华中科技大学;2004年
10 缪剑斌;基于LVS的高可用负载均衡集群系统的设计与实现[D];北京邮电大学;2010年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026