收藏本站
《南开大学》 2012年
收藏 | 手机打开
二维码
手机客户端打开本文

数据层资源适应型若干优化实现方法及应用研究

隋新征  
【摘要】:随着软件工程和计算机科学技术的发展,为了提高软件的生产效率和质量,逐步实现软件生产的自动化,提高软件的自适应能力,软件系统体系结构的层次越来越多,软件和硬件平台环境结构和类型各种各样。由于软件工程科学尚不成熟,软件系统的开发方法、技术和工具等仍具有很多局限性,不能在设计和实现软件系统功能的同时满足定量的性能要求。 目前,在软件工程领域存在以下问题:在需求分析阶段,缺少系统性的定量分析方法,难以确定处理任务的资源需求量、信息量和处理量,并且对资源环境容量规划缺少系统的定量方法和所依据的定量需求信息,资源容量配置与软件运行的实际资源需求难以达到有效匹配;在软件设计阶段,由于缺少信息量和任务处理量信息,UML-SPT(UML profile for Schedulability, Performance andTime)表达的设计图中与软件性能密切相关的信息不准确,并且难以直接应用到软件代码设计过程中;在软件实现阶段,代码设计和运行实施都没有考虑到具体运行环境及其容量配置和处理能力特点,匹配效果差;在软件实施后期,通过环境资源的配置调整和优化,只能实现性能的微调,效果十分有限。 本文以集群结构上的数据层为主要研究对象,将软件性能的优化工作从环境资源优化调整阶段前移到软件实现阶段,研究数据层资源适应型若干优化实现方法。根据软件单元执行时的资源需求或消耗特征,结合环境资源的处理能力和资源实际利用情况,在软件系统层内实现数据均衡存储和任务均衡调度,在软件系统层间实现任务分解和迁移,采用面向资源环境的自适应方法,提高软件与资源环境间的有效匹配和软件整体运行性能。 为了提高数据层内集群主机或虚拟机节点间负载均衡和资源环境的承载能力,本文提出了负载特性及资源相对均衡度的表示和获取的系统方法,在此基础上提出了一种数据层内负载均衡方法,通过在资源环境同层内节点间调度处理任务实现负载的均衡分配和资源的均衡利用,使软件与环境平台达到有效合理匹配,提高资源利用整体均衡性和软件性能。 如何对数据库层上有限的资源进行分配才能使得重量任务和轻量任务均达到合理的运行效果,本文提出一种重量任务多进程化的处理方法,在资源允许的范围内运用多线程对可并行的任务进行处理,通过控制进程或线程运行实例数量实现单节点资源的充分利用,并结合实际案例进行了研究。 针对数据层内节点间通讯频繁的问题,提出一种逻辑数据划分的方法,通过数据层数据的逻辑和物理划分与均衡存储实现数据存取的代价优化,根据处理进程和数据存取准并行化方法提高数据层单主机或虚拟机节点资源利用率和处理性能,降低节点间数据耦合,使数据处理任务均衡分布到不同节点,实现数据存取和任务处理的均衡化。 对于业务层和数据层之间数据重复传输及存取的问题,本文提出一种业务层和数据层任务分配的方法,通过在软件层和资源环境各层间横向迁移处理任务实现执行代价的优化,根据处理任务的特性及其与服务器资源环境的适应性,将处理任务合理分解和分配到不同层次进行处理,降低层次间的数据耦合,提高系统的处理效率。 本文研究的数据层资源适应型若干优化实现方法已应用于应用软件系统中,取得了较好的应用效果,应用时只需要对关键软件单元进行局部改进,具有实现代价小和性能改进可预见的特点。本文研究成果可以应用于独立实体物理环境和统一虚拟逻辑环境下的已有系统性能改进和新系统容量规划,为系统整体平台容量规划、选型及配置、系统体系结构、存储结构、关键功能设计、负载均衡调度等提供依据,提高系统运行性能和环境资源利用率。
【学位授予单位】:南开大学
【学位级别】:博士
【学位授予年份】:2012
【分类号】:TP311.53

手机知网App
【参考文献】
中国期刊全文数据库 前7条
1 杨刚;周兴社;潘惠芳;;基于反馈的自适应线程池管理框架[J];计算机工程;2006年05期
2 郭成城,晏蒲柳;一种异构Web服务器集群动态负载均衡算法[J];计算机学报;2005年02期
3 谢红薇;谢显宇;;基于内容的网络集群负载平衡算法模型[J];计算机应用与软件;2010年01期
4 隋新征;程仁洪;;遴选算法全局条件解耦与物理优化实现[J];计算机工程;2011年02期
5 李建中;一种并行数据库的动态多维数据分布方法[J];软件学报;1999年09期
6 李文中;郭胜;许平;陆桑璐;陈道蓄;;服务组合中一种自适应的负载均衡算法[J];软件学报;2006年05期
7 郑祺;周广平;;基于内容分类的集群负载均衡算法[J];计算机系统应用;2011年05期
【共引文献】
中国期刊全文数据库 前10条
1 刘安生;余晓芬;;多传感器同步采样控制中启停时刻对采集精度影响的研究[J];安徽电子信息职业技术学院学报;2006年03期
2 徐辉;周健;朱正月;;网上考试系统在高等职业教育中的应用[J];安徽科技学院学报;2008年05期
3 冯学军;Windows95长文件名的结构及转换[J];安庆师范学院学报(自然科学版);2001年02期
4 武海燕;朱宗胜;;基于Linux环境的实时调度项目的研究[J];安阳工学院学报;2007年06期
5 吴捧锋;;使用WinHex恢复U盘数据的方法[J];办公自动化;2008年16期
6 吴捧锋;;文件夹加密隐身技巧[J];办公自动化;2009年14期
7 杨高峰;顾春华;沈健;秦海;杨健;;基于LWIP的ICMP路由重定向改进[J];北京联合大学学报(自然科学版);2009年01期
8 辛海涛;现代商业自动化管理模式分析[J];商业研究;2004年11期
9 刘滨;提高Windows NT的性能[J];本溪冶金高等专科学校学报;2001年04期
10 揭安全;薛锦云;;Apla-Java可重用部件库并行、并发机制的研究[J];江西师范大学学报(自然科学版);2006年04期
中国重要会议论文全文数据库 前6条
1 徐萌;孟祥武;陈俊亮;梅翔;;综合业务平台负载均衡的研究[A];2006年全国通信软件学术会议论文集[C];2006年
2 韩向春;李浩;;数控系统程序编辑器的设计与实现[A];先进制造技术论坛暨第三届制造业自动化与信息化技术交流会论文集[C];2004年
3 揭安全;薛锦云;;一种基于Apla-Java可重用部件库的并行(并发)程序开发方法[A];2006年全国开放式分布与并行计算学术会议论文集(一)[C];2006年
4 张艳梅;曹怀虎;韩文英;;基于服务覆盖网络的服务组合路由问题研究综述[A];2007通信理论与技术新发展——第十二届全国青年通信学术会议论文集(下册)[C];2007年
5 娄燕飞;李爱平;贾焰;杨树强;吴泉源;;一种远程灾备系统动态负载均衡算法[A];第二十二届中国数据库学术会议论文集(研究报告篇)[C];2005年
6 兰西柱;贾少才;;基于飞思卡尔K60继电保护装置嵌入式操作系统的研究[A];第22届全国煤矿自动化与信息化学术会议暨第4届中国煤矿信息化与自动化高层论坛论文集[C];2012年
中国博士学位论文全文数据库 前10条
1 刘莉平;动态Web服务组合关键技术研究[D];中南大学;2011年
2 龙军;基于信任感知与演化的服务组合关键技术研究[D];中南大学;2011年
3 陈涛;大规模网络存储环境中的数据布局与查询优化技术研究[D];国防科学技术大学;2011年
4 张帅;基于服务组合的跨企业协作关键技术研究[D];浙江大学;2011年
5 朱艺华;移动通信网络中移动性管理策略研究[D];浙江大学;2002年
6 邓雪清;栅格型空间数据服务体系结构与算法研究[D];中国人民解放军信息工程大学;2003年
7 邹勇;开放式实时系统的调度方法研究[D];中国科学院研究生院(软件研究所);2003年
8 邓水光;Web服务自动组合与形式化验证的研究[D];浙江大学;2007年
9 王继刚;高可用集群系统中回卷恢复容错技术研究[D];哈尔滨工程大学;2006年
10 纪淑娟;电子商务自动谈判关键技术研究及实现[D];山东科技大学;2007年
中国硕士学位论文全文数据库 前10条
1 高波;基于PC的音乐喷泉控制系统的设计[D];大连理工大学;2010年
2 郑斌;社保卡信息系统的研究与设计[D];合肥工业大学;2010年
3 刘挺;基于Intranet环境的主机行为实时分析系统[D];华东师范大学;2010年
4 王婧;windows mobile智能手机平台的音乐编辑[D];华东师范大学;2010年
5 刘翔鹏;可视化技术在操作系统教学中的应用[D];山东大学;2010年
6 郑奇英;基于高速数据的分配存储策略研究[D];武汉邮电科学研究院;2011年
7 唐庆茂;通用仿真平台导调系统的研究与实现[D];西安电子科技大学;2009年
8 王敏;基于VxWorks的MLS中央监控分机的设计与实现[D];西安电子科技大学;2010年
9 赵亮;流媒体服务集群系统关键技术研究[D];西安电子科技大学;2009年
10 夏圣贤;低能耗无线传感器网络协议研究与实现[D];沈阳师范大学;2011年
【二级参考文献】
中国期刊全文数据库 前10条
1 郝沁汾,祝明发,郝继升;WWW业务访问特性分布研究[J];计算机研究与发展;2001年10期
2 李双庆,古平,程代杰;Web集群系统负载均衡策略分析与研究[J];计算机工程与应用;2002年19期
3 章文嵩,金士尧,吴泉源;KTCPVS:一个内核Layer-7交换机[J];计算机工程与科学;2001年03期
4 郭成城,晏蒲柳;一种异构Web服务器集群动态负载均衡算法[J];计算机学报;2005年02期
5 谢红薇;谢显宇;;基于内容的网络集群负载平衡算法模型[J];计算机应用与软件;2010年01期
6 单志广,戴琼海,林闯,杨扬;Web请求分配和选择的综合方案与性能分析[J];软件学报;2001年03期
7 李建中;并行数据库的查询处理并行化技术和物理设计方法[J];软件学报;1994年10期
8 李建中,都薇;并行数据库上的并行CMD-Join算法[J];软件学报;1998年04期
9 马双良;张英敏;宋丽君;;基于LVS和计算任务的实时集群负载均衡方法[J];计算机工程与设计;2007年20期
10 于磊,林宗楷,郭玉钗,林守勋;多服务器系统中的负载平衡与容错[J];系统仿真学报;2001年03期
中国博士学位论文全文数据库 前1条
1 章文嵩;可伸缩网络服务的研究与实现[D];中国人民解放军国防科学技术大学;2000年
【相似文献】
中国期刊全文数据库 前10条
1 胡芳华,张继棠;基于.NET的数据层设计[J];重庆工商大学学报(自然科学版);2005年03期
2 栾鹤;;无线网络优化后台分析软件简介[J];民营科技;2011年01期
3 朱士明;计算机软件应用体系结构模型[J];安徽电子信息职业技术学院学报;2005年01期
4 赵娜乐;于雷;耿彦斌;陈旭梅;;基于SVM的数据层多源ITS数据融合方法初探[J];交通运输系统工程与信息;2007年02期
5 葛中泽;;基于NET Frame Work的电子商务系统的开发[J];鄂州大学学报;2005年06期
6 段科;;基于三层架构的校园办公系统的研究[J];信息与电脑(理论版);2010年03期
7 罗鹏飞;王映辉;;基于Hibernate的数据访问框架扩展点研究[J];计算机工程;2010年12期
8 张宏官,刘强;基于ADO.NET技术实现通用的数据层组件[J];计算机工程与应用;2004年01期
9 李秦;窦小雨;;ASP.NET数据层的优化方法[J];电脑知识与技术;2009年14期
10 马维建,张玉海;电子书种种[J];电子出版;2001年08期
中国重要会议论文全文数据库 前10条
1 孙记红;刘展;相鹏;宋学锋;;海洋油气勘探钻录测数据可视化分析初探[A];中国地球物理学会第二十四届年会论文集[C];2008年
2 王亚冬;杨金彪;朱莲芳;董尚力;;基于三层结构的三维气象应急指挥系统的构架设计[A];第五届长三角气象科技论坛论文集[C];2008年
3 熊瑛;许建;;船舶信息集成平台技术研究[A];第四届全国船舶与海洋工程学术会议论文集[C];2009年
4 叶雨;;SuperMap服务器产品部署优化[A];2009`中国地理信息产业论坛暨第二届教育论坛就业洽谈会论文集[C];2009年
5 纪成旺;;信息技术与地籍管理——地籍调查技术与流程的演进[A];2006年中国土地学会学术年会论文集[C];2006年
6 孙剑桥;;基于WEBGIS的系统设计[A];中国地理信息系统协会第四次会员代表大会暨第十一届年会论文集[C];2007年
7 郑晓强;王昂;史有群;;义齿行业ERP中的订单跟踪与预警[A];计算机技术与应用进展·2007——全国第18届计算机技术与应用(CACIS)学术会议论文集[C];2007年
8 罗晓燕;冯学兵;韩光瞬;张茜;;北京市基础地理信息DLG数据库物理无缝数据层的更新方法探讨[A];数字测绘与GIS技术应用研讨交流会论文集[C];2008年
9 廖植仕;;浅谈广东卷烟营销大集中系统应用框架体系架构[A];中南片2007年烟草学术交流会论文集[C];2007年
10 张燕;兰彬;;浅谈数据库管理信息系统的结构设计[A];都市型高等农业教育教学改革论文专辑[C];2007年
中国重要报纸全文数据库 前10条
1 晓伟;安全设备需化零为整[N];计算机世界;2007年
2 胡嘉贤;GIS在新一代呼叫中心业务平台中的应用[N];人民邮电;2007年
3 ;“E”化税收[N];网络世界;2002年
4 ;甲骨文:SOA需清晰部署规划以及路线图[N];计算机世界;2007年
5 小柱;DVD终结者来了[N];电脑报;2001年
6 王光谦 清华大学教授 教育部水沙科学重点实验室主任;研究黄河问题的新手段—数字流域模型[N];中国水利报;2005年
7 付宪国凌柳凤;移动GIS的概念和特点[N];中国测绘报;2008年
8 本报特约撰稿 IBM软件集团中国区信息管理技术经理 刘晶炜;信息管理经历三大变革[N];计算机世界;2009年
9 记者 仝晨章 郭铁强 通讯员 蒿峰;内蒙古电网综合数据平台系统效果好[N];中国电力报;2006年
10 ;CA目录软件性能实现新突破[N];人民邮电;2002年
中国博士学位论文全文数据库 前10条
1 隋新征;数据层资源适应型若干优化实现方法及应用研究[D];南开大学;2012年
2 付耀文;雷达目标融合识别研究[D];中国人民解放军国防科学技术大学;2003年
3 刘明铭;资源适应型多粒度负载的均衡机制及应用研究[D];南开大学;2013年
4 刘雪梅;服务器端软件性能分析和诊断方法研究[D];哈尔滨工程大学;2010年
5 孙丽萍;木材含水率在线检测融合体系及仿真技术研究[D];东北林业大学;2008年
6 张志芬;航天器多信源测控数据融合及应用研究[D];重庆大学;2008年
7 宋记锋;信息获取与应用的若干关键技术研究[D];中国科学技术大学;2008年
8 陆瀛海;纳米工艺集成电路的统计可靠性分析以及并行优化算法[D];复旦大学;2010年
9 王赢;梯级水库群优化调度方法研究与系统实现[D];华中科技大学;2012年
10 李媛;区域降雨型滑坡预报预警方法研究[D];中国地质大学(北京);2005年
中国硕士学位论文全文数据库 前10条
1 李斌;基于Hibernate的数据层研究与应用[D];武汉理工大学;2013年
2 徐栋;基于MongoDB的SaaS数据层多租户关键技术研究与实现[D];华东理工大学;2013年
3 刘俊红;工作量采集与分析系统的设计与实现[D];山东大学;2005年
4 刘晓斌;二层隧道协议研究及L2TPv3数据层的实现[D];西南交通大学;2003年
5 梁维海;三层体系结构无关性的研究及实现[D];成都理工大学;2004年
6 朱健君;白塔区企业现金管理系统研究与设计[D];吉林大学;2008年
7 Nkengurukiyimana Damas(达马斯);[D];中南大学;2004年
8 Girigi Déogratias(吉瑞);[D];中南大学;2003年
9 柳建军;包商银行客户关系管理系统的设计与实现[D];电子科技大学;2013年
10 薛莲;基于JDF的MIS架构体系研究与模块实现[D];西安理工大学;2008年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026