收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

云计算环境下的计算模型性能优化研究

柳香  
【摘要】:云计算给信息技术行业带来了一场新的革命。支撑云计算的关键技术包括虚拟化技术、分布式文件系统、并行计算技术和非关系型数据库技术等。Hadoop是一个集各种云计算技术于一体的综合开源云计算平台,主要由HDFS文件系统和MapReduce计算模型组成。 Hadoop能够利用多台机器组成的集群对海量数据进行存储和计算,具有可扩展性、容错性和高效性等特点。其中HDFS文件系统和MapReduce编程模型的思想都来源于Google。目前Hadoop处于不断成熟的阶段。对于Hadoop系统的实现框架,许多科研人员对其进行了分析并提出了多种改进措施。除了架构外,Hadoop的配置对于系统的性能来说也至关重要。本文主要研究提高Hadoop系统性能的配置优化方法。 Hadoop通过配置来对整个系统进行管理。Hadoop的配置优化问题是一个复杂的组合优化问题。各属性间存在依赖和制约关系,设置不合理会导致资源竞争,系统的整体性能降低。智能算法能够解决组合优化问题。以智能算法为基础,首先提出适用于特定应用的配置优化策略。然后考虑云计算平台的实际使用情况,提出一种多应用环境下的系统配置优化模型。 对于具体应用,基于遗传模拟退火算法,将每种配置方案作为染色体,多次选择、交叉、变异,并结合模拟退火原理,控制新染色体的存活和整个算法的迭代次数,寻找出最优的系统配置方案。实验结果表明该方法能有效提高作业的运行效率,并且迭代结束时群体的整体效果都非常好。 对于具体应用,基于混沌粒子群算法,将每种配置方案作为粒子的位置,通过粒子的不断运动来寻找最优配置。为使算法既能进行全局搜索和局部搜索,同时又能避免过早陷入局部最优,采用基本粒子群算法和权重系数改进、最大速度改进、混沌算法相结合的处理方法。实验结果表明该方法也能明显提高系统的效率,得出的最优配置具有稳定性,并且该方法实现简单,迭代次数少。 对于实际运行的整个系统,需要处理各种类型的作业,因此考虑多种应用,提出一种自适应的系统配置优化方法。这种方法根据云计算平台的作业特点分两种情况进行处理。当系统中的作业类型比较相似时,根据遗传模拟退火算法整体都朝最优解接近的特点,以遗传模拟退火算法为基础,提出即时优化的配置模型;当系统中的作业差别较大时,提出经验参照的模型,依据数据库查询进行系统配置,当数据中不存在该类型作业的配置信息时,考虑混沌粒子群算法简单快速的特点,基于混沌粒子群算法寻找系统的最优配置,并将新的配置记录添加到数据库中。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 朱克勤;数据库系统性能优化方法[J];警察技术;2004年06期
2 李泽平;SQL查询语句的性能优化与索引[J];福建电脑;2005年09期
3 张南平,陈小倩;ASP.NET性能优化[J];微机发展;2005年08期
4 史长琼;基于ORACLE的GIS数据实时处理系统的性能优化[J];长沙交通学院学报;2001年03期
5 张华;;查询优化技术在MIS中的应用[J];潍坊学院学报;2005年06期
6 唐沙;唐慧佳;李东琦;;电子商务系统的性能优化方案研究[J];微计算机信息;2007年27期
7 袁慧颖;翁盛鑫;程少平;魏冰;;ORACLE数据库性能优化[J];海军总医院学报;2007年03期
8 王勇;;基于SQL数据库的性能优化问题分析[J];电脑知识与技术;2008年15期
9 陈一明;;SQL Server数据库应用技巧探讨[J];科学技术与工程;2008年12期
10 高平;;虚拟轴数控机床关键技术研究[J];石家庄铁道学院学报(自然科学版);2008年03期
11 周建鲲;;基于ASP.NET应用系统性能研究与探讨[J];硅谷;2009年02期
12 李娟;汤军;安丹;;基于Oracle数据库性能优化的研究[J];软件导刊;2009年07期
13 褚泽;苟小龙;肖恒;;二级半导体温差发电器性能优化分析[J];计算机仿真;2009年10期
14 徐基伟;;迎接前端性能的挑战[J];程序员;2010年02期
15 曹忠锋;姜良华;王亚伟;郑仕勇;;基于.NET智能客户端的性能优化[J];软件导刊;2010年02期
16 张静纯;;劳动保障信息系统数据库性能优化设计[J];信息与电脑(理论版);2010年06期
17 杨柳;;SQL Server数据库的性能分析与优化策略研究[J];科技创新导报;2011年01期
18 李可可;;浅析Oracle数据库的性能优化方法[J];硅谷;2011年02期
19 李文文;DB2性能优化主要方法[J];华南金融电脑;2002年06期
20 宋利辉 ,邹佐来;AIX操作系统下应用系统的维护与性能优化[J];中国金融电脑;2005年06期
中国重要会议论文全文数据库 前10条
1 方奇;袁茂森;刘志强;;三聚吲哚化合物的选位异构及双光子性能优化:长程与短程电荷转移[A];全国第八届有机固体电子过程暨华人有机光电功能材料学术讨论会摘要集[C];2010年
2 陈建松;;IBM大型机应用系统性能优化[A];中国计量协会冶金分会2011年会论文集[C];2011年
3 曹燕;;ORACLE数据库系统的性能优化[A];数据库技术在气象领域的应用学术会议论文集[C];2001年
4 丛亮;胡成全;郭宗鹏;姜宇;沙丽华;;基于模拟退火思想的基本粒子群算法改进[A];第二十七届中国控制会议论文集[C];2008年
5 高明星;;DB2数据库应用性能优化问题浅谈[A];科技、工程与经济社会协调发展——中国科协第五届青年学术年会论文集[C];2004年
6 李昱;;DB2 SQL性能优化准则在武钢物流管理系统中的实践[A];中国计量协会冶金分会2011年会论文集[C];2011年
7 高俊;;浅谈企业内部局域网的维护[A];计算机技术在工程建设中的应用——第十二届全国工程建设计算机应用学术会议论文集[C];2004年
8 于颖;李永生;於孝春;;新型离散粒子群算法在波纹管优化设计中的应用[A];第十一届全国膨胀节学术会议膨胀节设计、制造和应用技术论文选集[C];2010年
9 冯春燕;张晨;周继成;丁炜;;基于多协议标记交换MPLS的因特网流量工程[A];中国航空学会信号与信息处理专业全国第八届学术会议论文集[C];2004年
10 张顶学;关治洪;刘新芝;;多种群并行粒子群算法研究[A];第二十六届中国控制会议论文集[C];2007年
中国博士学位论文全文数据库 前10条
1 黄平;粒子群算法改进及其在电力系统的应用[D];华南理工大学;2012年
2 岳本贤;粒子群算法拓展研究及在约束布局优化中应用[D];大连理工大学;2012年
3 张雷;嵌入式系统性能优化若干问题研究[D];电子科技大学;2010年
4 何倩;P2P系统性能优化若干关键技术研究[D];北京邮电大学;2010年
5 胡成玉;面向动态环境的粒子群算法研究[D];华中科技大学;2010年
6 安镇宙;家庭粒子群算法及其奇偶性与收敛性分析[D];云南大学;2012年
7 全海燕;混合克隆竞争与启发学习策略的多角色随机游动粒子群算法研究[D];云南大学;2010年
8 秦全德;粒子群算法研究及应用[D];华南理工大学;2011年
9 常彦伟;纵向参数多子群粒子群算法的研究与应用[D];中国矿业大学;2009年
10 田野;粒子群优化算法及其应用研究[D];吉林大学;2010年
中国硕士学位论文全文数据库 前10条
1 杨立标;基于混合优化策略的粒子群算法及其应用研究[D];哈尔滨工程大学;2010年
2 林树新;SmartOSEK的系统设计和时间性能优化[D];浙江大学;2005年
3 陈琳玲;基于简化粒子群算法的测试数据自动生成方法研究[D];西南大学;2010年
4 赵辛欣;随机聚焦粒子群算法在机组组合中的应用[D];西南交通大学;2010年
5 王冬;基于粒子群算法的Web文本信息过滤研究[D];华北电力大学(河北);2010年
6 李文婷;基于改进型粒子群算法的热轧带钢宽度神经网络预报模型的研究[D];太原理工大学;2011年
7 汪华;粒子群算法的研究及其在供水优化调度中的应用[D];合肥工业大学;2011年
8 熊远生;网络控制系统的滑模预估变结构控制器设计及性能优化[D];浙江工业大学;2004年
9 徐慧君;基于JSP平台的信息发布系统的设计与实现[D];北京工业大学;2004年
10 吕栗;邮件过滤系统中数据库的性能优化[D];哈尔滨工程大学;2005年
中国重要报纸全文数据库 前10条
1 陈翔;性能优化只能救火[N];中国计算机报;2007年
2 奥创利高级开发工程师 Robert A. Aekins 奥创利高级产品经理 Gregg Lafontaine;六类系统性能优化“秘笈”[N];计算机世界;2002年
3 北京日讯在线科技有限公司;GPRS/EDGE支撑数据业务增长[N];通信产业报;2007年
4 陈洪康 郭宝群 李雪梅;浅谈VLDB性能优化与维护[N];人民邮电;2001年
5 本报记者 张旭军;渐入佳境[N];网络世界;2006年
6 ;安图特引入新型数据加速解决方案[N];人民邮电;2008年
7 爱立信(中国)通信有限公司服务产品部 刘浩;EDGE网规网优夯实数据业务基础[N];通信产业报;2007年
8 田光富;SQL语句不当 也会影响性能[N];中国计算机报;2008年
9 爱立信(中国)有限公司;爱立信助深圳移动提升EDGE网络性能[N];通信产业报;2007年
10 ;天时科技DGTime NAServer9000主打中小企业[N];中国计算机报;2002年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978