收藏本站
《云南大学》 2015年
收藏 | 手机打开
二维码
手机客户端打开本文

基于Markov预测模型的MongoDB分片集群负载均衡策略研究和验证

尹君  
【摘要】:近年来,随着web2.0技术的飞速发展,大规模分布式数据存储技术对传统的关系型数据库带来了前所未有的挑战。关系型数据库在面对海量数据下的高速访问、大规模并发查询、非结构化数据存储以及数据库集群的横向扩展时,日益显得捉襟见肘。因此,一种全新的数据库——非关系型数据库应运而生了。 在众多非关系型数据库中,MongoDB越来越受到web应用的青睐。本文在阐述了MongoDB面向文档的特点后,重点研究了在分片集群下,MongoDB默认的根据片键切分数据的机制和基于Chunk迁移的负载均衡策略。作者发现,这种基于Chunk迁移的负载均衡策略只能保证集群所存储的数据均匀地分布到各个分片节点,并没有考虑各个分片节点上的数据访问热度是否均衡。 本文针对这一问题,引入Markov随机过程,提出了一种基于Markov预测模型的负载均衡策略。首先,对分片集群中每个Chunk的CRUD操作状态进行分类统计,用这些统计数据构成对应的齐次Markov链,再根据齐次Markov链的一系列特性建立分片集群负载均衡的预测模型,接下来预测模型将给出下一个时间阶段负载信息的预测值,最终根据预测值进行更合理的数据迁移工作,促使分片集群达到数据访问热度层面上的均衡。 最后,使用云南大学URP系统所提供的测试数据,搭建了MongoDB分片集群的生产环境,将本文提出的基于Markov的负载均衡策略和MongoDB默认的基于Chunk迁移的均衡策略的实验结果进行对比,并对结果进行了分析。
【学位授予单位】:云南大学
【学位级别】:硕士
【学位授予年份】:2015
【分类号】:TP311.13

【参考文献】
中国期刊全文数据库 前7条
1 张华强;;关系型数据库与NoSQL数据库[J];电脑知识与技术;2011年20期
2 李彬;张英伟;;NoSQL非关系型数据库负载均衡的实现[J];电脑知识与技术;2012年06期
3 潘凡;;从MySQL到MongoDB——视觉中国的NoSQL之路[J];程序员;2010年06期
4 张树本;徐陈锋;奚宏生;;一种中间件数据库集群的负载均衡算法[J];计算机工程;2012年05期
5 姚林;张永库;;NoSQL的分布式存储与扩展解决方法[J];计算机工程;2012年06期
6 刘昕;田永刚;;基于Markov图像分割的红外桥梁目标识别算法[J];计算机仿真;2012年11期
7 郑金芳;王艳杰;;数据库集群负载均衡优化的Markov模型研究[J];科技通报;2013年09期
【共引文献】
中国期刊全文数据库 前10条
1 楼建华;;用Excel演示大M单纯形法[J];兵团教育学院学报;2009年04期
2 刘才贵;;创新教学方法 提高教学质量——管理运筹学教学方法谈[J];成都大学学报(教育科学版);2007年09期
3 丁小兵;;改进的动态规划算法在轨道工程系统中的新应用[J];重庆交通大学学报(自然科学版);2010年04期
4 康太平;张晓刚;王宗峰;何尚录;;基于k短路径算法的多目标最短路径算法[J];常州工学院学报;2011年Z1期
5 李永森;;《运筹学》教学方法设计与创新[J];池州学院学报;2009年03期
6 马自勤;杨莹;杨志刚;;数学模型在生产管理优化中的应用[J];大连交通大学学报;2010年01期
7 李彬;张英伟;;NoSQL非关系型数据库负载均衡的实现[J];电脑知识与技术;2012年06期
8 黄贤立;;NoSQL非关系型数据库的发展及应用初探[J];福建电脑;2010年07期
9 张伯生;;运筹学教学指导思想与方法实践研究[J];上海工程技术大学教育研究;2007年04期
10 梅海峙;;高速公路路损修复方案的分析和优化选择[J];工程与建设;2007年02期
中国重要会议论文全文数据库 前3条
1 王心光;;基于虚拟机的多服务器集群技术在地铁综合监控系统的应用[A];第八届中国智能交通年会优秀论文集——轨道交通[C];2013年
2 苏翔宇;;Key-Value数据库及其应用研究[A];中国职协2013年度优秀科研成果获奖论文集(下册)[C];2013年
3 胡登辉;高郭平;王安宇;常亮;郭立新;姚沫如;;海洋环境数据管理原型系统的设计与研究[A];2014年度上海市海洋湖沼学会年会暨学术年会论文集[C];2014年
中国博士学位论文全文数据库 前10条
1 杨传民;装填布局与斩断切割布局理论及方法的研究[D];天津大学;2007年
2 程运材;平果铝土矿资源合理规划综合利用研究[D];中南大学;2008年
3 郭倩倩;基于车流匹配的技术站列车运行线接续模型及算法研究[D];西南交通大学;2012年
4 蔡先锋;矿井三维地理网络模型及网络分析研究[D];中国矿业大学(北京);2012年
5 全顺喜;高速道岔几何不平顺动力分析及其控制方法研究[D];西南交通大学;2012年
6 李文宇;LTE/LTE-advanced自组织网络的自优化理论和关键技术研究[D];北京邮电大学;2013年
7 刘显敏;XML数据实体同一性相关技术的研究[D];哈尔滨工业大学;2013年
8 刘灿由;电子海图云服务关键技术研究与实践[D];解放军信息工程大学;2013年
9 鲜国建;农业科技多维语义关联数据构建研究[D];中国农业科学院;2013年
10 张崇林;公务员体质健康促进智能化运动处方系统的研究与应用[D];上海体育学院;2012年
中国硕士学位论文全文数据库 前10条
1 刘志勇;基于蚁群算法与竞选算法的作业车间调度求解及比较研究[D];广东工业大学;2011年
2 牛思聪;重载运输条件下既有线路列车开行方案研究[D];西南交通大学;2011年
3 桂斌;基于合作博弈的预付条件下应急物资库存模型的构建[D];中国科学技术大学;2011年
4 王锐;基于MongoDB的关系网络分析技术研究与应用[D];国防科学技术大学;2011年
5 周兴;面向Internet的动态路径规划算法研究与应用系统设计[D];华南理工大学;2011年
6 刘彤;基于Hadoop的数据分析系统设计和实现[D];北京邮电大学;2012年
7 钱开余;电力市场改革和电量采购策略研究[D];东南大学;2006年
8 张玉韬;江苏省船闸优化调度模型研究[D];河海大学;2007年
9 宁艳梅;应急系统选址的模型与算法研究[D];西安电子科技大学;2007年
10 王宏剑;铁路施工组织相关问题的探讨[D];西南交通大学;2007年
【二级参考文献】
中国期刊全文数据库 前10条
1 李莉莎;;关于NOSQL的思考[J];中国传媒科技;2010年04期
2 张德平;查日军;;基于Markov链使用模型的加速统计测试方法[J];东南大学学报(自然科学版);2011年05期
3 唐箭;;云存储系统的分析与应用研究[J];电脑知识与技术;2009年20期
4 刘欣;;Cassandra数据库安全性分析与改进[J];电脑知识与技术;2010年35期
5 张华强;;关系型数据库与NoSQL数据库[J];电脑知识与技术;2011年20期
6 李彬;张英伟;;NoSQL非关系型数据库负载均衡的实现[J];电脑知识与技术;2012年06期
7 黄贤立;;NoSQL非关系型数据库的发展及应用初探[J];福建电脑;2010年07期
8 薛正华;董小社;李炳毅;廖诗华;;基于BP神经网络的集群负载预测器[J];华中科技大学学报(自然科学版);2007年S2期
9 范凯;;NoSQL数据库综述[J];程序员;2010年06期
10 杜奕;张挺;卢德唐;李道伦;;一种基于改进Markov模型的插值方法[J];计算机研究与发展;2012年03期
中国硕士学位论文全文数据库 前1条
1 刘一梦;基于 MongoDB的云数据管理技术的研究与应用[D];北京交通大学;2012年
【相似文献】
中国期刊全文数据库 前10条
1 王征;刘心松;李美安;;一种高效的基于可复制资源的分布式负载均衡策略[J];电子学报;2006年08期
2 金玉;尤学贵;;利用多层次负载均衡策略实现对江苏教育资源网的改造[J];中国教育信息化;2008年16期
3 张夏雨;余永权;陈柏兴;郑锦伍;;可拓检测在动态负载均衡策略中的应用研究[J];计算机科学;2008年07期
4 韩丽娟;邓玉凤;;基于服务器群集的负载均衡策略[J];科技信息(学术研究);2008年29期
5 邓成玉;章剑涛;刘永山;;动态负载均衡策略及相关模型研究[J];计算机工程与应用;2011年08期
6 刘晔;沈潇军;刘摩西;;基于云模式的负载均衡策略研究[J];电脑与电信;2011年12期
7 段赵磊;古志民;;一种自适应的网络代理集群负载均衡策略[J];计算机工程;2010年01期
8 徐昆;夏玉福;;基于网管业务特征的负载均衡策略研究[J];计算机应用研究;2012年03期
9 杨际祥;谭国真;王凡;周美娜;;一种大规模分布式计算负载均衡策略[J];电子学报;2012年11期
10 赵文来,杨俊秀,徐春红,郑玉峰;基于语义的负载均衡策略与传统策略的比较[J];兰州理工大学学报;2005年05期
中国重要会议论文全文数据库 前3条
1 段长亮;马立香;;基于Linux的网络负载均衡策略分析与研究[A];2006中国西部青年通信学术会议论文集[C];2006年
2 张国敏;苏巨诗;王松;王娜;;分域式流媒体CDN的负载均衡策略[A];2005通信理论与技术新进展——第十届全国青年通信学术会议论文集[C];2005年
3 田敏;邴文武;白波;赵林亮;;多服务器传输SIP消息的负载均衡策略的研究[A];中国通信学会第五届学术年会论文集[C];2008年
中国博士学位论文全文数据库 前1条
1 裴雪兵;新型无线网络的资源管理与负载均衡策略研究[D];华中科技大学;2009年
中国硕士学位论文全文数据库 前10条
1 杜中韩;基于LVS集群的动态负载均衡策略的研究与实现[D];北京邮电大学;2013年
2 罗慧君;结构化P2P自适应高可用性负载均衡策略的研究与仿真[D];电子科技大学;2008年
3 张亚玲;高速网络入侵检测系统动态负载均衡策略的研究与实现[D];湖南大学;2010年
4 周顺;面向Web Service的负载均衡策略研究[D];湖南大学;2010年
5 吕月梅;结构化P2P系统的负载均衡策略的研究[D];北京邮电大学;2011年
6 朱建新;SSG中负载均衡策略的研究与设计[D];西安电子科技大学;2009年
7 张乔;基于OpenStack的业务云平台负载均衡策略的研究与实现[D];北京邮电大学;2014年
8 李登;分布式系统负载均衡策略研究[D];中南大学;2002年
9 曹淑玲;RoF系统中动态负载均衡策略研究与仿真[D];华中科技大学;2008年
10 刘汉玲;基于Web Service的分布式系统中动态负载均衡策略的研究与实现[D];哈尔滨工程大学;2010年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026