收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于Markov预测模型的MongoDB分片集群负载均衡策略研究和验证

尹君  
【摘要】:近年来,随着web2.0技术的飞速发展,大规模分布式数据存储技术对传统的关系型数据库带来了前所未有的挑战。关系型数据库在面对海量数据下的高速访问、大规模并发查询、非结构化数据存储以及数据库集群的横向扩展时,日益显得捉襟见肘。因此,一种全新的数据库——非关系型数据库应运而生了。 在众多非关系型数据库中,MongoDB越来越受到web应用的青睐。本文在阐述了MongoDB面向文档的特点后,重点研究了在分片集群下,MongoDB默认的根据片键切分数据的机制和基于Chunk迁移的负载均衡策略。作者发现,这种基于Chunk迁移的负载均衡策略只能保证集群所存储的数据均匀地分布到各个分片节点,并没有考虑各个分片节点上的数据访问热度是否均衡。 本文针对这一问题,引入Markov随机过程,提出了一种基于Markov预测模型的负载均衡策略。首先,对分片集群中每个Chunk的CRUD操作状态进行分类统计,用这些统计数据构成对应的齐次Markov链,再根据齐次Markov链的一系列特性建立分片集群负载均衡的预测模型,接下来预测模型将给出下一个时间阶段负载信息的预测值,最终根据预测值进行更合理的数据迁移工作,促使分片集群达到数据访问热度层面上的均衡。 最后,使用云南大学URP系统所提供的测试数据,搭建了MongoDB分片集群的生产环境,将本文提出的基于Markov的负载均衡策略和MongoDB默认的基于Chunk迁移的均衡策略的实验结果进行对比,并对结果进行了分析。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 王征;刘心松;李美安;;一种高效的基于可复制资源的分布式负载均衡策略[J];电子学报;2006年08期
2 金玉;尤学贵;;利用多层次负载均衡策略实现对江苏教育资源网的改造[J];中国教育信息化;2008年16期
3 张夏雨;余永权;陈柏兴;郑锦伍;;可拓检测在动态负载均衡策略中的应用研究[J];计算机科学;2008年07期
4 韩丽娟;邓玉凤;;基于服务器群集的负载均衡策略[J];科技信息(学术研究);2008年29期
5 邓成玉;章剑涛;刘永山;;动态负载均衡策略及相关模型研究[J];计算机工程与应用;2011年08期
6 刘晔;沈潇军;刘摩西;;基于云模式的负载均衡策略研究[J];电脑与电信;2011年12期
7 段赵磊;古志民;;一种自适应的网络代理集群负载均衡策略[J];计算机工程;2010年01期
8 徐昆;夏玉福;;基于网管业务特征的负载均衡策略研究[J];计算机应用研究;2012年03期
9 杨际祥;谭国真;王凡;周美娜;;一种大规模分布式计算负载均衡策略[J];电子学报;2012年11期
10 赵文来,杨俊秀,徐春红,郑玉峰;基于语义的负载均衡策略与传统策略的比较[J];兰州理工大学学报;2005年05期
11 高炜;杨群;许满武;;基于软件抗衰的分布式负载均衡策略[J];计算机科学;2006年06期
12 岑驾科,邵秀丽;负载均衡策略及可扩展存储资源预约协议[J];计算机工程与应用;2005年07期
13 李佩;祝永志;孙婷婷;;数据库集群的一种负载均衡策略的设计[J];电脑知识与技术;2009年01期
14 程春玲;张登银;徐玉;徐小龙;;一种面向云计算的分态式自适应负载均衡策略[J];南京邮电大学学报(自然科学版);2012年04期
15 王海英,张建忠;多链路管理中的负载均衡策略[J];南开大学学报(自然科学版);2004年04期
16 于传涛;蔡勇;;基于网格计算的混合负载均衡策略[J];计算机工程与设计;2007年16期
17 谢菲;;面向多媒体系统的负载均衡策略研究[J];计算机工程与科学;2009年S1期
18 王黎明,赵中堂,柴玉梅;并行计算中基于移动Agent的负载均衡策略[J];郑州大学学报(理学版);2004年03期
19 叶晨;;网络中基于多链路负载均衡策略的分析[J];西南石油学院学报;2006年02期
20 刘群;冯丹;李坚;;基于柔性放置的负载均衡策略研究[J];计算机科学;2011年05期
中国重要会议论文全文数据库 前3条
1 段长亮;马立香;;基于Linux的网络负载均衡策略分析与研究[A];2006中国西部青年通信学术会议论文集[C];2006年
2 张国敏;苏巨诗;王松;王娜;;分域式流媒体CDN的负载均衡策略[A];2005通信理论与技术新进展——第十届全国青年通信学术会议论文集[C];2005年
3 田敏;邴文武;白波;赵林亮;;多服务器传输SIP消息的负载均衡策略的研究[A];中国通信学会第五届学术年会论文集[C];2008年
中国博士学位论文全文数据库 前1条
1 裴雪兵;新型无线网络的资源管理与负载均衡策略研究[D];华中科技大学;2009年
中国硕士学位论文全文数据库 前10条
1 杜中韩;基于LVS集群的动态负载均衡策略的研究与实现[D];北京邮电大学;2013年
2 罗慧君;结构化P2P自适应高可用性负载均衡策略的研究与仿真[D];电子科技大学;2008年
3 张亚玲;高速网络入侵检测系统动态负载均衡策略的研究与实现[D];湖南大学;2010年
4 周顺;面向Web Service的负载均衡策略研究[D];湖南大学;2010年
5 吕月梅;结构化P2P系统的负载均衡策略的研究[D];北京邮电大学;2011年
6 朱建新;SSG中负载均衡策略的研究与设计[D];西安电子科技大学;2009年
7 张乔;基于OpenStack的业务云平台负载均衡策略的研究与实现[D];北京邮电大学;2014年
8 李登;分布式系统负载均衡策略研究[D];中南大学;2002年
9 曹淑玲;RoF系统中动态负载均衡策略研究与仿真[D];华中科技大学;2008年
10 刘汉玲;基于Web Service的分布式系统中动态负载均衡策略的研究与实现[D];哈尔滨工程大学;2010年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978