收藏本站
《北京大学》 2015年
收藏 | 手机打开
二维码
手机客户端打开本文

分布式系统的升级和数据迁移问题研究

黄礼骏  
【摘要】:随着社交网络、移动互联网、电子商务等技术的不断发展,互联网的使用者们贡献了越来越多的内容。为了处理这些内容,每个互联网公司在后端都有一套成熟的分布式系统用于数据的存储、计算以及价值提取[1]。不仅如此,许多银行、政府机构、大型企业对大规模数据存储与处理都有着强烈的需求,这也解释了为什么时下云计算这么火热并且持续被看好。 然而,构建这种系统的软件往往很复杂,同时,每隔一段时间,系统都需要进行升级以提升性能、修改错误或增加新的功能。本文工作所面临的最基本的问题就是如何有效地设计一种工程上可行的升级方案,使得这样规模的分布式系统能得到正确的升级和数据迁移,同时能持续对外提供服务。 这个问题的最有趣的一点是,大规模的分布式环境的升级过程往往很长,甚至升级过程需要持续数月。而在这个过程中,有些机器节点已经升级到新的版本,有些却仍处于旧版中。所以,本文要解决这个问题,最为关键的一点在于能够设计一种方案,使得分布式系统能在新旧版本共存的混合模式下继续对外提供服务。 本文设计并且实现了一种自动化的升级和数据迁移的方案,解决了如上所述的问题。并且,本文还做了以下工作:1、分析了分布式系统升级问题的难点。2、设计了较为通用的分布式系统升级的总体设计方案。3、设计并且实现了在单个数据中心的分布式环境里的升级方案。4、设计并且实现了在跨数据中心的分布式环境里的升级方案。5、设计并且实现了较为全面和完整的解决方案。6、提出了创新点,诸如回调函数式的数据迁移等方案。 本文所做的工作虽然有限定在一定的技术背景的分布式环境中进行,但因为目前各种主流的分布式系统均有很多的共性和相似点,故依旧可以作为较为通用的解决方案。本文也由衷地希望能给之后涉及到该问题的研究者和工程师一定的参考和启发。
【学位授予单位】:北京大学
【学位级别】:硕士
【学位授予年份】:2015
【分类号】:TP316.4

手机知网App
【共引文献】
中国期刊全文数据库 前10条
1 周国亮;朱永利;王桂兰;;CC-MRSJ:Hadoop平台下缓存敏感的星型联接算法[J];电信科学;2013年10期
2 杨震;徐敏捷;刘璋峰;秦达;姚晓辉;;语音大数据信息处理架构及关键技术研究[J];电信科学;2013年11期
3 朱生;牟星亮;;基于云的数据库的研究[J];电脑知识与技术;2014年05期
4 林清滢;冯健文;陆锡聪;;基于Google云平台的ERP系统的设计与实现[J];电脑知识与技术;2014年15期
5 SHI Xiao-long;LAI Shun-nan;;Editing Vector Graphics in the Virtual Simulation Environment[J];Computer Aided Drafting,Design and Manufacturing;2014年02期
6 雷德龙;郭殿升;陈崇成;巫建伟;吴小竹;;基于MongoDB的矢量空间数据云存储与处理系统[J];地球信息科学学报;2014年04期
7 费贤举;王树锋;王文;;一种海量大数据云存储系统框架设计[J];常州工学院学报;2014年03期
8 张植蓝宝;魏振钢;;基于云平台的医疗数据交换中间件设计[J];电子制作;2014年08期
9 彭晖;陶洪铸;严亚勤;王瑾;季学纯;谢晓冬;刘涛;;智能电网调度控制系统数据库管理技术[J];电力系统自动化;2015年01期
10 齐东兰;魏永强;;面向虚拟地球的矢量金字塔分布式存储研究[J];测绘与空间地理信息;2015年02期
中国重要会议论文全文数据库 前3条
1 徐子伟;张陈斌;陈宗海;;大数据技术概述[A];系统仿真技术及其应用学术论文集(第15卷)[C];2014年
2 田原;王营康;肖达;杨榆;;云存储系统中的存储与数据拆分方案[A];第十九届全国青年通信学术年会论文集[C];2014年
3 余秀才;;微博舆情研究中的大数据风险与挑战[A];媒介秩序与媒介文明研讨会暨第二届新闻传播伦理与法制学术研讨会论文集[C];2015年
中国博士学位论文全文数据库 前10条
1 孙茂华;安全多方计算及其应用研究[D];北京邮电大学;2013年
2 刘灿由;电子海图云服务关键技术研究与实践[D];解放军信息工程大学;2013年
3 谭鹏许;云计算环境下安全分布式存储架构与容错技术研究[D];解放军信息工程大学;2013年
4 李韧;基于Hadoop的大规模语义Web本体数据查询与推理关键技术研究[D];重庆大学;2013年
5 郑永清;云计算环境面向SaaS多租户的可伸缩数据放置研究[D];山东大学;2013年
6 孙鹏;动车组维修物联网及其关键技术研究[D];中国铁道科学研究院;2013年
7 田小梅;多布鲁姆过滤器查询算法及其应用研究[D];湖南大学;2013年
8 徐达宇;云计算环境下资源需求预测与优化配置方法研究[D];合肥工业大学;2014年
9 李惺颖;林地落界数据快速查询技术研究[D];中国林业科学研究院;2014年
10 耿玉水;面向集团企业的数据集成模型构建方法研究[D];天津大学;2013年
中国硕士学位论文全文数据库 前10条
1 陈席林;分布式持久化缓存系统的研究与实现[D];重庆大学;2013年
2 陈贞;HDFS环境下的访问控制技术研究[D];重庆大学;2013年
3 冯黎明;云环境下无线传感器网络服务研究[D];南京师范大学;2013年
4 许小龙;基于Hadoop的MeteCloud资源存储与数据处理的研究[D];南京信息工程大学;2013年
5 宫传琪;基于分布式数据库的社区卫生信息系统的设计与实现[D];昆明理工大学;2013年
6 刘静;非结构化数据处理技术在科技管理中的应用与研究[D];昆明理工大学;2013年
7 王加亮;基于云计算的海洋环境信息可视化平台技术研究[D];中国海洋大学;2013年
8 李宪英;面向BIRIS-Cloud的资源管理框架的研究与实现[D];哈尔滨工业大学;2013年
9 赵万龙;网上社保局信息发布系统的设计与实现[D];哈尔滨工业大学;2013年
10 尹蕴鑫;云环境下注册服务器的设计与实现[D];哈尔滨工业大学;2013年
【相似文献】
中国期刊全文数据库 前10条
1 张玉珍,黄东;在管理信息系统开发中如何进行数据迁移[J];工业控制计算机;2003年04期
2 蔡葵;巧用数据管道实现数据迁移[J];华南金融电脑;2003年11期
3 李永良;数据迁移:在新旧系统中切换[J];中国计算机用户;2003年Z2期
4 陈华英;数据在线“搬家”——关于数据迁移技术及应用[J];微电脑世界;2003年07期
5 陈伟,丁秋林;具有数据清理功能的交互式数据迁移及应用[J];吉林大学学报(信息科学版);2004年02期
6 玮;;让数据迁移不再是难题[J];中国计算机用户;2006年04期
7 李卫忠;;数据迁移的新趋势[J];微型机与应用;2006年03期
8 鲁逊;;招生系统中数据迁移的设计与实现[J];福建电脑;2007年12期
9 张爱玉;邱旭华;;公安业务中的数据迁移技术[J];警察技术;2008年01期
10 吕开宇;;数据迁移技术在房产产权交易系统中的应用[J];网络与信息;2009年08期
中国重要会议论文全文数据库 前6条
1 蒋学;黄瑞;刘璟;;基于访问统计和数据迁移的热点问题处理[A];第二十二届中国数据库学术会议论文集(技术报告篇)[C];2005年
2 石京燕;臧冬松;程耀东;;高能物理海量数据迁移系统的设计与实现[A];第十五届全国核电子学与核探测技术学术年会论文集[C];2010年
3 刘静秋;;Informix数据迁移方法探讨[A];2007中国科协年会——通信与信息发展高层论坛论文集[C];2007年
4 黄秋兰;朱随江;程耀东;陈刚;;GRASS文件预留系统的设计与实现[A];第十五届全国核电子学与核探测技术学术年会论文集[C];2010年
5 廖利辉;姜彤;李静;;数据库间数据迁移和数据共享的实现[A];中国高等学校电力系统及其自动化专业第二十四届学术年会论文集(中册)[C];2008年
6 牛桂芝;杨东远;杨凯;张娟;胡译文;;天津港CAD与GIS数据迁移解决方案探讨[A];第二十一届海洋测绘综合性学术研讨会论文集[C];2009年
中国重要报纸全文数据库 前10条
1 记者 饶慧敏 通讯员 周锦顺;广东局顺利完成第一阶段数据迁移[N];中国国门时报;2005年
2 夏凯;三步实现数据迁移[N];中国计算机报;2005年
3 郭涛;数据迁移的利器[N];中国计算机报;2006年
4 文婷;如何选购数据迁移工具[N];中国计算机报;2008年
5 沈建苗 编译;中小企业数据迁移不用愁[N];计算机世界;2011年
6 张小西;避免数据迁移延期[N];网络世界;2007年
7 郭涛;数据迁移 降低成本[N];中国计算机报;2003年
8 胡建光 吴 鸣;深圳检验检疫局成功实现数据迁移[N];中国国门时报;2004年
9 记者  饶慧敏 通讯员  周锦顺;广东局数据“大集中”首期工程进入第三阶段[N];中国国门时报;2005年
10 ;数据迁移产品与方案[N];计算机世界;2003年
中国硕士学位论文全文数据库 前10条
1 徐灵均;数据迁移技术及其应用[D];南京理工大学;2013年
2 王洪雨;云计算中动态数据迁移的关键技术研究[D];大连海事大学;2010年
3 林卫华;银行计算机系统数据迁移与系统停机的研究与应用[D];吉林大学;2011年
4 徐琼瑶;分级存储中数据迁移机制的实现[D];华中科技大学;2013年
5 陈健;卓越亚马逊新旧系统的数据迁移研究[D];电子科技大学;2009年
6 苏睿;在线动态数据迁移下系统负载控制的设计与实现[D];北京交通大学;2013年
7 陈俊;企业信息化项目中的业务数据迁移研究[D];苏州大学;2014年
8 余建;消息模型在数据迁移中的应用研究[D];西安电子科技大学;2012年
9 张欣欣;综合录井仪数据迁移及转换接口技术研究[D];中国石油大学;2008年
10 韩剑峰;可配置化数据迁移框架的研究与实现[D];上海交通大学;2011年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026