收藏本站
《国防科学技术大学》 2007年
收藏 | 手机打开
二维码
手机客户端打开本文

P2P分布存储系统中海量数据的数据一致性维护技术研究

周婧  
【摘要】: 对等(P2P)计算是近年来兴起的一种重要网络计算技术,在很多领域都有着大量的研究与应用。利用P2P计算技术,构建大规模分布式存储系统,可以支持海量用户和海量数据的数据共享和存储需求,是当前P2P计算研究和应用的一大热点。数据复制是实现海量数据管理的关键技术之一,可以提高系统可用性和数据访问的性能,但是数据复制不可避免地引发数据一致性维护的问题。与传统的分布式系统不同,P2P系统的规模巨大、分布性强和动态性强等特点给P2P分布存储系统中的数据一致性维护带来挑战。本文针对海量数据和P2P分布存储系统的特点,对P2P分布存储系统中海量数据的数据一致性维护技术进行深入研究。取得的主要研究进展如下: P2P分布存储系统中存在大量的数据副本,会加剧副本之间的不一致性和负载不平衡性。针对大量数据副本所带来的资源管理问题,提出一种基于有限编码的多副本分簇管理方法RCLC。在该方法中,根据单副本复制产生新副本的过程,对副本分级和分簇;通过定义“副本级别+副本顺序”的编码规则LCR,对划分后的副本进行编码和组织,并依据编码规则LCR对由于副本的动态调整而引起的簇的动态变化进行有效管理。RCLC方法在大量副本之间建立局域集中、广域对等的管理模式,再结合定义的“最小更新传播时间”,合并局部簇中发布的更新,可以降低大量副本的一致性维护开销。模拟结果表明,RCLC方法能够有效组织大规模的数据副本,具有较好的可扩展性。 海量数据的数据规模和每个数据对象都很大,提高更新传播的性能以及减少空间开销就显得尤为重要。针对P2P分布存储系统中大型数据对象面临的数据一致性维护问题,提出一种可以提高更新传播速度和减少日志空间开销的优化数据一致性维护方法PLCP。在该方法中,利用宿主副本解决更新冲突;会话对象选择算法DAPS基于更新分布和结点本地更新日志信息选择副本的反熵会话对象;分析更新从更新日志中删除的前提条件,并在更新传播过程中所有可能满足前提条件的场合,适当地引入更新日志剪裁,及时地删除过时更新。模拟结果表明,DAPS算法具有较好的自适应性,PLCP方法具有较低的更新传播时间开销和较优的更新传播空间开销。 通过分析发现,数据一致性中的数据相关性问题主要体现在“伪冲突更新”和“更新依赖”两个方面。针对这两个问题,提出一种优化的数据一致性维护方法DACP。在该方法中,数据对象按固定大小分块,并以数据块作为数据管理的基本单位;数据更新利用Bloom filter技术压缩表示,并进行双路径传播;发起方和协商方在一致性维护过程中,分别调用各自的协商算法检测和解决更新冲突;动态数据管理算法调节数据更新过程中的动态数据块变化,对数据块进行合并或分解。数据划分可以在一定程度上消除“伪冲突更新”,而更新协商算法可以解决“更新依赖”问题。模拟测试结果表明,在选取适当范围内的分块大小时,DACP方法具有较好的性能,并给出选定适当分块大小的指导性方法。 在规模巨大且分布性强的P2P系统中,部分更新可能被长时间地延迟,从而降低Internet上资源定位的效率。针对关键属性更新的易描述、更新项较小和弱相关性三个特点,提出一种基于关键属性的优化数据一致性维护方法KACP。方法从用户提交的更新请求中,分离出关于关键属性的更新,采用基于延迟—覆盖的更新传播模型进行更新传播;在对关键更新冲突分类的基础上,运用更新缓冲区和更新日志两层更新协商机制,优化关键更新冲突的发现和解决。在优化处理关键更新之后,系统基于关键属性的资源定位效率不会因为关键属性更新的延迟而降低,满足面向Internet的P2P系统的要求。模拟测试结果表明,KACP方法在资源定位与资源访问开销方面均具有较好的性能。
【学位授予单位】:国防科学技术大学
【学位级别】:博士
【学位授予年份】:2007
【分类号】:TP393.02

手机知网App
【相似文献】
中国期刊全文数据库 前10条
1 陈苗;陈维斌;洪欣;;海量矿业权核查成果数据存储与访问的优化技术研究[J];国土资源信息化;2011年04期
2 朱德新;宋雅娟;;海量数据分析及处理算法实现[J];长春大学学报;2011年08期
3 张缔香;;基于R软件RODBC包的海量企业经营数据分析[J];西部经济管理论坛;2011年02期
4 邵璐;费洪晓;;内存数据库技术在移动实时累加系统中的应用[J];计算机系统应用;2011年08期
5 闫振东;高斌;;一种海量军事信息的数据云管理系统[J];电讯技术;2011年06期
6 宾莉金;沈奇威;;内容管理系统存储层的设计与实现[J];计算机工程与设计;2011年06期
7 曹风兵;吴开贵;吴长泽;;基于Hadoop的校园云计算系统[J];计算机系统应用;2011年06期
8 于巧稚;;用行业管理思路叩响海量数据的大门——专访久其软件董事长兼总经理赵福君[J];中国建设信息;2011年16期
9 王攀;李思昆;蔡勋;曾亮;;栅格划分的二叉区间树节点构造算法[J];计算机辅助设计与图形学学报;2011年07期
10 张永涛;;基于SQL 2005 SSIS技术的分布式海量数据ETL系统[J];电信技术;2011年07期
中国重要会议论文全文数据库 前10条
1 张坜;孙国强;;集装箱运输系统ETL的设计与实现[A];第七届全国信息获取与处理学术会议论文集[C];2009年
2 张丽艳;庄海军;聂军洪;;基于海量数据测量的逆向工程与快速原型集成技术研究[A];特种加工技术——2001年中国机械工程学会年会暨第九届全国特种加工学术年会论文集[C];2001年
3 陈建海;王建弟;李子川;;基于数据仓库的地籍管理信息系统框架设计[A];地理空间信息技术及其应用论坛论文集[C];2005年
4 陈建海;王建弟;李子川;;基于数据仓库的地籍管理信息系统框架设计[A];中国地理信息系统协会第九届年会论文集[C];2005年
5 韩伟红;贾焰;杨树强;;TB级海量数据实时加载技术的研究与实现[A];第八届全国信息隐藏与多媒体安全学术大会湖南省计算机学会第十一届学术年会论文集[C];2009年
6 钟志勇;陈映鹰;;海量遥感数据应用方法初探[A];第十四届全国遥感技术学术交流会论文摘要集[C];2003年
7 陈卓;刘晓平;;关于BISONC程序的交互式数据处理及科学计算的可视化[A];全国第十五届计算机科学与技术应用学术会议论文集[C];2003年
8 李学军;;利用CASS地形图建立MapInfo数据库的探讨[A];2007'全国测绘科技信息交流会暨信息网成立30周年庆典论文集[C];2007年
9 李学军;;利用CASS地形图建立MapInfo数据库的探讨[A];中国测绘学会九届三次理事会暨2007年“信息化测绘论坛”学术年会论文集[C];2007年
10 徐辉;王闯;;主体功能区规划地理信息数据库技术平台建设研究[A];科技创新与节能减排——吉林省第五届科学技术学术年会论文集(上册)[C];2008年
中国重要报纸全文数据库 前10条
1 ;满足海量数据处理[N];网络世界;2004年
2 中兴通讯;云存储铺就海量数据之路[N];通信产业报;2011年
3 本报记者 周源;向海量数据开战[N];网络世界;2010年
4 方正;简化海量数据管理[N];网络世界;2003年
5 朱新亚;管理生物海量数据[N];中国计算机报;2003年
6 郭莹;海量数据更需易用方案[N];中国计算机报;2003年
7 周谷风;德国海量数据处理系统创低能耗纪录[N];中国高新技术产业导报;2010年
8 蒋德丁国锋;江苏海量数据测出“县域法治GDP”[N];法制日报;2008年
9 安徽电力调度通信中心 袁林;征服电力调度海量数据[N];中国计算机报;2005年
10 ;高性能平台上的舞者[N];网络世界;2003年
中国博士学位论文全文数据库 前10条
1 周婧;P2P分布存储系统中海量数据的数据一致性维护技术研究[D];国防科学技术大学;2007年
2 周世杰;对等计算中的分布式路由算法及其安全性研究[D];电子科技大学;2004年
3 钱卫宁;对等计算系统中的数据管理[D];复旦大学;2004年
4 凌波;基于对等计算的信息检索技术[D];复旦大学;2004年
5 詹敏;基于对等计算的企业应用集成系统的研究与实现[D];中国科学院研究生院(软件研究所);2002年
6 王加阳;面向海量数据的粗糙集理论与方法研究[D];中南大学;2005年
7 汪锦岭;面向Internet的发布/订阅系统的关键技术研究[D];中国科学院研究生院(软件研究所);2005年
8 左克;移动对等计算资源定位与分发技术研究[D];国防科学技术大学;2010年
9 徐林昊;对等计算系统中的相似查询处理研究[D];复旦大学;2005年
10 刘德刚;对等计算环境中矢量空间数据索引模型与查询算法研究[D];华中科技大学;2009年
中国硕士学位论文全文数据库 前10条
1 王桂强;海量数据分析处理方法的研究[D];上海交通大学;2010年
2 杨才远;浮标基海量数据高速传输技术研究[D];哈尔滨工程大学;2010年
3 李宇;基于分布式数据库和数据挖掘技术的统计报表系统的分析与设计[D];吉林大学;2006年
4 黄煜;海量数据迁移和报表自动生成的研究和实现[D];上海交通大学;2010年
5 莫映;真三维地理信息系统中海量数据处理技术的应用研究[D];首都师范大学;2004年
6 王璐;MIS系统中集成实时监控系统与三层C/S结构的应用[D];长春理工大学;2002年
7 李文;虚拟天文台环境下的海量数据存储与访问技术研究[D];天津大学;2007年
8 叶冲轶;高维海量数据联合聚类算法的研究与应用[D];浙江工商大学;2010年
9 郭乃明;基于VC++的海洋平台安全保障系统及其数据管理优化设计[D];北京化工大学;2008年
10 杨耀明;海量地形快速绘制技术研究[D];国防科学技术大学;2004年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026