收藏本站
《国防科学技术大学》 2011年
收藏 | 手机打开
二维码
手机客户端打开本文

对等存储系统数据管理研究

刘志明  
【摘要】:P2P是构建分布式体系结构的主流技术之一,在现实世界已经得到大量普及和应用。P2P存储作为P2P主要研究内容,更成为近年来研究热点之一,其目标是充分利用广域网环境中各种可能的边缘节点进行大规模的协作计算和存储共享。然而由于P2P系统具有开放性、自组织性和高度动态特性,使得对等存储系统运行过程中对用户存在潜在的数据安全性和可用性问题。P2P系统的大多数问题都可归结为数据管理方面的问题,如数据分布与放置、数据检索等,而且这些数据管理问题在后起的云计算系统、社交网络、信息物理融合系统等应用中依然存在。在云计算中,由于资源相对集中,对其管理也可以实现集约化。而P2P因为大量文件或者数据资源分散管理和存储,难以保障资源的可靠性。因此,研究数据管理问题成为解决对等存储系统容错性、可靠性以及节点数据分发和查找的关键。云存储是分布式存储技术与虚拟化技术结合的产物,是分布式存储技术的最新发展,对等技术在这种新的计算模式下依然具有旺盛的活力。 在大规模对等存储系统中,对数据的管理成为整个系统运行生命周期中最核心的问题。本文从整个系统的角度分析和研究对等存储系统的数据管理,包括数据本身以及元数据的管理问题。前者主要涉及到数据副本的管理,而后者则和数据的分发、检索和查找相关,即元数据表示和组织。在以上研究基础上,设计和实现了一个半结构化的对等存储原型系统----石鼓(Scool)。本文在向对等存储系统构建技术进行系统、全面的总结基础之上,就对等存储数据管理问题展开了深入细致的研究,取得了若干创新成果。本文的主要贡献包括以下几方面: (1)设计了一种数据副本数量计算模型。对等存储系统中副本数据管理,涉及数据冗余策略、数据分发以及数据修复等问题。副本冗余是提高数据可用性和并发访问效率的关键技术。本文结合节点的在线率和资源访问的热度设计副本的数量,其绕开了对系统可用性非确定性的计算难点,并且根据数据资源访问的热点频度考虑副本的数量(网络中大量的访问总是针对当前最热门的话题),在提高资源可用性的同时提高数据资源的并发访问速度,减少数据副本一致性维护开销。这种方法根据节点所承担的角色不同采取不同的修复策略,有效的解决了由于P2P系统节点高动态变化所带来的不确定性影响,节省系统整体存储和计算资源,减少系统不同节点数据间一致性维护开销和副本维护带宽占用率,从而较好的适应于对等存储系统的性能需求。 (2)提出了一种兴趣聚集的对等存储系统元数据管理机制。目前展开针对P2P存储系统元数据管理的研究还比较缺乏,本文基于半结构化P2P存储系统,设计了一个基于兴趣的Bloom Filter结构I-BSP2P。其使用基于兴趣聚集、分层的BloomFilters去定位和组织元数据,把对元数据的查询路由到不同的超级节点上。实验表明这种方法具有较好的自适应性和可扩展性,在查询时间、数据迁移损耗等指标上均取得了满意的结果。 (3)设计和实现了一个基于体裁互文性的P2P信息检索模型。目前针对P2P信息检索的研究大多集中在资源搜索机制上面,而P2P存储系统是一个多结构数据存储系统,系统中有多个数据源,数据有各种表示形式,不同的用户对相同的现实世界的实体可能会使用不同的描述数据,有不同的表示,这样必然会产生语义异构的问题。本文首次以语言学中体裁互文性理论为基础,将体裁互文性概念拓展到信息空间任务上下文,解决文档体裁的自动识别问题;同时,用体裁表达文档目标及查询目标,解决传统方法中查询目标用体裁显式表达的困难。这对于P2P信息检索技术的实现和完善有一定借鉴意义,同时为语言学的体裁互文性理论研究提供新视野和方法。着重在三个方面开展研究:第一,任务上下文中体裁互文性基本概念、性质与度量研究,将体裁互文性概念拓展到任务上下文,对其性质进行定量研究,建立互文性强度的度量方法;第二,基于互文性的文档体裁识别研究,根据关系理论提出目的性体裁概念,建立文档体裁自动识别算法;第三,基于任务上下文的体裁查询意图预测遗传算法研究。实验表明本文所设计方法在召回率、平均准确率均值、Bpref这三个P2P信息检索典型评价指标上均取得了较好的效果。
【学位授予单位】:国防科学技术大学
【学位级别】:博士
【学位授予年份】:2011
【分类号】:TP333

手机知网App
【参考文献】
中国期刊全文数据库 前4条
1 余敏;李战怀;张龙波;;P2P数据管理[J];软件学报;2006年08期
2 辛斌;体裁互文性的社会语用学分析[J];外语学刊;2002年02期
3 辛斌;语篇互文性的语用分析[J];外语研究;2000年03期
4 孙克辉,张泰山;基于混沌序列的数据加密算法设计与实现[J];小型微型计算机系统;2004年07期
中国博士学位论文全文数据库 前1条
1 田敬;对等存储系统中的数据可用性与安全性研究[D];北京大学;2007年
【共引文献】
中国期刊全文数据库 前10条
1 山秀明;王磊;任勇;袁坚;宋永华;;互联网复杂性研究进展[J];北京邮电大学学报;2006年01期
2 王嫚;徐惠民;;基于小世界聚类的网格资源查找算法[J];北京邮电大学学报;2006年01期
3 俞桂杰;彭语冰;褚衍昌;;复杂网络理论及其在航空网络中的应用[J];复杂系统与复杂性科学;2006年01期
4 赵红辉;从微观层面看互文性与文学翻译[J];湖南工程学院学报(社会科学版);2005年03期
5 唐九阳;张维明;肖卫东;汤大权;;类人类社会基于社区的对等网自组织构造[J];计算机研究与发展;2006年08期
6 乔兴兰;;广告语篇的互文性探析[J];湖南科技学院学报;2006年07期
7 霍英;陈志刚;苗雪兰;刘安丰;丘志敏;;基于语义网和小世界理论的对等网搜索机制[J];计算机工程;2006年15期
8 凌波;周水庚;周傲英;;P2P信息检索系统的查询结果排序与合并策略[J];计算机学报;2007年03期
9 赵怀勋;甘剑;;一种产生混沌序列的改进算法[J];计算机应用;2005年S1期
10 汪成军;张芳;;基于混沌的一种通信加密新算法[J];计算机与数字工程;2006年02期
中国重要会议论文全文数据库 前8条
1 陈治安;周忠杰;;词典封面广告语篇研究:一种评价视角[A];中国辞书学会双语词典专业委员会第七届年会论文集[C];2007年
2 Xiang Li, Guanrong Chen (Dept. of Automation, Shanghai Jiao Tong University, Shanghai, 200030, P.R. China) (Dept. of Electronic Engineering, City University of Hong Kong, Hong Kong, P.R. China);Controlling the spreading in small-world networks[A];第二十三届中国控制会议论文集(上册)[C];2004年
3 刘强;方锦清;李永;;Synchronization and Control of Halo-Chaos in Beam Transport Network with Small World Topology[A];第三届全国复杂动态网络学术论坛论文集[C];2006年
4 Xiang Li;Sync in Complex Dynamical Networks: Stability, Evolution, Control, and Application (Invited Paper)[A];第三届全国复杂动态网络学术论坛论文集[C];2006年
5 LIU Fuyun*, QI Guoning *Department of Electronic Machinery and Transportation Engineering, Guilin University of Electronic Technology, Guilin 541004,China Institute of Contemporary Manufacturing Engineering, College of Mechanical and Energy Engineering, Zhejiang University, Hangzhou 310027, China;RESEARCH ON EVOLVING RULE OF PART RELATION NETWORK OF PRODUCT FAMILY AND ITS APPLICATION[A];2006年中国机械工程学会年会暨中国工程院机械与运载工程学部首届年会论文集[C];2006年
6 刘慕仁;王静;孔令江;;小世界网络上的手机短信息传播模型[A];科学发展观与系统工程——中国系统工程学会第十四届学术年会论文集[C];2006年
7 黄健;陈国华;肖条军;盛昭瀚;;一类复杂供应链网络的稳定性分析[A];中国优选法统筹法与经济数学研究会第七届全国会员代表大会暨第七届中国管理科学学术年会论文集[C];2005年
8 Tan Hui On;Lee Sze Wei;Sim Moh Lim;;Context-based Intelligent Service Provision[A];TIMNA Workshop 2004 Proceedings[C];2004年
中国博士学位论文全文数据库 前10条
1 王敏毅;面向移动计算环境的分布对象技术[D];电子科技大学;2002年
2 凌波;基于对等计算的信息检索技术[D];复旦大学;2004年
3 杨静;面向远程教学系统的TSC对等资源管理模型及实现技术研究[D];华东师范大学;2005年
4 李春光;复杂网络建模及其动力学性质的若干研究[D];电子科技大学;2004年
5 张书钦;对等网络中信任管理研究[D];哈尔滨工程大学;2005年
6 曾碧卿;分布式计算中并行I/O调度策略研究[D];中南大学;2005年
7 刘安丰;基于QoS的分布式Web服务结构模型及其关键技术研究[D];中南大学;2005年
8 郭敬林;基于随机图理论的负载分配研究[D];西安电子科技大学;2005年
9 袁江;小卫星组网路由方法研究[D];中国科学院研究生院(空间科学与应用研究中心);2006年
10 武建国;当代汉语公共话语中的篇际互文性研究[D];广东外语外贸大学;2006年
中国硕士学位论文全文数据库 前10条
1 梁凯;基于文件分类的对等网络负载均衡优化算法的研究与实现[D];湖南大学;2005年
2 王任;面向校园网的信息资源共享方案的研究[D];湖南大学;2006年
3 张正维;基于相似性原理的网格资源发现新方法[D];四川大学;2005年
4 徐蕾;[D];浙江大学;2002年
5 田颖杰;SWN模型应用于经济与管理领域的基础研究[D];南京航空航天大学;2003年
6 柯晓玲;中国民事判决书意识形态意义的批评语篇分析[D];广东外语外贸大学;2003年
7 谷峪;非典型印刷广告的隐喻实现方式[D];东北师范大学;2003年
8 朱丽英;互文符号翻译方法探析——兼评韦利《论语》英译本[D];陕西师范大学;2003年
9 张众;基于移动agent的动态资源部署研究与实现[D];电子科技大学;2003年
10 陈克勤;浅析获奖英文广告中的互文性[D];广东外语外贸大学;2004年
【二级参考文献】
中国期刊全文数据库 前10条
1 周红,俞军,凌燮亭;混沌前馈型流密码的设计[J];电子学报;1998年01期
2 田东;陈蜀宇;陈峰;;一种网格环境下的动态故障检测算法[J];计算机研究与发展;2006年11期
3 林闯;汪洋;李泉林;;网络安全的随机模型方法与评价技术[J];计算机学报;2005年12期
4 苗胜,张新家,曹卫兵,张开来,戴冠中;硬盘数据加密系统的设计及其FPGA实现[J];计算机应用研究;2004年10期
5 刘进,王永杰,张义荣,鲜明,肖顺平;层次分析法在网络攻击效果评估中的应用[J];计算机应用研究;2005年03期
6 应英,周锋,周昌乐;汉语情感意义的机器标注研究初探[J];中文信息学报;2002年02期
7 胡俊峰 ,俞士汶;唐宋诗中词汇语义相似度的统计分析及应用[J];中文信息学报;2002年04期
8 李良炎,何中市,易勇;基于词联接的诗词风格评价技术[J];中文信息学报;2005年06期
9 刘岩斌,俞士汶,孙钦善;古诗研究的计算机支持环境的实现[J];中文信息学报;1997年01期
10 穗志方,俞士汶,罗凤珠;宋代名家诗自动注音研究及系统实现[J];中文信息学报;1998年02期
【相似文献】
中国期刊全文数据库 前10条
1 王忠伟;;地理信息系统与油田规划设计[J];石油规划设计;1992年02期
2 霍军;;数据管理带着走——谈UltraLite嵌入式数据库解决方案[J];每周电脑报;1998年48期
3 燕蜻;信息系统中的数据组织和管理[J];生产力研究;2002年04期
4 石晓华;从数据管理“下手”[J];中国计算机用户;2002年05期
5 任荣;EMDBS的数据管理技术[J];信息技术;2005年07期
6 李雪迎,康晓平,姚晨;临床试验研究数据库数据结构的选择[J];中国临床药理学与治疗学;2005年09期
7 王谦;;配方管理及原材料消耗计算系统[J];轮胎工业;2006年11期
8 余燕芳;;基于SAN技术的企业服务器存储技术改进案例分析[J];中国科技信息;2007年03期
9 任廷;周健;陆金山;樊静;;传感器网络中基于任播的随机抽样数据管理算法[J];合肥工业大学学报(自然科学版);2007年03期
10 吴飞;;基于配变监测系统的数据管理平台应用分析[J];江苏电机工程;2007年05期
中国重要会议论文全文数据库 前10条
1 朱洁华;徐继业;李旦东;;上海市高等级公路气象信息系统[A];第二届长三角气象科技论坛论文集[C];2005年
2 曹保江;王英;曾欣荣;;基于统一平台的电工电子教学实验系统的设计与应用[A];第6届全国高等学校电气工程及其自动化专业教学改革研讨会论文集(下册)[C];2009年
3 王兴国;喻天祥;;PDM系统中的物量数据管理[A];2011年CAD/CAM学术交流会议论文集[C];2011年
4 刘德培;;医药卫生科学数据管理和共享服务系统[A];首届中国IT与医药卫生高层论坛论文集[C];2004年
5 王红;王少梅;;门座起重机总体CAD软件数据分析及管理[A];中国的经济建设与21世纪的物料搬运技术——中国机械工程学会物料搬运分会第五届学术年会论文集[C];1996年
6 肖凡;罗平涛;王进圣;;优质鸡育种数据管理与分析系统应用[A];中国家禽科学研究进展——第十四次全国家禽科学学术讨论会论文集[C];2009年
7 蒋秀琴;单德华;;数字遥测地震台网数据管理与服务系统[A];中国地震学会第九次学术大会论文摘要集——纪念李善邦先生百年诞辰[C];2002年
8 王晔;;微型断路器自动测试台的设计与应用技术[A];先进制造技术论坛暨第五届制造业自动化与信息化技术交流会论文集[C];2006年
9 谭文立;陈广陆;宋东峰;;非连续累计自动秤使用经验谈[A];称重科技暨第六届称重技术研讨会论文集[C];2007年
10 倪晓明;;攀钢电讯计费管理系统改造设计[A];四川省通信学会1999年学术年会论文集[C];1999年
中国重要报纸全文数据库 前10条
1 本报记者  林风华 本报实习记者 希思;数据管理应用市场步入成长期[N];中国工业报;2006年
2 李蒙生;数据管理年会落下帷幕 同方知网软件喜获殊荣[N];中国电脑教育报;2007年
3 高广成;城市商业银行信息化建设走向数据管理[N];金融时报;2004年
4 中国人民保险公司信息技术部规划处处长 房立建;数据管理关键在标准化[N];计算机世界;2001年
5 本报记者 龚杰;应用为“王” 合作“共赢”[N];计算机世界;2002年
6 荣辉;新型数据管理助力企业竞争[N];科技日报;2006年
7 江西财经职业学院 凌平 刘光强;七步骤帮助CIO提高数据管理效率[N];中国计算机报;2009年
8 田梦;数据管理走向数据服务[N];计算机世界;2007年
9 ;惠普推出新型数据管理方案[N];人民邮电;2005年
10 本报记者 刘箐箐;Informatica力推大数据管理[N];计算机世界;2011年
中国博士学位论文全文数据库 前10条
1 刘志明;对等存储系统数据管理研究[D];国防科学技术大学;2011年
2 邵明义;中药新药临床试验数据管理系统的设计及应用研究[D];成都中医药大学;2009年
3 赖邦传;数据驱动的综合智能决策支持系统及其生成器的研究与开发[D];中南大学;2005年
4 梁玉尧;IMIRS软件包研制与在CPV三维结构研究中的应用[D];中山大学;2002年
5 孔兰菊;SaaS应用交付平台中多租户云数据管理关键技术研究[D];山东大学;2011年
6 徐超;面向大型工程健康监测的无线传感器网络基本理论和关键技术研究[D];武汉理工大学;2007年
7 左维;基于XML/Web Services的月球探测数据管理与集成技术研究[D];中国科学院研究生院(地球化学研究所);2004年
8 朱岩;基于闪存的星载高速大容量存储技术的研究[D];中国科学院研究生院(空间科学与应用研究中心);2006年
9 李贵林;无线传感器网络数据存储与查询处理算法的研究[D];哈尔滨工业大学;2009年
10 陈志扬;群体药代/药效动力学数据管理和分析的方法学研究[D];南京医科大学;2007年
中国硕士学位论文全文数据库 前10条
1 陈克建;校园网格中数据管理的研究和实现[D];南京工业大学;2005年
2 傅迎春;产品数据管理(PDM)关键技术研究[D];浙江大学;2002年
3 孙亚林;临床数据管理系统研究及其在数据规范化管理中的应用[D];第二军医大学;2005年
4 吴健;面向病人全生命周期医疗信息系统的数据管理[D];山东大学;2005年
5 赵源;数据管理技术在网管系统中的应用研究[D];中国人民解放军信息工程大学;2005年
6 屈进红;航空物探数据库应用系统模块开发[D];成都理工大学;2007年
7 王丽娟;基于网络的电器产品协同设计[D];河北工业大学;2007年
8 张可;家居服务器应用支撑层数据管理中心的研究与实现[D];南京理工大学;2007年
9 秦鹏;山东省地质灾害数据管理与发布系统[D];山东大学;2007年
10 王佳;广域网存储服务数据管理中副本策略研究[D];华中科技大学;2007年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026