收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于web服务的分布式存储系统的研究与实现

兰晨  
【摘要】:大规模的商业网络存储系统为用户提供了不受地域限制的存储服务,为人们的日常生活和工作带来了极大的便利。免费存储服务FSS(Free Storage Service),如电子邮箱(Email)、网络硬盘和FTP等,为个人用户提供了大小受限的网络存储。但由于用户对网络存储的需求不同,FSS的这种固定大小的分配方式不仅无法满足动态变化的用户需求,而且不能有效地利用网络存储空间。 以FSS提供的网络存储为支撑,采用资源共享的方式,设计并实现了能够自适应地满足用户动态存储需求的网络存储系统ppStore。系统统一整合不同FSS接口,实现了各FSS之间的数据传输,集成各个局部FSS的服务能力,提供功能更加强大的存储服务。系统中加入了自适应的FSS管理机制,负责FSS性能参数的自动收集、元数据的智能分析、FSS任务调度和分配等核心功能,使FSS不但具有存储使用权,而且能够完全地控制全局存储分配。系统采用Erasure Codes技术对并行传输文件进行快速分片,并引入P2P覆盖网技术和缓存技术,建立了三层数据访问机制来保证数据的高性能传输。基于元数据的统计分析结果,提出了一种新的决定备份启动的懒惰备份算法,有效地解决了拒绝服务(DOS)问题。 系统测试与仿真实验结果表明,ppStore实现了客户端、缓存服务器、FSS三者相互之间的高性能数据传输机制,通过对FSS合理任务分配和调控,将DOS出现的概率降低到2%,FSS传输速率稳定在500KB/S。同时通过对指令流的聚集和分类预处理,使缓存命中率较传统的过滤缓存系统提高了2倍,降低了主服务器的响应延时,单节点可同时处理13,000用户查询请求。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 ;廉价、高效、稳定 微软新一代分布式存储系统[J];新电脑;2006年06期
2 陈崚,殷新春;并行程序设计中的消息传递机制[J];扬州大学学报(自然科学版);2001年04期
3 杨彧剑;林波;;分布式存储系统中一致性哈希算法的研究[J];电脑知识与技术;2011年22期
4 田荣华;卢显良;侯孟书;王晓斌;;P2P分布式存储系统[J];计算机科学;2007年06期
5 王文丰;;一种基于遗传算法的副本优化问题求解方法[J];科技经济市场;2011年05期
6 刘翔;汪海玲;;分布式存储中的一种数据放置策略[J];计算机与数字工程;2009年05期
7 朱庆;周艳;;分布式空间数据存储对象[J];武汉大学学报(信息科学版);2006年05期
8 黎平国;陈路平;陈红琴;蒋若珊;;基于P2P的数字图书馆资源分布式存储方案[J];科技广场;2009年05期
9 朱恒业;付丹丹;;基于分布式存储的数字图书馆系统[J];电脑学习;2011年01期
10 苏勇;周敬利;姜明华;刘钢;;分布式存储系统中元数据系统的研究与设计[J];计算机工程与应用;2006年20期
11 龚星耀;张强;姜志宽;;基于对等网络的分布式存储系统的设计与实现[J];现代电子技术;2008年16期
12 王宁;林雪红;林家儒;;网络编码的分布式存储系统理论分析[J];北京邮电大学学报;2009年03期
13 马黎艳;;基于JXTA的分布式存储系统的设计[J];中国校外教育;2009年06期
14 李赵兴;徐家宁;杨建雄;;基于JXTA的P2P分布式存储系统的研究[J];江西科学;2009年05期
15 尹传实,李立文,郭从良;数字视频采集及存储系统设计[J];计算机工程与应用;2004年02期
16 吴英;刘璟;;基于Internet的分布式存储访问模型研究[J];计算机工程;2006年19期
17 邵鹰;刘业;;SPIS-DSS:一种基于Chord的分布式存储系统[J];东南大学学报(自然科学版);2007年04期
18 梁铖华;;局域网中分布式存储系统的设计与实现[J];科技情报开发与经济;2007年35期
19 姜英豪;云晓春;余翔湛;;基于RS和Chord的分布式存储系统的设计[J];微计算机信息;2009年09期
20 徐志成;张毅;伍民友;;基于服务成本和对用户价值的分布式存储系统机制设计[J];计算机应用与软件;2009年12期
中国重要会议论文全文数据库 前4条
1 赵辉;何连跃;;基于异构分布式存储系统的动态反馈负载均衡技术[A];第15届全国信息存储技术学术会议论文集[C];2008年
2 周天彤;薛磊;郑东;童天浩;;基于Reed-Solomon编码的容灾存储系统性能分析[A];第十一届保密通信与信息安全现状研讨会论文集[C];2009年
3 周松;王意洁;;EXPyramid:一种灵活的基于阵列结构的高容错低修复成本编码方案[A];2010年第16届全国信息存储技术大会(IST2010)论文集[C];2010年
4 刘群;冯丹;;基于层次结构的元数据动态管理方法的研究[A];第15届全国信息存储技术学术会议论文集[C];2008年
中国博士学位论文全文数据库 前9条
1 王禹;分布式存储系统中的数据冗余与维护技术研究[D];华南理工大学;2011年
2 刘霖;分布式存储系统中的能耗管理策略研究[D];华南理工大学;2013年
3 万亚平;基于P2P的分布式存储系统可靠性及故障检测研究[D];华中科技大学;2010年
4 黄震;大规模分布式存储系统中数据冗余技术研究[D];国防科学技术大学;2012年
5 姚杰;分布式存储系统文件级连续数据保护技术研究[D];华中科技大学;2009年
6 宋玮;分布式存储系统中的节点自主性问题研究[D];华南理工大学;2010年
7 牛中盈;并行文件系统安全性研究[D];华中科技大学;2010年
8 王宁;网络编码在无线通信中的应用研究[D];北京邮电大学;2009年
9 吴伟;海量存储系统元数据管理的研究[D];华中科技大学;2010年
中国硕士学位论文全文数据库 前10条
1 王秀芬;对等网络分布式存储系统的研究[D];天津大学;2010年
2 王伟娜;分布式存储系统中容错子系统的设计与实现[D];东北大学;2008年
3 张凯;分布式存储系统中节点修复问题研究[D];西南交通大学;2012年
4 冯光曦;分布式存储系统安全关键技术研究与实现[D];华中科技大学;2011年
5 刘飞;基于云计算的分布式存储系统的研究和应用[D];西安工业大学;2012年
6 张明;基于网络编码的一种分布式存储系统应用设计[D];南京理工大学;2013年
7 孙程;基于纠删码的分布式存储系统的设计与实现[D];电子科技大学;2010年
8 刘伯睿;海量数据小文件分布式存储系统的设计与实现[D];湖南大学;2013年
9 廖和敏;网络编码在分布式存储系统中运用的研究[D];西南交通大学;2014年
10 舒敏;分布式数据存储机制与优化方法研究[D];西安电子科技大学;2013年
中国重要报纸全文数据库 前5条
1 本报记者 黄伟敏;带给你惊喜和快乐[N];计算机世界;2002年
2 ;云计算的退出策略[N];网络世界;2009年
3 ;谷歌翻译:凭什么更酷更聪明[N];中国电脑教育报;2011年
4 苗子墨;迅雷离线下载的诱惑[N];电脑报;2010年
5 本报记者 戈清平;云计算加速落地 云存储成“下一个金矿”[N];中国高新技术产业导报;2011年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978