收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于动态副本机制的web文件系统

房珅  
【摘要】:随着web2.0时代的到来以及智能手机的普及,非结构化数据的生产变得容易,网络数据规模因此逐渐增大。网络应用通常采用web文件系统对大量的网络文件进行管理。在web文件系统中,网络文件被分散在不同的主机上,但是不同文件的访问频度却不尽相同,因此造成不同主机之间的负载不均衡现象,同时用户体验也随之降低。如何充分利用网络主机资源,降低负载不均衡现象,提高服务质量成为新的研究方向。本文提出改进的基于动态副本机制的web文件系统。通过动态副本技术动态的分配服务器资源,为访问量多的文件提供更多副本,一定程度做到负载均衡并提升系统性能,提高用户体验。主要内容如下:本文首先对动态副本技术进行了分析并根据应用场景进行优化。针对动态副本技术中的热点文件发现算法进行讨论,分析了算法在性能上的不足,以减少算法内存开销与降低运算复杂度为目的,通过分组机制、分散统计等办法对算法进行了优化。此外对动态副本技术中的调度策略进行说明,在工程中明确了主机角色,提出削弱两极负载差异的调度策略。然后将改进后的动态副本技术应用于web文件系统中。由于动态副本机制需要统计文件的访问频度并需要对副本作出调整,所以本文结合web开发技术在系统架构、系统元数据、系统调度策略,热点文件发现算法等方面给出了具体的设计方案。然后在web文件系统中,对过滤器,调度逻辑,业务逻辑等进行了编程实现。最后将改进后的web文件系统进行部署,并通过编写简单的测试工具完成了系统测试。通过测试发现,改进后的web文件系统能够支持动态副本机制,可以根据访问情况对文件副本做出调整,提升了系统性能。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 徐莺,李永宁,曾曦;网络视频监控系统中文件系统的设计与实现[J];现代计算机(专业版);2002年12期
2 刘可嘉;梁阿磊;;实现实时FAT文件系统的一种简单方法[J];计算机工程与应用;2008年16期
3 卢萍;陈进才;;一种基于对象存储的文件系统的设计[J];计算机科学;2008年10期
4 李涛;梁洪亮;;具有事件恢复功能的文件系统的研究与实现[J];计算机科学;2009年03期
5 冯新国,徐秋元;基于文件系统的封锁机制[J];计算机工程与应用;1995年05期
6 高天真,卞立平;三种文件系统之剖析[J];市场与电脑;1998年12期
7 符碧丹,倪晓明;群集环境下的直接文件系统访问[J];四川通信技术;2001年02期
8 刺猬;文件系统全面介绍[J];电脑爱好者;2001年09期
9 ;文件、文件系统、文件库[J];电子科技文摘;2001年09期
10 曲东才;光盘文件系统标准[J];电脑技术;2002年09期
11 刘一鸣;文件系统浅谈[J];晋中师范高等专科学校学报;2002年02期
12 蔡永华,石金芝;文件系统面面观[J];承德民族师专学报;2003年02期
13 杨曙锋,严功军;智能分布式并行文件系统的研究与实现[J];福建电脑;2003年07期
14 赫志勇 ,邱智亮 ,刘焕峰;闪存文件系统在网络通信设备中的实现与应用[J];电子设计应用;2003年07期
15 张天伍,赵小雨;常用文件系统的比较及转换[J];郑州航空工业管理学院学报;2003年02期
16 魏文国,谢赞福,陈潮填,陈国华;并行文件系统的关键技术与框架设计[J];计算机工程;2004年13期
17 张虎,伍卫国,董小社,钱德沛;一种适用于并行文件系统的高可用机制[J];西安交通大学学报;2005年10期
18 蒋金虎,陈左宁,黄文政;全局文件系统的设计与实现[J];计算机工程;2005年01期
19 罗威;阳富民;;嵌入式FAT文件系统修复工具的设计与实现[J];计算机工程与设计;2006年03期
20 王德飞;周红明;;Windows Server 2003文件系统的安全研究[J];玉溪师范学院学报;2006年03期
中国重要会议论文全文数据库 前10条
1 谢菲;钱曙霞;;并行文件系统技术在新华社奥运报道系统中的实现及应用[A];中国新闻技术工作者联合会2008年学术年会论文集(上)[C];2008年
2 冯新国;陶志成;;基于文件系统的封锁机制[A];第十一届全国数据库学术会议论文集[C];1993年
3 仇建伟;郑红;;适用于视频文件系统的有效调度方法[A];中国图象图形科学技术新进展——第九届全国图象图形科技大会论文集[C];1998年
4 王永瑞;熊剑平;;基于CF卡的特定FAT文件系统的软硬件设计与实现[A];2008中国仪器仪表与测控技术进展大会论文集(Ⅲ)[C];2008年
5 高杰;陆应华;陈世文;;基于文件过滤驱动的信息保护研究[A];教育部中南地区高等学校电子电气基础课教学研究会第二十届学术年会会议论文集(下册)[C];2010年
6 卢雪山;戴华东;颜跃进;;Ext文件系统检测和修复工具的研究与改进[A];2010年第16届全国信息存储技术大会(IST2010)论文集[C];2010年
7 郑思;杨尹;;Checksum技术在文件系统中应用的研究[A];全国第20届计算机技术与应用学术会议(CACIS·2009)暨全国第1届安全关键技术与应用学术会议论文集(下册)[C];2009年
8 汪黎;章文嵩;杨学军;;Cfslight:一个新型的轻量级对象存储集群文件系统[A];2006年全国开放式分布与并行计算学术会议论文集(一)[C];2006年
9 魏环宇;阳国贵;;一个基于数据库的文件系统(XFS)的设计与实现[A];2008通信理论与技术新进展——第十三届全国青年通信学术会议论文集(上)[C];2008年
10 沈志荣;薛矛;薛巍;舒继武;;Corslet安全文件系统的分析和优化[A];2010年第16届全国信息存储技术大会(IST2010)论文集[C];2010年
中国博士学位论文全文数据库 前10条
1 陈杰;本地文件系统数据更新模式研究[D];华中科技大学;2014年
2 谈华芳;基于共享对象存储设备的并行文件系统研究[D];中国科学院研究生院(计算技术研究所);2005年
3 夏鹏;文件系统语义分析技术研究[D];华中科技大学;2011年
4 熊劲;大规模机群文件系统的关键技术研究[D];中国科学院研究生院(计算技术研究所);2006年
5 刘立坤;海量文件系统元数据查询方法与技术[D];清华大学;2011年
6 涂旭东;基于对象的并行文件系统接口语义扩展研究[D];华中科技大学;2011年
7 孙凝晖;可扩展I/O的研究和参考实现[D];中国科学院研究生院(计算技术研究所);1999年
8 徐虎;基于SAN的安全单映像Cluster文件系统关键技术的研究[D];国防科学技术大学;2003年
9 常青;瘦型服务器及个人/家庭事务处理应用研究[D];太原理工大学;2011年
10 李庆虎;基于P2P架构的网格文件系统研究[D];清华大学;2004年
中国硕士学位论文全文数据库 前10条
1 刘佩;基于纠删码技术的HD_EC文件系统的设计与实现[D];曲阜师范大学;2015年
2 罗思斌;嵌入式Linux支持exFAT文件系统研究及移植[D];电子科技大学;2014年
3 陶涛;隐私信息保护系统的设计与实现[D];电子科技大学;2014年
4 毕宇;注册表文件系统的设计与实现[D];电子科技大学;2014年
5 丘文未;基于软硬件协同设计的闪存存储系统关键技术研究与实现[D];国防科学技术大学;2013年
6 赖尚校;基于ARM的嵌入式闪存驱动与UBIFS文件系统的分析与实现[D];浙江工业大学;2014年
7 王维;基于Linux的手持式UHF RFID读写器设计[D];济南大学;2015年
8 宋亚利;Btrfs文件系统自动化测试工具的设计与实现[D];吉林大学;2015年
9 梁钟丽;基于嵌入式平台的文件系统研究[D];大连海事大学;2016年
10 李吉乐;Linux文件系统性能优化技术的研究[D];中国石油大学(华东);2014年
中国重要报纸全文数据库 前10条
1 谷治平;文件系统———结合实际重在内容[N];中国医药报;2003年
2 江苏 王志军;磁盘的文件系统[N];电脑报;2001年
3 张群英;超级文件系统规模再突破[N];网络世界;2006年
4 ;施乐公司推出顶级数码工程文件系统[N];网络世界;2000年
5 凡妮;IBM TotalStorage SAN文件系统实现数据共享[N];电脑商报;2004年
6 ;共享单一文件系统[N];网络世界;2005年
7 黑龙江 马宪廷;玩转文件系统格式转换[N];电脑报;2003年
8 记者 杨婧瀚;管道公司召开电子文件系统启动视频会[N];石油管道报;2007年
9 乐天编译;近距离观看Snow Leopard Server[N];计算机世界;2008年
10 ;集群储存技术解决“大”问题[N];计算机世界;2004年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978