基于web服务的分布式存储系统的研究与实现

【摘要】：大规模的商业网络存储系统为用户提供了不受地域限制的存储服务,为人们的日常生活和工作带来了极大的便利。免费存储服务FSS(Free Storage Service),如电子邮箱(Email)、网络硬盘和FTP等,为个人用户提供了大小受限的网络存储。但由于用户对网络存储的需求不同,FSS的这种固定大小的分配方式不仅无法满足动态变化的用户需求,而且不能有效地利用网络存储空间。 以FSS提供的网络存储为支撑,采用资源共享的方式,设计并实现了能够自适应地满足用户动态存储需求的网络存储系统ppStore。系统统一整合不同FSS接口,实现了各FSS之间的数据传输,集成各个局部FSS的服务能力,提供功能更加强大的存储服务。系统中加入了自适应的FSS管理机制,负责FSS性能参数的自动收集、元数据的智能分析、FSS任务调度和分配等核心功能,使FSS不但具有存储使用权,而且能够完全地控制全局存储分配。系统采用Erasure Codes技术对并行传输文件进行快速分片,并引入P2P覆盖网技术和缓存技术,建立了三层数据访问机制来保证数据的高性能传输。基于元数据的统计分析结果,提出了一种新的决定备份启动的懒惰备份算法,有效地解决了拒绝服务(DOS)问题。 系统测试与仿真实验结果表明,ppStore实现了客户端、缓存服务器、FSS三者相互之间的高性能数据传输机制,通过对FSS合理任务分配和调控,将DOS出现的概率降低到2%,FSS传输速率稳定在500KB/S。同时通过对指令流的聚集和分类预处理,使缓存命中率较传统的过滤缓存系统提高了2倍,降低了主服务器的响应延时,单节点可同时处理13,000用户查询请求。