收藏本站
《山东大学》 2011年
收藏 | 手机打开
二维码
手机客户端打开本文

基于负载均衡的存储架构研究与应用

刘浩  
【摘要】:社会信息化程度的急速发展,使得数据正成几何级的数量爆炸性的产生,从而对存储提出的更高、更多的要求。虽然现在磁盘存储容量在不断的增加,但面对爆炸性的数据增长,本地磁盘的存储方案已经体现出了的局限性。随着云计算概念的提出,存储即服务(Storage as a Service)的SaaS模型和云存储的概念也得到了广泛的发展和应用。以硬件冗余、自动故障切换、海量并行扩容、负载均衡及易于管理为标志的云存储的到来使得大规模的廉价的存储成为了可能。云存储中核心的技术便是虚拟化技术,包括有设备虚拟化、服务虚拟化等。存储的虚拟化是实现云存储的关键步骤。 本文在借鉴成熟的存储架构(如DAS、NAS、SAN、OBS等)的基础上,通过实践找到一种适合云计算形态的存储形式,并将这种存储体系在云的状态下进行部署应用。现行主流的存储架构都有着各自的优缺点,某些架构是在特定的应用环境下发展建立起来的。例如DAS (Direct-Attached Storage)采用电缆直接到服务器的,I/O请求直接发送到存储设备,但其在备份、恢复、扩展、灾备等方面存在着突出的问题;SAN(Storage Area Network)技术是一种利用FC (Fiber Channel)等互连协议连接起来的,传输效率很高,但实施成本非常高。NAS(Network-Attached Storage)以文件作为基础,建立专用于数据存储的存储私网,NAS主要将目光集中于应用、用户、文件及其共享上。 与主流的存储架构相比,基于虚拟存储的云存储会具有明显的优越性:虚拟存储提供了一种大容量存储系统集中管理的手段,采用统一的环节对整个虚拟存储网络中的节点进行管理,避免了设备扩充等带了的管理麻烦,在虚拟存储中,扩容仅仅是管理员对新加设备的节点挂接,对整个系统的运行没有影响;虚拟存储大大提高了存储系统的整体访问带宽,存储系统是有多个的存储模块构成,而虚拟存储良好的负载均衡能力会使得数据的写入与访问更加平衡,性能大幅的提高;虚拟存储使得存储资源的管理更加灵活,不论是在副本管理还是元数据管理方面,虚拟存储都提供了良好的支持。 本文通过建立三级虚拟化层次以组织一个自物理层至用户层的虚拟存储空间。借鉴引入成熟架构中的关键技术,并整合利用了一些开源项目组贡献的相关中间件,建立起本文中描述的通用虚拟存储体系。该虚拟存储架构在设计之初特别注重了存储体系对用户的透明性,对终端用户而言,存储空间在理论上是无限的,数据在云端是安全且易用使用的。本文致力于在普通商用网络上建立大规模分布式的安全存储网络。通过加入了规则的概念实现了虚拟存储系统的灵活控制和管理,并在实现过程中根据实际需求加入了在文件读取两方面的负载均衡控制。 另一方面,随着软件即服务的SaaS应用模式已经被广泛的接受和应用。这种按需定制、多租户、灵活可配置的模式为用户提供了极大的方便。在云计算成为大势所趋的背景之下,SaaS甚者PaaS的应用模式的应用必然会愈发普遍。本文在提出虚拟存储架构的基础上,同时从虚拟存储的SaaS应用模式角度进行了研究和阐述。我们利用项目组在柔性按需配置的PaaS平台研究中的相关工作设计实现了相关的原型系统在实际应用中进行了实践。
【学位授予单位】:山东大学
【学位级别】:硕士
【学位授予年份】:2011
【分类号】:TP333

手机知网App
【引证文献】
中国硕士学位论文全文数据库 前4条
1 邱汉彬;基于云存储的空间批租业务技术架构研究及原型验证[D];华南理工大学;2012年
2 时磊;电力企业信息业务整合的研究与实现[D];山东大学;2012年
3 程意;基于Portal的异构数据传输与控制机制的研究与实现[D];哈尔滨工程大学;2012年
4 王前波;企业可扩展的云存储技术研究[D];中北大学;2013年
【参考文献】
中国期刊全文数据库 前10条
1 陈文明;刘本军;;虚拟存储中的置换算法[J];电脑知识与技术(学术交流);2007年07期
2 金海,官象山,吴松,谢超;分布式存储系统中文件传输优化的设计与实现[J];华中科技大学学报(自然科学版);2005年01期
3 孟岩;;从网格计算到云计算[J];程序员;2009年04期
4 白翠琴;王建;李旭伟;;存储虚拟化技术的研究与比较[J];计算机与信息技术;2008年07期
5 李冬,汪东升,王耀才;一种QoS保证的存储虚拟化策略[J];计算机工程与应用;2005年11期
6 刘朝斌;谢长生;黄建忠;;一种基于非对称结构的虚拟存储网络的实现[J];计算机科学;2004年06期
7 余胜生;季文彬;周敬利;曾东;;一种iSCSI存储管理系统的研究与实现[J];计算机工程;2007年23期
8 罗斌;李树友;宋斌恒;;一种SAN存储虚拟化的实现方案[J];计算机应用研究;2006年03期
9 刘康珍;杨格兰;张杰良;肖和平;;基于并行遗传算法的分布式VOD系统负载均衡研究[J];计算机应用与软件;2009年09期
10 熊伟;谢冬青;焦炳旺;刘洁;;一种结构化P2P协议中的自适应负载均衡方法[J];软件学报;2009年03期
中国重要会议论文全文数据库 前1条
1 侯杰;刘士军;孟祥旭;;支持应用服务自组织的Portal用户界面模型研究[A];第三届和谐人机环境联合学术会议(HHME2007)论文集[C];2007年
【共引文献】
中国期刊全文数据库 前10条
1 魏祥麟;陈鸣;张国敏;;一种综合的结构化P2P系统负载均衡机制[J];北京邮电大学学报;2012年03期
2 龚强;;云计算及其在地理信息工程中的应用[J];测绘与空间地理信息;2012年01期
3 陈其铭;张宇;林荣;;虚拟存储技术及其现状分析[J];电脑知识与技术;2009年02期
4 谈卓群;王常刚;;中小企业iSCSI网络存储的实现[J];电脑知识与技术;2009年05期
5 焦磊;;利用V-Switch实现存储资源的集中化管理和平滑升级[J];电脑知识与技术;2011年35期
6 刘亮;;基于虚拟化与分布式技术的云存储研究[J];电脑知识与技术;2012年11期
7 孟宪福;陈晓令;;结构化P2P网络热点负载动态迁移策略[J];电子学报;2011年10期
8 欧阳钟辉;洪燕冰;;企业信息化数据存储架构设计研究[J];福建电脑;2008年06期
9 龚强;;构建测绘地理信息行业云初探[J];测绘与空间地理信息;2013年01期
10 郝杰;;在云端的学习――基于第三方“云”的高校教学资源网研究[J];成功(教育);2013年16期
中国重要会议论文全文数据库 前1条
1 罗贺;汪永康;胡笑旋;孙锦波;;基于负载均衡的云服务资源配置策略研究[A];“两型社会”建设与管理创新——第十五届中国管理科学学术年会论文集(上)[C];2013年
中国博士学位论文全文数据库 前10条
1 张宇翔;对等网络中Churn问题分析与研究[D];北京交通大学;2010年
2 曾文英;面向移动环境的数据存储管理方法关键技术研究[D];华南理工大学;2011年
3 梁鸿;基于地震资料处理的计算网格技术的研究[D];中国石油大学;2008年
4 杨光;容灾存储系统故障检测技术研究[D];华中科技大学;2008年
5 刘素平;基于智能策略的网络自管理模型及应用研究[D];东华大学;2008年
6 戴锦友;电信级以太网的传送技术和资源优化管理算法研究[D];华中科技大学;2009年
7 陆峰;对等网关键技术研究[D];北京邮电大学;2010年
8 张世栋;对等网络文件共享服务的优化技术研究[D];北京邮电大学;2012年
9 赵秀梅;对等网络路由优化及相关技术研究[D];山东师范大学;2013年
10 马文明;基于局部网络信息的贪婪式P2P资源定位技术研究[D];北京邮电大学;2013年
中国硕士学位论文全文数据库 前10条
1 姜小平;CDN与P2P混合网络中Peer节点负载均衡研究[D];电子科技大学;2011年
2 贾晓倩;基于相似性的P2P网络资源发现策略研究[D];山东师范大学;2011年
3 程西;数字油田中非结构化数据管理系统的设计与实现[D];西北大学;2011年
4 林伟兵;智能网络存储系统(INSS)存储虚拟化技术研究[D];华南理工大学;2011年
5 陈蹊;智能网络存储系统(INSS)中存储节点技术研究[D];华南理工大学;2011年
6 成旻;基于虚拟化技术的呼叫中心构建与实现[D];北京邮电大学;2011年
7 吴媛媛;基于DHT的对等网络内容搜索技术的研究[D];哈尔滨工业大学;2010年
8 陈亮;基于带外控制的虚拟存储系统实现与应用研究[D];上海交通大学;2011年
9 卞建军;P2P视频点播系统中服务节点数据调度策略研究[D];苏州大学;2011年
10 刘胜旺;基于IPv6的VoD技术的研究[D];沈阳工业大学;2012年
【同被引文献】
中国期刊全文数据库 前10条
1 王利;;企业OA系统的研究与开发[J];办公自动化;2008年08期
2 隋菱歌;殷树友;黄岚;;SOAP协议在XML数据传输中的应用[J];长春大学学报;2006年08期
3 李存斌,董福贵,陈永权,谭忠富,郭晓鹏;电力市场信息系统结构与应用整合平台[J];电力系统自动化;2004年20期
4 孙珂;沈沉;梅生伟;王继业;;基于网格技术的电力企业信息资源整合方案[J];电网技术;2007年22期
5 张云勇;陈清金;潘松柏;魏进武;;云计算安全关键技术分析[J];电信科学;2010年09期
6 陶彩霞;陈康;郝颖;;云计算在电信支撑系统领域的应用分析[J];电信科学;2010年10期
7 高飞,李云雄;基于Web Services架构的企业应用集成[J];电力信息化;2004年04期
8 刁柏青,步万峰;构建集中统一的电网集团数据中心[J];电力信息化;2004年10期
9 李晓娥;;供电企业信息资源的整合[J];电力信息化;2005年04期
10 潘坚跃;;应用CIM模型进行系统集成[J];电力信息化;2005年06期
中国博士学位论文全文数据库 前1条
1 陶佳;电力企业生产信息集成理论及应用研究[D];浙江大学;2007年
中国硕士学位论文全文数据库 前10条
1 王涛;基于SSIS的数据起源追踪系统研究与实现[D];国防科学技术大学;2010年
2 葛新;基于云计算集群扩展中的调度问题研究[D];中国科学技术大学;2011年
3 徐成闻;基于私有云计算平台的桥梁监测系统的应用[D];西安科技大学;2011年
4 张凡;基于J2EE技术校园信息系统的开发及Portal实现[D];武汉理工大学;2005年
5 杨剑;基于XML的异构数据交换系统的研究与实现[D];西南交通大学;2005年
6 陈刚;用Xpath和XSLT查询XML文档[D];四川大学;2005年
7 赵俊锋;基于XML的异构数据集成研究及应用[D];国防科学技术大学;2005年
8 李中福;计算机集群技术应用研究[D];中国地质大学(北京);2006年
9 蒋慧;基于BPM的发电企业信息集成平台研究[D];东南大学;2006年
10 富亚洲;电力企业信息系统数据和应用整合平台的研究[D];中国电力科学研究院;2006年
【二级引证文献】
中国硕士学位论文全文数据库 前1条
1 王斌;面向中小企业SaaS应用的IaaS平台设计与实现[D];西北大学;2013年
【二级参考文献】
中国期刊全文数据库 前10条
1 张剑,肖正文;“虚拟存储”管理技术中的淘汰算法[J];安徽教育学院学报;2001年06期
2 谢川;虞勤;;虚拟存储及应用分析[J];电脑知识与技术(学术交流);2007年03期
3 蒋冬初,林亚平;遗传算法并行机理分析[J];海南大学学报(自然科学版);2004年04期
4 庞丽萍,王志平,吴松,肖侬;广域存储虚拟化的数据访问控制模型研究[J];华中科技大学学报(自然科学版);2004年01期
5 庞丽萍,陈勇,吴松,肖侬;数据网格环境下的一种动态备份模型[J];华中科技大学学报(自然科学版);2004年04期
6 庞丽萍,周润松,吴松,张勇;基于LDAP的广域网存储虚拟化目录管理[J];华中科技大学学报(自然科学版);2004年05期
7 李振宇;谢高岗;;基于DHT的P2P系统的负载均衡算法[J];计算机研究与发展;2006年09期
8 余胜生,杨光,周敬利,曾东;基于iSCSI的网络级存储虚拟化研究及实现[J];计算机工程与应用;2004年14期
9 郑海洋,宿红毅,李毅;分布式视频点播网络统计调度策略及负载均衡研究[J];计算机工程与应用;2005年16期
10 刘朝斌;谢长生;张琨;;存储网络虚拟化关键技术的研究与实现[J];计算机科学;2004年05期
【相似文献】
中国期刊全文数据库 前10条
1 刘弋之;虚拟存储:省钱、省心、省时间[J];互联网周刊;2002年13期
2 ;惠普VA7110给虚拟存储提速[J];中国计算机用户;2003年04期
3 ;虚拟存储体验真实[J];每周电脑报;2002年21期
4 李子臣,杨洪波;网络时代经济高效的数据存储方式:虚拟存储[J];情报杂志;2002年08期
5 沈祥根;虚拟存储技术及其产品[J];计算机时代;2002年09期
6 李子臣,王文静;网络时代经济高效的数据存储方式:虚拟存储[J];现代情报;2002年06期
7 Robert L.Hummel ,刘岩;虚拟存储的魔力——从硬盘到RAM[J];电子与电脑;1994年09期
8 马天蔚;;虚拟存储明年普及[J];每周电脑报;2005年48期
9 芥末;伊莎贝尔;李莉莎;;虚拟存储 绿色传媒 传媒沙龙第七期综合报道[J];中国传媒科技;2009年08期
10 张虹;让虚拟存储成为现实[J];中国计算机用户;2003年26期
中国重要会议论文全文数据库 前10条
1 宋立志;张虹;;一种流媒体服务器存储方案的设计[A];第十一届中国体视学与图像分析学术会议论文集[C];2006年
2 靳晓园;林岩;张建刚;;基于MVC网络存储管理软件的设计与实现[A];全国第19届计算机技术与应用(CACIS)学术会议论文集(下册)[C];2008年
3 朱平;朱建涛;高剑刚;蒋金虎;;高性能计算存储关键技术研究[A];2010年第16届全国信息存储技术大会(IST2010)论文集[C];2010年
4 丁大量;王良金;吴仁炳;;安徽电视台建成大型非编混合制作网[A];中国电影电视技术学会影视科技论文集[C];2003年
5 袁辉;;数据化新闻生产系统中的共享存储与存储管理[A];中国电影电视技术学会影视科技论文集[C];2003年
6 陶伟;麦中凡;;MIDS引擎的对象存储系统[A];数据库研究与进展95——第十三届全国数据库学术会议论文集[C];1995年
7 刘苗苗;;虚拟化技术在网管支撑系统中的应用[A];中国通信学会第六届学术年会论文集(下)[C];2009年
8 白勇;朱清新;;基于iSCSI的IP SAN网络存储技术及其安全性研究[A];第15届全国信息存储技术学术会议论文集[C];2008年
9 柳杨林;;电子档案的法律效力初探[A];面向21世纪的科技进步与社会经济发展(上册)[C];1999年
10 曾文英;赵跃龙;宋玮;王文丰;;个人存储管理策略研究[A];第15届全国信息存储技术学术会议论文集[C];2008年
中国重要报纸全文数据库 前10条
1 风雨彩虹;走进虚拟存储的世界[N];电脑报;2007年
2 ;联想虚拟存储方案[N];中国计算机报;2003年
3 ;IBM虚拟存储空间更广阔[N];中国计算机报;2004年
4 ;虚拟存储大势所趋[N];中国电子报;2005年
5 日立数据解决方案与专业服务事业部总监 陈戈;动态分配虚拟存储空间[N];计算机世界;2009年
6 本报记者 边歆;私有云的助推器[N];网络世界;2010年
7 胡衡庐;虚拟存储可否带来真实成效[N];中国计算机报;2001年
8 ;提速虚拟存储[N];网络世界;2003年
9 ;虚拟存储市场呈现勃勃生机[N];网络世界;2001年
10 ;IBM TotalStorage掀虚拟存储新风[N];中国计算机报;2003年
中国博士学位论文全文数据库 前3条
1 刘朝斌;虚拟网络存储系统关键技术研究及其性能评价[D];华中科技大学;2004年
2 吴涛;虚拟化存储技术研究[D];华中科技大学;2004年
3 王永庆;基于快速网络的新型存储层次设计与实现[D];国防科学技术大学;2003年
中国硕士学位论文全文数据库 前10条
1 朱颖琪;基于云计算的海量数据虚拟存储的研究与设计[D];电子科技大学;2011年
2 刘浩;基于负载均衡的存储架构研究与应用[D];山东大学;2011年
3 王书军;基于Mini6410的USB虚拟存储[D];华中科技大学;2011年
4 李成明;云计算中可信虚拟存储的研究[D];大连理工大学;2011年
5 于尊祥;退耕还林管理信息系统(CFMIS)的设计与开发[D];吉林大学;2005年
6 游海量;嵌入式处理器内存管理单元的设计和验证[D];浙江大学;2006年
7 周正娟;数字有机体存储空间中配额机制的研究与实现[D];电子科技大学;2008年
8 张磊;智能网络磁盘(IND)存储系统调度算法研究[D];中南大学;2007年
9 白玉;虚拟存储监视系统的设计与实现[D];天津大学;2007年
10 张艳;虚拟机环境中基于网络的虚拟存储方法的研究与验证[D];吉林大学;2010年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026