收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于Chunk Folding的多租户云数据存储缓存管理机制

姚金成  
【摘要】:随着网络技术的发展,以及外包计算和存储的大量涌现,一种新的计算模式---云计算,正在逐渐兴起。所谓云计算,是指通过网络方便按需地访问可配置的共享计算资源,如网络、存储、内存、应用等,其计算资源的供给和释放不需要或只需很少的人工参与。就目前而言,SaaS(Software as a Service)是公认的云计算的最好的实现形式。 在SaaS模式下,服务提供商需要存储成千上万租户的数据,而单独为每一个租户分配一个数据库实例需要大量的资源,而事实上任一数据库实例在大多数情况下的使用率是极低的,这就导致了大量的资源浪费。针对此问题,共享数据库共享存储模式被提出来用以解决具有相似存储模式的数据库实例的资源浪费,如Universal Table, Pivot Table, Chunk Folding等,而为了减少那些不具备相似存储模式的数据库实例的资源浪费,数据库合并(Database Consolidation)被提出来用于进一步减少数据库实例的数量,从而获取规模经济效益。共享存储模式和数据库合并可以极大程度的减少数据库实例的数量,从而降低资源浪费,但是基于传统数据库搭建的多租户数据库的缓存管理机制存在着以下不足或挑战: (1)数据块缓存替换单元的局限性。传统数据库缓存机制以数据块作为缓存单元,而多租户共享存储架构下,任一数据块均包含了大量其他租户的无关数据,采用数据块作为缓存单元导致大量缓存资源的浪费。 (2)租户间缓存资源分配的盲目性。传统数据库缓存机制缺乏多租户的概念,对于来自租户的请求,传统缓存机制会从提高数据库整体性能的角度进行缓存管理,这就会导致租户间资源分配的极为不合理,如高频访问租户抢占低频访问租户的资源,使得低频访问租户的SLA响应时间需求得不到保障,这与云计算环境下的弹性以及按需分配特性相违背。 (3)云缓存资源分配缺乏有效的分配机制。云计算环境下,为获取良好的伸缩性以及达到负载均衡,租户数据被划分到多个数据节点进行存储,如何确定各节点缓存内容使得:(a)租户的SLA响应时间得到满足,(b)云缓存效益(I/O减少次数)尽可能高,云缓存资源消耗尽可能少,(c)各子节点的I/O负载均衡。 本文针对云计算环境下多租户数据库缓存管理机制的上述问题和挑战,结合Chunk Folding共享存储模式的特性,从缓存替换单元,多租户特性及云缓存资源协调分配等几方面着手,提出了适应负载的动态缓存单元生成机制,缓存单元I/0估价模型,多租户云缓存资源分配机制。本文的主要工作及成果包括: (1)提出了基于Chunk Folding的动态缓存替换单元的生成机制。该机制以租户的请求负载和租户后台Chunk Folding共享存储架构的物理存储模式作为输入,输出一系列列(集)缓存替换单元,将该缓存替换单元取代传统数据库的数据块缓存替换单元可以大幅度降低缓存消耗,提升缓存利用率。 (2)给出缓存单元的I/0效益估价模型。该模型结合数据库(MySQL)查询优化器的执行计划以及Chunk Folding的特性,得出每一缓存替换单元的I/0效益,并用此效益值与缓存替换单元所占缓存空间的比值作为该缓存替换单元的I/0效益率(半命中率),此外为实现云数据节点I/O负载均衡,结合当前节点的I/0负载状况,对每一缓存替换单元的I/0效益率进行加权修正,并将其作为衡量是否缓存该替换单元的标准,取代传统的命中率作为缓存与否衡量标准,使得缓存整体效益得到提升。 (3)给出两种缓存分配策略,租户级和系统级缓存分配策略。采用贪婪算法迭代选择缓存单元进驻内存,并对相关缓存单元的效益指标进行修正。通过租户级缓存分配策略实现租户缓存分配的在线动态调整,通过系统级缓存分配策略实现系统缓存松弛操作从而降低系统整体缓存消耗。 针对基于传统数据库搭建的多租户数据库在缓存管理机制存在的不足和新挑战,本文给出了相应的解决机制---多租户云数据存储缓存管理机制(Multi-tenant Memory Management for Cloud data storage, M3C),该机制依据租户SLA目标按需为多租户分配缓存,降低云缓存资源消耗的同时并达到负载均衡。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 史翠竹,余松煜,苏鹏程;视频点播系统中客户端的缓存管理和码率控制策略研究[J];计算机工程与应用;2004年07期
2 姚凌;孙文波;纪红;乐光新;;一种保护TCP流的AFRED缓存管理算法[J];北京邮电大学学报;2006年01期
3 杨自芬;;基于AQM的网络拥塞控制研究[J];科技信息;2008年27期
4 程东年,刘增基;一种新的缓存空间动态分配机制及其分组丢失率分析[J];电子学报;2001年05期
5 万国根,秦志光;网络环境下多机通信技术研究[J];计算机应用;2003年08期
6 温蜀山,李乐民,孙海荣;Internet中分组丢弃缓存管理技术的研究[J];通信学报;2002年07期
7 李栋;赵珑;张有志;;层次型移动IPv6快速切换中的缓存管理[J];计算机工程与科学;2007年03期
8 林海旦;赵葆华;倪建克;;基于缓存的MP2P网络数据查询策略研究[J];计算机应用与软件;2008年06期
9 李锁钢,徐恪,吴建平;面向变长分组的多优先级动态域值缓存管理算法[J];电子学报;2002年08期
10 姚凌;孙文波;纪红;乐光新;;一种自适应的FRED缓存管理算法[J];电路与系统学报;2008年01期
11 何晓蓉;周东;;FC-AL系统中FPGA的弹性缓存设计[J];单片机与嵌入式系统应用;2010年01期
12 向阳,杨树强,蔡建宇,贾焰;基于大规模事务处理系统的中间层语义缓存技术的研究[J];计算机应用;2005年08期
13 杜方;顾峰;宋丽娟;王钊;;位置感知查询中的协作缓存管理[J];计算机工程与应用;2008年32期
14 孟晓烜;李一鸣;卜庆忠;纪海涛;许鲁;;一种面向存储服务的缓存管理模型[J];计算机工程;2009年01期
15 谢桂园;魏文国;;并行文件系统的框架设计和性能研究[J];计算机工程;2009年11期
16 林楠;梁义维;武兵;;多优先级需求下的路由器缓存管理[J];计算机工程与应用;2010年26期
17 王凤龙;许可;李智伟;;MIPv6环境下提高平滑切换缓存利用率方法的研究[J];计算机应用研究;2006年04期
18 张羿猛;黄芝平;毕占坤;王跃科;;共享缓存分组交换系统中的最佳阈值Pushout策略[J];计算机工程;2006年08期
19 姜涛;钟亦平;吕智慧;;基于PeerCast的P2P流媒体多点播放缓存管理设计[J];计算机应用与软件;2009年06期
20 朱晓瑜;裴廷睿;胡汀;田淑娟;;一种新的队列管理机制在无线Mesh网络中的应用[J];计算机工程与应用;2010年06期
中国重要会议论文全文数据库 前10条
1 刘昱;陈红;王珊;;基于Chunk的缓存优化与管理[A];第二十一届中国数据库学术会议论文集(技术报告篇)[C];2004年
2 卢艳民;焦有章;陈红;;基于语义Chunk的动态实体化视图技术[A];第二十二届中国数据库学术会议论文集(研究报告篇)[C];2005年
3 田新锋;李战怀;朱岩;;CHUNK中的多维数据压缩[A];第十八届全国数据库学术会议论文集(研究报告篇)[C];2001年
4 司成祥;孟晓烜;许鲁;;基于性能隔离的缓存优化技术研究[A];2010年第16届全国信息存储技术大会(IST2010)论文集[C];2010年
5 艾驰;;空间数据仓库与信息集成研究难点与现状[A];全国测绘科技信息网中南分网第二十一次学术信息交流会论文集[C];2007年
6 艾驰;;空间数据仓库与信息集成研究难点与现状[A];2007'全国测绘科技信息交流会暨信息网成立30周年庆典论文集[C];2007年
7 李彬;倪桂强;张雪;朱航;;移动IP中一种改进的基于代理的缓存管理方案[A];2010通信理论与技术新发展——第十五届全国青年通信学术会议论文集(上册)[C];2010年
8 刘少伟;王永海;文中领;;基于磁盘块保护的优化缓存管理机制[A];2010年第16届全国信息存储技术大会(IST2010)论文集[C];2010年
9 印莹;鲍玉斌;赵宇海;孙焕良;于戈;;Q-Dwarf——语义OLAP压缩算法Dwarf的快速实现[A];第二十一届中国数据库学术会议论文集(研究报告篇)[C];2004年
10 ;Peer-assisted Video-on-Demand with an Informed Interface of Chunk Availability[A];Proceedings 2010 IEEE 2nd Symposium on Web Society[C];2010年
中国博士学位论文全文数据库 前10条
1 温蜀山;Internet中基于分组丢弃技术的缓存管理算法研究[D];电子科技大学;2002年
2 刘期烈;机会网络中路由机制与缓存管理策略研究[D];重庆大学;2012年
3 叶凡;无线网络中移动数据缓存若干问题的研究[D];中国科学技术大学;2010年
4 陈远;无线网络中缓存管理与分组调度算法的研究[D];电子科技大学;2005年
5 刘玉;基于性能监测硬件支持的片上缓存资源管理技术[D];中国科学技术大学;2013年
6 胡勇其;基于语义的数据对象访问和存储管理研究[D];中国科学院研究生院(计算技术研究所);2006年
7 唐丽均;机会网络数据转发与缓存调度研究[D];重庆大学;2013年
8 吴艾;P2P流媒体共享系统若干问题的研究[D];电子科技大学;2009年
9 段翰聪;P2P流媒体分发技术研究[D];电子科技大学;2007年
10 廖荣涛;对等环境下基于缓存数据特征的实时流媒体系统研究[D];华中科技大学;2008年
中国硕士学位论文全文数据库 前10条
1 姚金成;基于Chunk Folding的多租户云数据存储缓存管理机制[D];山东大学;2012年
2 李广德;机会网络中缓存管理策略研究[D];重庆邮电大学;2013年
3 卓亚芬;ChunkedLOD—海量地形的实时绘制系统[D];浙江大学;2004年
4 张普宁;节点连接态势感知的机会网络消息转发与缓存管理机制[D];重庆邮电大学;2013年
5 赵纪元;面向文景转换的中文语义角色标注研究[D];哈尔滨工业大学;2007年
6 刘涛;内容中心网络访问时延优化技术研究[D];解放军信息工程大学;2013年
7 滕逸龙;视频点播系统中关键技术的研究[D];南京理工大学;2002年
8 卢杰骅;数据仓库架构设计及其缓存管理策略研究[D];浙江大学;2006年
9 范开钦;集群流媒体缓存代理服务器缓存管理系统研究[D];华中科技大学;2004年
10 陶永才;Web访问特征模拟器的设计与实现[D];郑州大学;2005年
中国重要报纸全文数据库 前10条
1 重庆 甘露;在Linux中实现RAID[N];电脑报;2001年
2 湖北 任珩;IE安全工具——IE Cool[N];电脑报;2002年
3 广东 李锋;妙用 Cache 优化 Windows 2000[N];电脑报;2001年
4 t920(ChinaUnix 安全版版主);一次Web服务器渗透测试经验(上)[N];计算机世界;2004年
5 龙哥;软件应用问答![N];中国计算机报;2004年
6 王伟锋;系统管理类[N];中国计算机报;2001年
7 徐志忠;保险行销与教练魔法[N];中国保险报;2003年
8 吴昱;QoS——IP业务的根本保证[N];人民邮电;2007年
9 阿朗;阿尔卡特朗讯拓展IP赢利空间[N];通信产业报;2007年
10 ;蓝光主导 性能保障[N];中国计算机报;2008年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978