收藏本站
《山东大学》 2012年
收藏 | 手机打开
二维码
手机客户端打开本文

基表加扩展表多租户数据存储及数据迁移的研究

吴升启  
【摘要】:2006年微软公司提出基表加扩展表SaaS多租户数据存储模式,在该模式中使用基表存储租户的公共数据字段,数据处理效率较高;使用扩展表(键-值对)存储租户的扩展数据,由于在扩展数据访问过程中需要涉及元组重组操作,处理效率相对较低。在实际业务中,如果租户需要频繁的访问扩展数据而很少访问基表中的数据,那么基表效率高的优势将得不到利用。为充分使用基表效率高的优点,我们希望能将租户访问频率高的扩展数据存储到基表中。但是由于基表是在应用部署阶段创建,其模式在运行过程中是不可修改的,因此面临着基表中如何支持对不同租户扩展数据的存储的问题。针对此问题本文提出了一种支持数据迁移的基表加扩展表多租户数据存储模式,来实现基表对租户扩展数据的存储。 随着云计算的发展,SaaS平台数据正在由单节点存储往云中多节点存储的转变。对于一个租户的数据可能需要分片存储到不同的数据节点上,所有的数据节点共享同一份元数据。在基于数据迁移的基表加扩展表数据存储模式的运行过程中需要进行数据迁移操作,为了维持数据迁移过程中数据的可持续性访问和一致性我们需要维持源存储模式和目标存储模式,这会对数据节点的存取性能产生一定的负面影响。如果在所有的数据节点上同步进行数据迁移操作,由于不同数据节点的负载不同,有的数据节点当前可能处于重负载状态,若强行进行数据迁移操作会使数据节点进入超负载状态,可能会影响租户的存取效率。此外所有数据节点共享同一份元数据,只有当所有的数据节点上数据迁移完成之后才可以修改元数据,即使有些数据节点上已经完成了数据迁移操作,也需要维持两个数据存储模式等待其他数据节点迁移的完成。我们应该避免在这段等待时间中产生的负面影响或避免这样的无效等待时间。针对此问题本文提出了支持数据迁移的多版本元数据技术。 本文主要工作如下: (1)捉出了支持数据迁移的基表加扩展表多租户数据存储模式。通过在基表中添加一些预留字段,来实现基表对扩展数据的存储。针对不同租户的扩展数据建立统计模型和评估函数来识别哪些扩展数据是高频率访问的扩展数据以及这些数据中哪些可以迁移到基表中存储。并在该数据存储模式基础上定义动态数据迁移算法,实现数据迁移的过程,在迁移过程中通过维持源存储模式和目标存储模式来维持数据的可持续访问,通过对更新操作采用补偿策略维持两个数据存储模式中数据的一致性。 (2)提出了在云中多数据节点上支持数据迁移的多版本元数据技术。设计并实现了支持多版本元数据技术的云中多租户数据存储框架和访问流程,使不同数据节点上同一租户的数据可以根据数据节点的负载状态独立异步的进行数据迁移操作,从而最小化同步数据迁移过程中的代价和负面影响,每个数据节点根据数据迁移的状态建立与其对应的元数据版本信息。在新的存储框架基础上提出了新的数据引擎来支撑多版本元数据技术的实现。
【学位授予单位】:山东大学
【学位级别】:硕士
【学位授予年份】:2012
【分类号】:TP311.13

【相似文献】
中国期刊全文数据库 前10条
1 赖莉;数据存储方案分析[J];渝西学院学报(自然科学版);2004年04期
2 王东;王建勇;王丽英;马华杰;;ADO数据库接口技术在串口通信程序中的应用[J];仪器仪表用户;2006年01期
3 丰树谦;李体红;;SQL Sever数据存储的安全管理[J];焦作大学学报;2007年03期
4 张国喜;;虚拟化存储在图书馆数字化建设中的应用[J];情报探索;2009年10期
5 李海龙;张宝霞;郑惠之;;空调客车实时集中监测系统数据IC卡转存方法研究[J];计算机应用与软件;2010年04期
6 王秀坤;商振东;朴勇;;互动式游戏数据库的数据存储与管理[J];计算机工程;2010年14期
7 葛健;董浩斌;郑海兵;;嵌入式SD卡存储器的设计[J];电子技术应用;2010年05期
8 许伟;施玉麒;张超;;AM/FM/GIS数据模型在信息基础设施中的应用研究[J];计算机应用与软件;2011年01期
9 ;集群RAID增强数据存储 nStor和Storage Dimensions Vinca联合提供相应硬件[J];每周电脑报;1997年33期
10 原国胜,马清怀,李石山;数据流程图的设计规则[J];教育信息化;1999年09期
中国重要会议论文全文数据库 前10条
1 李庆印;;公安数据备份技术研究及策略设计[A];全国计算机安全学术交流会论文集(第二十二卷)[C];2007年
2 昝涛;王民;费仁元;徐洪安;;基于LabVIEW的网络监测与诊断系统中数据传输与存储机制研究[A];设备监测与诊断技术及其应用——第十二届全国设备监测与诊断学术会议论文集[C];2005年
3 李彬彬;易宝林;刘斌;;基于信源学的植被光谱数据的存储技术研究[A];2009通信理论与技术新发展——第十四届全国青年通信学术会议论文集[C];2009年
4 李晓辉;;中小电台数据管理[A];2006全国广播电视发射技术论文集(1)[C];2006年
5 宾月景;黄蕾;赵福群;黄新;张复实;;轮烯金属配合物应用于高密度光存储体系的研究[A];2006中国科协年会——数字成像技术及影像材料科学学术交流会论文集[C];2006年
6 杨甲森;赵娜;;行星数据系统研究[A];中国空间科学学会空间探测专业委员会第十九次学术会议论文集(上册)[C];2006年
7 宾月景;赵福群;黄蕾;黄新;张复实;;轮烯金属配合物应用于高密度光存储体系的研究[A];提高全民科学素质、建设创新型国家——2006中国科协年会论文集(下册)[C];2006年
8 谈超洪;陈友初;李承林;;广西电子政务外网数据中心设计与应用[A];广西计算机学会2008年年会论文集[C];2008年
9 陈进才;程伟;陈希;周功业;;寄生存储冗余机制与实现技术[A];第15届全国信息存储技术学术会议论文集[C];2008年
10 苏波;陈芳;;GE Smallworld:一个面向企业的GIS平台[A];中国地理信息系统协会第三次代表大会暨第七届年会论文集[C];2003年
中国重要报纸全文数据库 前10条
1 ;网络存储是校园数据存储的新希望[N];中国电脑教育报;2006年
2 本报记者 傅桦;中国市场养肥数据存储巨头[N];第一财经日报;2006年
3 赫澄;EMC购RSA,存储牵手安全[N];中国国门时报;2006年
4 饶宇锋;数据存储是当下互联网最大商机[N];财经时报;2007年
5 日立数据系统公司CTO Hu Yoshida;数字化医疗的挑战[N];中国计算机报;2009年
6 谭勇 晓弈;网络时代的数据存储[N];人民邮电;2001年
7 本报记者 张旭;IBM为中国企业数据存储开“新方”[N];经理日报;2003年
8 四川 万琳;提高24C04数据存储可靠性的方法[N];电子报;2002年
9 记者 蓝岸;我市建成华南最大互联网数据中心[N];深圳特区报;2006年
10 舒楚明;用新理念构建黄河数据存储和管理新体系[N];黄河报;2006年
中国博士学位论文全文数据库 前10条
1 曾碧卿;分布式计算中并行I/O调度策略研究[D];中南大学;2005年
2 李贵林;无线传感器网络数据存储与查询处理算法的研究[D];哈尔滨工业大学;2009年
3 王庆;XML约束在XML数据存储、发布和转换中的应用[D];复旦大学;2004年
4 袁小坊;IP网络测量数据存储与流量建模研究[D];湖南大学;2010年
5 李明强;磁盘阵列的纠删码技术研究[D];清华大学;2011年
6 胥正川;基于关系数据库的XML数据存储、更新和检索[D];复旦大学;2003年
7 司海平;农作物种质资源调查信息系统研究[D];中国农业科学院;2011年
8 覃章健;基于FPGA的便携式数字核谱仪研制[D];成都理工大学;2008年
9 梁平;面向产品生命周期数据的XML本源数据库的研究[D];合肥工业大学;2006年
10 孔冬艳;基于对象关系型空间数据库理论的GIS实现[D];中国地质大学(北京);2006年
中国硕士学位论文全文数据库 前10条
1 林伟松;数据备份与容灾技术在电信计费系统中的应用[D];北京邮电大学;2007年
2 魏玲玲;粗关系数据库查询模型及其应用[D];南昌大学;2007年
3 宋涛;基于CAN总线的行车记录仪研究[D];河北工业大学;2007年
4 徐震;通讯资金布局决策支持系统研究[D];复旦大学;2008年
5 张伟楠;基于VXI总线的16通道数字化仪的设计与实现[D];吉林大学;2009年
6 晏亚飞;移动通讯设备高可用系统中的数据存储技术[D];清华大学;2003年
7 刘彬;工控设备中数据处理技术的研究[D];中南大学;2004年
8 刘建国;基于COM的组件式GIS研究与应用[D];南京工业大学;2004年
9 周钊;基于实时数据库的历史数据处理技术研究[D];华北电力大学(北京);2008年
10 傅晓明;智能手持式抄表机的设计与研发[D];北方工业大学;2009年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026