收藏本站
《华中科技大学》 2006年
收藏 | 手机打开
二维码
手机客户端打开本文

数据库集群系统的关键技术研究

龚卫华  
【摘要】: 目前大型DBMS在海量数据的OLTP商业应用中已成为制约整个信息系统性能和效率提升的瓶颈,传统的提高单机的硬件配置和优化数据库系统性能参数的方法也只能有限地提高系统性能。因此,基于多机并行处理的数据库集群成为人们关注的热点,它以高性能、高可用性和高可扩展性为目标,在高性能计算、海量数据的存储和处理、Web服务、电子商务等领域有着广泛的应用。 围绕数据库集群系统的并行性能,主要从系统结构、全局事务的并发控制、负载平衡以及数据分布等方面解决了集群系统中的一些关键问题。 为了将集群技术应用于数据库系统以实现大规模和高并行性能的数据库集群系统,在无共享的数据库集群基础上设计了一种通用的、具有高并行性能的中间件系统,提供单一系统映像结构,采用元数据管理、多线索机制、并行事务预处理等技术,实现了数据库集群的协作与并行处理,能满足对性能要求较高的OLTP商业应用,具有理想的性价比。该系统既保持了集群中局部数据库站点的自治性,又提高了数据库集群系统的并行性能,解决了大型DBMS的性能瓶颈。 在并发控制方面,为了保证集群系统中全局事务的并发正确执行,采用基于谓词级的多级粒度冲突检测机制,并通过检测谓词冲突图中是否存在环的方法来避免冲突的全局事务可能会产生的全局死锁,不仅减小了死锁检测粒度而且还提高了全局事务处理的并发度,同时也保持了集群中局部数据库的自治性。此外,还改进了一种以事务提交图为中心的并发事务调度算法来保证全局事务的可串行化提交,实验比较结果表明该算法有效地提高了全局事务执行的并发度,增加了事务吞吐率和减少了响应时间。 负载平衡是集群系统获得高并行处理性能和提高资源利用率的有效手段,集群中的负载平衡器根据同构或异构节点上的CPU、内存和磁盘I/O等计算资源在不同负载下的综合利用率来衡量节点的加权负载状态,所提出的基于阈值的动态负载平衡算法不仅考虑了资源的利用率,而且还考虑了负载类型对集群系统性能的影响。实验证实该策略不仅动态地保持了系统的负载平衡,而且还充分发挥了各节点的计算能力,提高了系统中各计算资源的利用率。 数据分布平衡是影响数据库集群系统性能的重要因素,现存的一些数据划分方法把关系和数据都均匀地分布到多个处理节点上,而没有考虑异构节点间计算能力的差异,使得数据库集群的并行处理能力没有被充分地发挥,因此,提出了适合于同构及异构集群中数据分布的改进的Range划分方法,根据集群中同构或异构节点的计算能力将数据不均匀地分布各节点上,克服了传统的数据均匀划分的缺点。针对系统负载中发生的数据倾斜,所采用的联机数据迁移算法根据负载访问特点把过载节点上的热点数据迁移到轻负载的节点上以分担系统负载,其优点是不仅有效避免了数据执行倾斜,提高了事务吞吐率,也保持了集群系统的动态平衡。 最后,综合分析和评价了同构及异构数据库集群系统的各种并行性能度量指标,TPC-C测试结果表明数据库集群系统在并行OLTP处理中具有良好的可扩展性、次线性的加速比、以及高性价比的并行处理服务,为满足电信、金融等领域大规模OLTP处理的需要打下坚实的基础。
【学位授予单位】:华中科技大学
【学位级别】:博士
【学位授予年份】:2006
【分类号】:TP311.13

【相似文献】
中国期刊全文数据库 前10条
1 张立斌;;数据仓库在军队信息资源整合中的应用[J];科技信息;2011年16期
2 余军;王宝华;;网站后端应用系统架构优化[J];新闻前哨;2011年07期
3 何立群;;数据库集群系统负载均衡技术的应用[J];煤炭技术;2011年08期
4 ;[J];;年期
5 ;[J];;年期
6 ;[J];;年期
7 ;[J];;年期
8 ;[J];;年期
9 ;[J];;年期
10 ;[J];;年期
中国重要会议论文全文数据库 前10条
1 杜凯;万智俊;杨树强;缪嘉嘉;;面向归档数据流的高可用数据库集群设计[A];第二十四届中国数据库学术会议论文集(技术报告篇)[C];2007年
2 娄江国;文俊浩;冯凌云;;基于数据仓库的重庆市社会保障宏观决策支持系统设计与实现[A];2008'中国信息技术与应用学术论坛论文集(二)[C];2008年
3 程茜;;数据库仓库技术与数据挖掘[A];全国第十四届计算机科学及其在仪器仪表中的应用学术交流会论文集[C];2001年
4 张勇;;电子病历——新时代医院信息系统的核心[A];中华医院管理学会2005年学术会议论文集[C];2006年
5 姜作廉;;现代化医院管理信息系统的研制[A];计算机模拟与信息技术会议论文集[C];2001年
6 ;SYBASE公司简介[A];数据库研究进展97——第十四届全国数据库学术会议论文集(下)[C];1997年
7 马莉;章玲;;数据挖掘技术在图书馆领域的应用[A];新环境下图书馆建设与发展——第六届中国社区和乡镇图书馆发展战略研讨会征文集(下册)[C];2007年
8 赵莉莉;王引斌;;浅谈数据库系统的发展[A];山西省科技情报学会2004年学术年会论文集[C];2005年
9 孙迎;叶英;;医院管理信息系统的内涵[A];中国生物医学工程学会第六次会员代表大会暨学术会议论文摘要汇编[C];2004年
10 刘谦;;努力建设面向21世纪的数字医院[A];新世纪 新机遇 新挑战——知识创新和高新技术产业发展(上册)[C];2001年
中国重要报纸全文数据库 前10条
1 本报记者 杨霞清;11g 横空出世 数据库市场再添变数[N];计算机世界;2007年
2 ;开源数据库:免费更易用[N];网络世界;2006年
3 EnterpriseDB亚太区总裁 Roger Durn;开源数据库:兼容是关键[N];中国计算机报;2007年
4 邹大斌;MySQL走向高端应用[N];计算机世界;2007年
5 ;走近数据库集群技术[N];中国计算机报;2005年
6 李军;华联超市:让信息仓库更高效[N];中国计算机报;2007年
7 ;万全309r为密集型应用搭台[N];中国计算机报;2002年
8 杨春刚;检验检疫信息化建设巡礼之湖南局[N];中国国门时报;2006年
9 《网络世界》记者 于翔;Informix在中端市场纵横开拓[N];网络世界;2011年
10 张冬;浅谈互联网运营商的特殊集群——NoSQL[N];网络世界;2011年
中国博士学位论文全文数据库 前3条
1 龚卫华;数据库集群系统的关键技术研究[D];华中科技大学;2006年
2 刘艳艳;基于数据库集群的海洋环境数据优化存储与分布式管理[D];中国海洋大学;2008年
3 夏蕾;基于数据仓库技术的医疗质量信息利用研究[D];第四军医大学;2005年
中国硕士学位论文全文数据库 前10条
1 张锋;数据库集群负载均衡技术的研究[D];曲阜师范大学;2010年
2 何骏;空间数据库集群中间件技术研究与实现[D];国防科学技术大学;2010年
3 郑奇英;基于高速数据的分配存储策略研究[D];武汉邮电科学研究院;2011年
4 万春;基于Linux的数据库集群系统的研究[D];华中科技大学;2004年
5 刘素转;数据仓库技术及其应用研究[D];辽宁工程技术大学;2002年
6 梁勇;数据库集群故障切换技术的研究与实现[D];国防科学技术大学;2010年
7 冯春霖;面向WWW的分布式事务处理系统的设计与实现[D];西北工业大学;2001年
8 谭石强;网上报名系统中数据库高可用性的研究与应用[D];广东工业大学;2006年
9 杜彬;天津地税数据仓库解决方案[D];天津大学;2003年
10 祝雄锋;数据库集群中间件MySQL Proxy研究与分析[D];武汉理工大学;2011年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026