收藏本站
《国防科学技术大学》 2009年
收藏 | 手机打开
二维码
手机客户端打开本文

面向共享Cache多核处理器的数据库查询执行优化技术研究

邓亚丹  
【摘要】: 随着硬件技术的飞速发展,内存价格越来越低,大内存容量已成为数据库服务器的标准配置,这在很大程度上缓解了数据库查询执行的磁盘I/O代价,也促进了内存数据库的普及应用,给数据库带来性能提升的同时,也造成了新问题。由于处理器速度增长的速度远大于内存,导致处理器花费大量时间等待数据从内存取到CPU缓存(Cache),内存访问已经成为数据库查询执行的主要代价之一。与此同时,单核处理器的性能提升空间已经十分有限,导致处理器的发展趋势转向多核处理器,多核处理器已经成为处理器市场的主流,并且得到了飞速发展。同样,多核处理器给数据库带来性能提升的同时也带来了挑战。首先,基于单线程模式的查询执行算法使得数据库不能充分利用多核处理器的并行计算资源,其次,多核处理器的核心间一般共享部分资源,比如Cache和内存带宽,在内存访问成为数据库主要代价的前提下,由于多线程同时访问共享Cache造成的共享Cache访问冲突给数据库性能提升带来了较大负面影响,再次,有限的内存带宽和多核处理器各个核心间的负载不均衡也影响了线程的执行效率。因此如果要充分利用共享Cache多核处理器提升数据库性能,既要从多线程并行执行角度优化查询执行的性能,同时也要改善多线程执行时的Cache访问性能,特别是减少共享Cache访问冲突。目前面向多核处理器的数据库查询执行优化研究仍处于初步阶段,存在许多问题亟待解决。 数据库查询执行性能优化一直是国内外数据库研究者广泛关注的问题,是数据库领域充满挑战性的一个研究方向,论文的研究目的是面向共享Cache多核处理器优化查询执行的性能。本文在全面分析和总结国内外数据库领域相关研究工作的基础上,针对查询执行在共享Cache多核处理器中面临的性能瓶颈,面向数据库查询执行性能优化的需求,对几类基础的数据库查询操作,比如数据库排序、数据库连接查询和数据库索引的优化技术进行研究。本文的主要工作和创新点包括下面几个方面: (1)提出了基于共享Cache多核处理器的数据库排序多线程执行框架,该框架基于Inplaced Flash QuickSort(IFQS)算法。针对IFQS的三个执行阶段的数据访问特点,分别提出了各自的多线程执行模式和相应的Cache性能优化措施,特别是减少了共享Cache访问冲突。 (2)提出了基于数据划分策略的多线程Hash连接执行框架,该框架采用Radix-Join算法,分为聚集划分和聚集连接两个阶段。通过深入分析多线程Radix-Join算法在共享Cache多核处理器中运行时的性能瓶颈,有针对性地对该框架的性能进行优化。对于聚集划分阶段,提出了一种自适应的多线程聚集划分策略;对于聚集连接阶段,提出了基于聚集大小分类的多线程聚集连接执行策略,并优化了聚集连接时的内存访问。上述优化技术能够较大地减少多线程执行时的共享Cache访问冲突和处理器核心间的负载不均衡,以提高线程的执行效率。 (3)针对索引嵌套循环连接,提出了共享Cache敏感的索引嵌套循环连接多线程执行框架(SCS-INLJPEF)。SCS-INLJPEF采用流水线式多线程执行模式,根据查询执行计划中的数据操作节点合理设置流水线中的操作,提出了共享Cache敏感的缓存结构用于管理SCS-INLJPEF中的各种缓存,并给出了SCS-INLJPEF执行时的内存访问代价模型,然后根据该模型在流水线的各个操作间合理分配处理器计算资源,达到减少处理器核心间负载不均衡和改善线程Cache访问性能的目的。 (4)针对无索引的嵌套循环连接,提出了基于数据划分策略的嵌套循环连接多线程执行框架,该框架采用Radix-Join算法中的数据划分策略,同样分为聚集划分和聚集连接两个阶段。针对聚集划分阶段,通过设置合理的聚集划分线程启动时机减少共享Cache访问冲突;针对聚集连接阶段Cache访问性能较差的缺点,利用每个聚集数据量很小的特点和聚集连接线程顺序访问聚集带来的优势,提出了多线程聚集连接执行策略,利用预取线程改善聚集连接线程Cache性能,并通过合理设置预读线程参数使该框架适应于不同的处理器核心数,并减少共享Cache访问冲突。 (5)将流水线式多线程执行模式用于索引访问性能优化,提出了CSB+-Trees多线程访问模块(CSBT-MAM)。CSBT-MAM基于CSB+-Trees的树结构层次设置流水线中的操作,通过分析CSBT-MAM的处理流程,给出了其内存访问模型,然后基于该模型合理划分CSB+-Trees中的节点,设置流水线中操作的数量和对应的工作集,达到改善索引访问线程Cache性能的目的,并根据该节点划分分配处理器的计算资源,最后将CSBT-MAM用于SCS-INLJPEF的进一步优化。
【学位授予单位】:国防科学技术大学
【学位级别】:博士
【学位授予年份】:2009
【分类号】:TP332

手机知网App
【相似文献】
中国期刊全文数据库 前10条
1 张苗;张德贤;;基于异构感知静态调度与动态线程迁移的异构多核调度机制[J];计算机应用;2011年07期
2 姜涛;张云伟;何芳;;基于流处理器的图像灰度变换并行处理研究[J];电子技术应用;2011年02期
3 ;[J];;年期
4 ;[J];;年期
5 ;[J];;年期
6 ;[J];;年期
7 ;[J];;年期
8 ;[J];;年期
9 ;[J];;年期
10 ;[J];;年期
中国重要会议论文全文数据库 前10条
1 彭林;张小强;刘德峰;谢伦国;田祖伟;;一种挖掘多核处理器存储级并行的算法[A];第15届全国信息存储技术学术会议论文集[C];2008年
2 石文强;倪晓强;金作霖;张民选;;Cache动态插入策略模型研究[A];第十五届计算机工程与工艺年会暨第一届微处理器技术论坛论文集(B辑)[C];2011年
3 邓亚丹;吴京;熊伟;景宁;;基于共享cache多核处理器的数据库内存排序优化[A];第26届中国数据库学术会议论文集(B辑)[C];2009年
4 郑涵;吴英;丁晓东;乐嘉锦;;基于Web的个性化智能Cache库[A];第二十届全国数据库学术会议论文集(技术报告篇)[C];2003年
5 张承义;郭维;周宏伟;;Cache漏流功耗的自适应优化:动态容量调整[A];第十五届计算机工程与工艺年会暨第一届微处理器技术论坛论文集(B辑)[C];2011年
6 李凡;李建中;何震瀛;;XML数据Cache策略研究[A];第二十二届中国数据库学术会议论文集(技术报告篇)[C];2005年
7 陈虎;罗伟良;干芸芸;;Multi_MINT:一个基于MINT的多核处理器模拟器[A];第十五届计算机工程与工艺年会暨第一届微处理器技术论坛论文集(B辑)[C];2011年
8 尹飞;吴磊;;基于功能覆盖率验证多核处理器中的Cache一致性协议[A];第十五届计算机工程与工艺年会暨第一届微处理器技术论坛论文集(A辑)[C];2011年
9 何军;王飙;;通用多核处理器发展现状和趋势研究[A];第十五届计算机工程与工艺年会暨第一届微处理器技术论坛论文集(A辑)[C];2011年
10 唐常杰;相利民;熊明;熊岚;;DBMS的专用CACHE技术[A];第十届全国数据库学术会议论文集[C];1992年
中国重要报纸全文数据库 前10条
1 ;我们访问到了吗?[N];中国高新技术产业导报;2000年
2 晓文;263与CacheFlow建立“互联网加速技术”联盟[N];通信产业报;2000年
3 主持人:李健;加速只为互联[N];网络世界;2000年
4 本报记者 张欣;为互联网“加速”[N];计算机世界;2000年
5 张燕;263网络集团携手CacheFlow共塑全新互联网运营模式[N];中国信息报;2000年
6 李军;合理利用 网尽其能[N];中国计算机报;2002年
7 雅鼠;明天的赛扬会怎样[N];中国计算机报;2002年
8 霖言;CPU性能路上的赛跑[N];中国信息报;2002年
9 山东青州 刘福浩 赵洪奎;让光驱运行得更快[N];中国电脑教育报;2004年
10 ;全“芯”世界——CPU[N];电脑报;2001年
中国博士学位论文全文数据库 前10条
1 邓亚丹;面向共享Cache多核处理器的数据库查询执行优化技术研究[D];国防科学技术大学;2009年
2 李静梅;多核处理器的设计技术研究[D];哈尔滨工程大学;2010年
3 刘德峰;面向存储级并行的多核处理器关键技术研究[D];国防科学技术大学;2011年
4 贾小敏;多核处理器片上Cache访问行为分析与优化机制研究[D];国防科学技术大学;2011年
5 朱海涛;面向高密度计算的多核处理器结构研究[D];中国科学技术大学;2011年
6 吕鸣松;实时系统最坏情况执行时间分析技术的研究[D];东北大学;2010年
7 黄立波;片上集群体系结构关键技术研究[D];国防科学技术大学;2010年
8 所光;面向科学计算应用的多核处理器Cache划分策略研究[D];国防科学技术大学;2009年
9 唐轶轩;面向多线程应用的Cache优化策略及并行模拟研究[D];中国科学技术大学;2012年
10 徐光;分片式流处理器体系结构[D];中国科学技术大学;2010年
中国硕士学位论文全文数据库 前10条
1 刘瑞;宇航处理器Cache系统的可靠性分析和加固研究[D];上海交通大学;2011年
2 刘文佳;多核处理器Cache一致性研究与设计[D];哈尔滨工程大学;2010年
3 董珍;异构多核处理器的任务调度分配问题及算法研究[D];哈尔滨工程大学;2010年
4 杨鹏飞;多核环境Cache一致性协议研究[D];哈尔滨工程大学;2011年
5 杨晓刚;DSP中指令Cache的研究与设计[D];江南大学;2012年
6 刘佳;多核结构下片内存储系统的模型模拟技术研究[D];国防科学技术大学;2010年
7 肖帆;CMP中共享L2Cache失效预测算法研究[D];华中科技大学;2011年
8 鲁超;基于电子系统级的C*CORE处理器建模[D];天津大学;2012年
9 景涛;多核环境下基于L2 Cache的目录一致性协议的研究[D];哈尔滨工程大学;2010年
10 贾权;65nm L1 D-Cache中DCA的全定制设计与实现[D];国防科学技术大学;2010年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026