收藏本站
《中国科学院大学(中国科学院深圳先进技术研究院)》 2020年
收藏 | 手机打开
二维码
手机客户端打开本文

面向多系统的数据库调优

刘智  
【摘要】:关系型数据库系统具有大量用于I/O优化、并行计算、查询计划、内存分配、日志等方面的配置参数。普通用户甚至数据库专家都很难将其进行调优以获得良好的性能。虽然有很多可用于数据库调优的操作指南,但指南不可以一直为数据库提供优越的性能。尽管可以凭借指南来在特定数据库使用场景下发挥出不错的性能表现,但它们并非适用于所有场景。很多机构不得不雇佣昂贵的人力来对数据库系统进行调优。同时随着信息技术的高速发展,后台系统中多系统相互依赖和影响的情况越来越突出。以往针对性能、可用性和可靠性的研究主要面向单一系统,单节点或多节点,相对忽视了多系统情况的整体优化目标。本研究的目的是在单一系统调优的基础上,提出能有效扩展到多系统的调优方法,并开发一套调优工具。本文贡献分为如下三个方面:首先构建调优模型,将基于关系型数据库PostgreSQL和分布式计算框架Spark共同构建一个存储与计算相分离并且资源弹性配置的数据仓库DuoSQL纳入调优模型并将其设置为本文的调优对象。基于DuoSQL中PostgreSQL、Spark工作中相互影响的事实,将二者参数统一纳入面向多系统的调优模型,整体考虑系统参数对面向多系统数据库的影响。实现了在单一数据库系统调优的基础上构建面向多系统的数据库调优模型。其次是在调优模型的基础上对性能衡量指标进行降维、聚类处理,使其成为非冗余数据。并对PostgreSQL、Spark的配置参数进行权重排序,减少数据中噪音的数量,提高数据的质量。对调优模型中对数据库内部测量值将系统的工作负载进行映射匹配,使用高斯过程回归和梯度下降,帮助调优模型推荐优秀性能表现下的配置参数。最后是针对DuoSQL在大规模数据处理中,PostgreSQL与Spark集群之间需要数据交互的情况下,运行中各阶段耗费时间的占比相差过大的问题。因此我们根据不同系统的参数空间进行分级,划分为网络资源参数空间、计算资源参数空间,在参数分类的基础下针对不同使用情景形成协同调优策略进行更细粒度的调优,从而优化查询时间及各阶段时间占比结构。
【学位授予单位】:

知网文化
【相似文献】
中国期刊全文数据库 前20条
1 纪洪波;;PostgreSQL数据库集群基本技术分析与实现[J];吉林工商学院学报;2010年05期
2 陆登槐;建立自己的数据库[J];计算机与农业;2000年08期
3 丁娅琳;;国产数据库的机会在哪?[J];中国计算机用户;2006年22期
4 ;选择数据库[J];每周电脑报;1998年37期
5 齐书阳;;数据库的挑战来源于应用[J];软件世界;2008年10期
6 青宇航;;ASP.NET连接数据库方案设计[J];科技资讯;2006年07期
7 魏慧章;国产数据库产业格局雏形已现[J];中国制造业信息化;2004年10期
8 文言;数据库厂商赶上“小年”[J];中国计算机用户;1998年16期
9 董文军;图文数据库的实现[J];电脑编程技巧与维护;1996年05期
10 孔军;陈宝国;;基于统计分析的分享型数据库需求无约束估计模型[J];淮阴工学院学报;2019年05期
11 洪艳;;基于数据库的网络课题开发策略[J];通讯世界;2019年12期
12 蒙利;辛胜;杨其菠;;基于陕西省地质调查数据库融合理论方法[J];陕西地质;2019年02期
13 本刊编辑部;;中国核心期刊(遴选)数据库收录证书[J];防护工程;2019年05期
14 朱克;马永波;徐景龙;王雷;;面向异地双活系统的数据库改造方法[J];微型电脑应用;2020年01期
15 李树娟;钟焕荣;于亮;赵军;范伟检;黄伟;;危险化学品数据库的发展现状与展望[J];合成材料老化与应用;2020年01期
16 何纯全;汤仕平;施佳林;;舰船电磁环境数据库的设计与实现[J];装备环境工程;2020年03期
17 本刊编辑部;;中国核心期刊(遴选)数据库收录证书[J];防护工程;2019年06期
18 徐山;;欧洲职业培训发展中心启动新职业教育和培训数据库[J];世界教育信息;2020年02期
19 王明菊;;大数据思维下数据库教育模式改革探索[J];计算机产品与流通;2020年03期
20 于翔;;数据库的安全重要性以及带来的风险[J];计算机产品与流通;2020年04期
中国重要会议论文全文数据库 前10条
1 王国英;何晨光;;简析车载信息数据库框架的选择[A];第十七届中国科协年会——分7 综合轨道交通体系学术沙龙论文集[C];2015年
2 臧洪国;;数据库一体机对于运营商计费系统转载的应用探索[A];四川省通信学会2015年学术年会论文集[C];2015年
3 刘建;蒲永文;李银昌;;中药成方制剂中风湿病相关方剂数据库的建立与处方分析[A];中国中药杂志2015/专集:基层医疗机构从业人员科技论文写作培训会议论文集[C];2016年
4 苏拉玉;赵征;邢惠凌;马永富;;生产中数据库间通讯的实现[A];2009年河北省冶金学会炼钢—连铸技术与学术年会论文集[C];2009年
5 陆洪毅;王志英;赵龙;;高性能数据库的应用支持[A];第十六届全国数据库学术会议论文集[C];1999年
6 ;第二十届全国数据库学术会议组织机构名单[A];第二十届全国数据库学术会议论文集(研究报告篇)[C];2003年
7 ;第二十一届中国数据库学术会议组织机构名单[A];第二十一届中国数据库学术会议论文集(研究报告篇)[C];2004年
8 ;第二十二届中国数据库学术会议组织机构名单[A];第二十二届中国数据库学术会议论文集(研究报告篇)[C];2005年
9 ;第二十三届中国数据库学术会议组织机构名单[A];第二十三届中国数据库学术会议论文集(研究报告篇)[C];2006年
10 ;第二十四届中国数据库学术会议组织机构名单[A];第二十四届中国数据库学术会议论文集(研究报告篇)[C];2007年
中国重要报纸全文数据库 前10条
1 李晨;首个园艺类作物全基因组变异数据库发布[N];中国科学报;2020年
2 见习记者 高雅丽;最新版《中国评价核数据库》发布[N];中国科学报;2020年
3 张环宇;《中国评价核数据库》最新版发布[N];中国能源报;2020年
4 YMG记者 逄苗 通讯员 晓波 鹏程 雅静;民情数据库里听民声[N];烟台日报;2018年
5 人民音乐出版社 张洁;数字时代传统期刊与文献信息数据库共生关系杂议[N];新华书目报;2019年
6 陈立文 中国文化大学史学系教授;数据库“走出去”要跨地域、跨语言[N];国际出版周报;2019年
7 记者 李强 通讯员 李云云;将建全省不良记录驾驶员数据库[N];南方日报;2019年
8 黄利平;保护民间传统建筑亟待建立大数据库[N];中国文物报;2019年
9 通讯员 王伟 记者 谈洁 实习生 蔡嘉妮;“软硬”兼施安全锁 保卫云上数据库[N];南京日报;2019年
10 记者 刘晓倩;我国最大盐湖资源环境信息数据库建成[N];中国科学报;2018年
中国博士学位论文全文数据库 前10条
1 汤宏胜;激光诱导击穿光谱数据库和含能材料数据库的建立及应用[D];西北大学;2016年
2 刘然;负数据库生成算法及应用研究[D];中国科学技术大学;2013年
3 骆轶姝;数据库权益管理模式及应用研究[D];东华大学;2011年
4 强彦;数据库负载自适应技术研究[D];太原理工大学;2010年
5 马琼;先心病数据库的建立与临床应用[D];中国协和医科大学;2005年
6 卢罡;数据库累积异常的主动模糊识别方法研究[D];北京化工大学;2008年
7 史纪安;江河源区生态环境质量评价及数据库研建[D];西北农林科技大学;2006年
8 郭亦然;基于三维数据库搜寻的中药信息学研究[D];北京中医药大学;2006年
9 唐合文;基于国家作物种质资源数据库的知识发现研究[D];中国农业科学院;2007年
10 张远伟;生殖生物学相关的生物信息工具和数据库的开发[D];中国科学技术大学;2012年
中国硕士学位论文全文数据库 前10条
1 刘智;面向多系统的数据库调优[D];中国科学院大学(中国科学院深圳先进技术研究院);2020年
2 刘月兰;生物信息学数据库的设计与实现[D];黑龙江大学;2005年
3 林方圆;商业化数据库权利行使的法律保障[D];东南大学;2016年
4 谢佳佳;非独创性数据库法律保护的路径研究[D];华东政法大学;2015年
5 卢炎红;论我国数据库的法律保护模式[D];福州大学;2010年
6 罗曼;数据库出版发展研究[D];武汉理工大学;2013年
7 程文琛;独立于应用的数据库聚类技术研究[D];合肥工业大学;2013年
8 叶秀明;数据库特殊权利保护研究[D];福建师范大学;2010年
9 彭爽;外文法律数据库对我国法学研究和教学的影响[D];湘潭大学;2011年
10 林娜;数据库的反不正当竞争法保护研究[D];湘潭大学;2009年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978