收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于数据温度的冷热数据识别机制研究

解玉琳  
【摘要】:追求存储成本和系统性能的平衡一直是数据库管理系统设计的核心目标之一。现代数据库多采用混合存储架构,每一层存储介质都对应不同的存取速度和存储成本。而在数据库中存放的数据通常有冷热之分,如何准确地识别数据的冷热,根据数据的冷热程度将数据存储在不同的存储介质上,在保证系统性能的前提下最大程度的降低存储成本,这一直是数据库领域的研究热点。目前,识别冷热数据大多依赖于LRU等特定的数据结构,利用数据的相对位置来判定数据的冷热,无法全面反映数据的冷热程度,而且这种识别方式不可量化且不具有可持久性。所以,本文希望研究出一种科学的冷热数据识别方法,提高识别准确率并实现数据冷热程度的量化。本文的创新成果有以下几个方面:1.提出一种基于牛顿冷却定律的温度模型来衡量数据的冷热程度,能够实现数据冷热程度的量化和可视化,同时温度可作为数据的持久属性。2.在温度模型的基础上,提出基于温度模型的缓存替换策略TCR(Temperature Cache Replacement),与传统LRU算法相比,具有更高的缓存命中率。同时,为了克服单纯温度模型算法开销大的缺陷,提出将温度模型和LRU算法相结合的T-LRU(Temperature Least Recently Used)缓存替换策略,其命中率相比LRU算法可提升30%~150%,在缓存容量较小时提升尤为明显;在系统层面,T-LRU的访问延迟要低于LRU算法,系统性能更好。3.在电商业务的应用场景下,为了降低线上数据库和历史数据库的存储成本,分别提出基于温度模型和基于机器学习(GBDT)的冷热数据识别和迁移模型。在冷热数据的识别上,基于温度模型的识别准确率比LRU算法略好,同时模型开销较小;而基于机器学习模型的识别准确率可以达到90%以上,能够在保证系统的性能的前提下,尽早的将冷数据识别并迁移,降低存储成本。


知网文化
【相似文献】
中国期刊全文数据库 前19条
1 ;河流温度模型[J];环境科学丛刊;1987年03期
2 夏敏;袁立祥;;干扰温度模型及其可实现容量研究[J];通信对抗;2010年04期
3 郝晋豫,丁力行,陈季芬;青藏线冬季车外采暖及空调计算温度模型及应用[J];铁道机车车辆;2002年06期
4 符海东,肖文斌;武钢三炼钢转炉过程控制计算机中间目标温度模型介绍[J];武钢技术;1998年09期
5 董维中;高铁锁;丁明松;;高超声速非平衡流场多个振动温度模型的数值研究[J];空气动力学学报;2007年01期
6 周海波;刘建业;赖际舟;熊智;;光纤陀螺的离散动态温度模型[J];应用科学学报;2008年04期
7 王淑娟,黄显林,刘升才;加速度计温度模型的辨识[J];中国惯性技术学报;1997年01期
8 杨秀丽;;温度模型控制及优化在我厂的应用[J];北方钒钛;2015年02期
9 温翔麟;;高功率LED应用的温度模型建立和分析[J];中国电子商情(基础电子);2007年07期
10 张中平;余万华;;热轧板坯冷床温度模型的开发与校核[J];中国冶金;2005年11期
11 刘梅;于波;姚克敏;;体感温度模型在中国旅游气象区划中的应用[J];资源科学;2009年03期
12 王力;孙思庆;;基于多信号温度模型的机载电子板卡故障检测研究[J];计算机测量与控制;2015年06期
13 刘敏;用于分析大位移钻井数据的压力和温度模型[J];石油勘探与开发;2002年01期
14 刘梅,于波,姚克敏;以热量平衡为基础的体感温度模型及气候要素的效应分析[J];南京气象学院学报;2001年04期
15 王瑞梓,赵凤芝;纯铝热精轧的温度模型[J];轻合金加工技术;1996年08期
16 傅新;陈水宣;邹俊;杨华勇;;热轧带钢精轧过程的混合温度模型[J];浙江大学学报(工学版);2008年02期
17 梁锋;高建军;田学农;;垂直腔面发射激光器的温度模型[J];半导体学报;2007年07期
18 陈振杰,辛立国,章书寿;近地大气层测线温度模型的试验研究[J];测绘工程;2001年02期
19 郑鹏飞;陈俐;房成亮;;干式DCT主离合器的二参数温度模型研究[J];汽车工程;2018年06期
中国重要会议论文全文数据库 前10条
1 杨秀丽;宋晓静;;温度模型控制及优化在我厂的应用[A];2014年全国轧钢生产技术会议文集(下)[C];2014年
2 曲振宇;安俊君;张雷;;加热炉二级温度模型研究与优化[A];2014年全国轧钢生产技术会议文集(下)[C];2014年
3 唐俊雄;唐明华;杨锋;张俊杰;周益春;郑学军;;部分耗尽SOI MOSFETs中翘曲效应的温度模型(英文)[A];第六届中国功能材料及其应用学术会议论文集(2)[C];2007年
4 何凌云;龚彩军;赵强;刘畅;武凯;贾雷;;京唐1580mm热连轧精轧区温度模型及其应用[A];2012年全国轧钢生产技术会论文集(上)[C];2012年
5 涂安全;李卫兵;;基于温度预估的催化器过热保护标定研究[A];2012安徽省汽车工程学会年会论文集[C];2012年
6 吴萍;刘涤尘;施希;赵洁;;压水堆核电站的相关模型建立及仿真研究[A];湖北省电工技术学会、武汉电工技术学会2008年学术年会暨理事会换届大会论文集[C];2008年
7 王辉;吴亮;张起森;;沥青路面实测温度场的分析[A];中国公路学会2007年学术年会论文集(下)[C];2007年
8 潘涛;侯桂玉;王忠华;于宏宇;黎荣华;;热轧带钢粗轧区出口温度计算[A];全国冶金自动化信息网2013年会论文集[C];2013年
9 韩冰;徐清雷;邓正隆;;光学陀螺漂移模型温度建模实验研究[A];中国惯性技术学会测试专业委员会第八次学术交流会论文集[C];2003年
10 费静;李文斌;曹忠孝;杨春雨;杨东晓;宋宝宇;;热连轧精轧设定模型及其优化方法研究[A];第七届(2009)中国钢铁年会大会论文集(中)[C];2009年
中国博士学位论文全文数据库 前3条
1 陈水宣;热轧带钢温度建模和数值模拟[D];浙江大学;2008年
2 张慧源;电力设备载流故障预警与预测的若干关键技术研究[D];浙江大学;2014年
3 牛铭奎;干式DCT离合器温度模型及其灰色预测控制研究[D];吉林大学;2008年
中国硕士学位论文全文数据库 前10条
1 解玉琳;基于数据温度的冷热数据识别机制研究[D];浙江大学;2019年
2 王源杰;考虑多振动温度模型的高温气体效应数值模拟研究[D];国防科学技术大学;2016年
3 孙升华;石英玻璃微铣削温度模型及其效应研究[D];河北工业大学;2016年
4 孙思庆;机载电子板卡故障检测元器件红外温度模型研究[D];中国民航大学;2015年
5 姜志刚;数据中心温度感知任务调度技术研究[D];南京大学;2014年
6 王娟;高山草原四种野豌豆属种子萌发的水热响应[D];兰州大学;2012年
7 高强;西咸北环高速公路建筑垃圾填方路堤温湿度分布规律研究[D];长安大学;2016年
8 熊玉杰;干式离合器摩擦片温度模型研究[D];北京理工大学;2016年
9 崔选科;基于BP网络的玻璃温室温度模型研究与监测系统设计[D];西北农林科技大学;2014年
10 徐丹;高温热化学非平衡模型研究[D];国防科学技术大学;2012年
中国重要报纸全文数据库 前2条
1 郭亚芬;宝钢推出RH精炼温度模型[N];中国冶金报;2002年
2 ;百时宜(PSI) PSImetals软件[N];中国计算机报;2010年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978