收藏本站
《天津大学》 2017年
收藏 | 手机打开
二维码
手机客户端打开本文

基于缓存管理的天文子图高效生成算法研究

王洁  
【摘要】:普适图像传输系统(Flexible Image Transport System,FITS)是一种在天文学领域被广泛应用的天文图像数据归档和交换的标准格式。随着望远镜建造技术的进步和大型数字巡天项目的增加,存储观测数据的FITS文件的数量呈现出爆炸式的增长且单个FITS文件的大小从几MB到GB甚至TB不等。然而在大多数应用场景中,天文学家仅需要对包含目标天体或目标天区的FITS文件的局部图像做相关计算和分析,尤其是在虚拟天文台技术的大背景下,各个数据中心的FITS文件之间的传输和交换更加频繁,全图的传输首先会导致过长的网络传输时间和过大的网络带宽的消耗,且为了研究目标区域而对全图做计算和分析也会造成计算资源的浪费,因此天文工作者需要一个高效的子图检索服务使其摆脱繁琐的数据预处理工作、专注于真正的天文研究。本文针对上述需求,提出了一种基于缓存磁盘管理的FITS文件子图的高效生成服务,设计并实现了对用户请求模式敏感的PA缓存替换策略。其中,坐标映射方法通过将用户请求的目标区域边界模糊化,用较少的缓存空间消耗换取了更多的缓存命中机会;子图合并策略通过合并缓存过程中出现的相似子图,大大节省了缓存空间进而可以将更多有效内容放入缓存提高命中率;缓存替换的优先级算法兼顾了请求的时效性、频繁性以及文件的大小三个因素,更合理地替换掉相对冷门的数据,保证了缓存的自适应能力。针对重载情况下PA缓存替换策略得到的平均响应时间仍然较长的缺陷,文章最后提出了一个对请求队列作预处理的PA-G缓存替换策略,在原PA策略上增加了对请求队列的维护和分组、提前合并子图等工作,改进了PA缓存管理方法。实验表明,PA缓存替换策略相比于分别应用在缓存全图和缓存子图上传统的LRU,LFU和LRFU策略,在缓存磁盘容量与被查询文件大小总量比约为23%时仍能保持72%的缓存命中率,拥有最低的平均响应时间;改进的PA-G缓存替换策略比原PA策略在重载下能将平均响应时间降低81.8%。
【学位授予单位】:天津大学
【学位级别】:硕士
【学位授予年份】:2017
【分类号】:P11;TP333

【相似文献】
中国期刊全文数据库 前10条
1 鲁慧民;冯博琴;宋擒豹;;频繁子图挖掘研究综述[J];微电子学与计算机;2009年03期
2 王映龙;杨珺;周法国;唐建军;;加权最大频繁子图挖掘算法的研究[J];计算机工程与应用;2009年20期
3 杨盛;;频繁子图挖掘算法的若干问题[J];采矿技术;2011年05期
4 张平;图与子图的概念[J];计算机工程与应用;1983年07期
5 王映龙;杨炳儒;宋泽峰;陈卓;李琳娜;;一种挖掘最大频繁子图的新算法[J];系统仿真学报;2008年18期
6 左黎明;汤鹏志;徐保根;;图的最大公共连通子图问题研究[J];计算机应用;2010年03期
7 张林;张莉;;基于子图显著性剖面的软件超家族[J];计算机研究与发展;2011年02期
8 沈立;张晨曦;吕雅帅;王志英;;指令扩展中相关子图的分析与处理[J];计算机辅助设计与图形学学报;2009年10期
9 詹卫许;王桂娟;;基于频繁子图的图分类方法研究[J];现代计算机(专业版);2010年03期
10 骆挺;钟才明;陈辉;;基于完全子图的社区发现算法[J];计算机工程;2011年18期
中国重要会议论文全文数据库 前4条
1 徐以凡;;层分解和子图识别问题[A];2001年全国数学规划及运筹研讨会论文集[C];2001年
2 陶剑文;丁佩芬;赵杰煜;;csgIndex:一种可扩展的对比子图索引模型[A];第二十七届中国控制会议论文集[C];2008年
3 吴卫江;李国和;;Apriori算法思想在频繁子图挖掘中应用的研究[A];第六届全国信息获取与处理学术会议论文集(2)[C];2008年
4 吴颖华;周皓峰;袁晴晴;洪铭胜;汪卫;施伯乐;;Topology:一个快速的频繁连通子图的挖掘算法[A];第二十届全国数据库学术会议论文集(技术报告篇)[C];2003年
中国博士学位论文全文数据库 前10条
1 李斌龙;重子图条件下图的Hamilton性及相关问题[D];西北工业大学;2016年
2 蔺厚元;禁用子图与图的哈密尔顿性[D];华中师范大学;2012年
3 毛玲;基于层次因子图的心电图自动诊断方法研究[D];国防科学技术大学;2009年
4 崔庆;Tutte子图方法及其应用[D];南开大学;2009年
5 吴云建;一致星因子图与笼的连通性[D];南开大学;2009年
6 任婧;内容中心网络架构及相关技术研究[D];电子科技大学;2015年
7 胡晓艳;缓存可感知的路由机制研究[D];东南大学;2015年
8 曾宇晶;信息中心网络服务缓存方法研究[D];北京交通大学;2016年
9 陈顼颢;众核加速器的缓存管理[D];国防科学技术大学;2014年
10 陈志广;基于SSD的多层次存储结构关键技术研究[D];国防科学技术大学;2013年
中国硕士学位论文全文数据库 前10条
1 王洁;基于缓存管理的天文子图高效生成算法研究[D];天津大学;2017年
2 范淦;高效的庞大图的频繁子图挖掘方法研究[D];辽宁大学;2015年
3 魏真真;大规模不确定图紧密子图挖掘算法研究[D];燕山大学;2015年
4 齐宝雷;面向不确定图数据的子图模式挖掘算法的研究与实现[D];东北大学;2013年
5 王会会;精确子图数据库查询技术研究[D];哈尔滨工业大学;2014年
6 白杨;复杂网络图中高密度子图检测方法与实现[D];西安电子科技大学;2014年
7 王鹏;基于局部邻域的最大密度子图检测方法研究与实现[D];西安电子科技大学;2014年
8 王璐璐;不确定图上Top-k子图相似性查询技术研究[D];东北大学;2014年
9 张天明;大图上频繁子图挖掘算法的研究[D];东北大学;2014年
10 王峰;基于众核平台子图匹配算法研究[D];北京理工大学;2016年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026