收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

三维空间数据引擎多级缓存管理技术研究

王玭茜  
【摘要】:由于三维空间数据具有结构复杂、类型繁多、数据量庞大、空间分布不均衡、个体对象的差异性以及多细节层次表达的特性。如何有效地实现地上-地下的地理-地质空间数据的一体化存储、管理、分析、处理和应用,是当前地学信息科学领域的前沿课题。三维空间索引、多级缓存与动态调度是解决三维空间数据管理中不同类型的地上地下、室外室内三维空间数据的一体化组织、大规模三维空间数据并行管理的关键技术。 在分析已有缓存管理算法和空间数据引擎缓存模块的基础上,论文在充分综合三维空间数据引擎和空间数据库技术等多种信息技术的基础上,结合地质空间数据多源、多类、多量、多维、多尺度、多时态、多主题的特点,兼顾三维空间数据的充分共享及高效利用问题,提出适用于地上地下、室外室内三维空间数据的缓存管理模型,开发出适用于文件系统、关系型数据库管理系统及其集群并行管理系统等三种不同的应用模式的海量三维空间数据调度引擎的多级缓存管理模块。 缓存技术一直是提高系统性能的一个重要途径。为了一体化的组织、管理、调度不均匀分布的地上地下、室外室内的三维空间数据,满足三维实时可视化应用的高效数据调度需求,本论文主要对海量三维空间数据引擎数据调度中的多级缓存管理进行相关的探讨。针对三维实时可视化应用的高效数据调度需求,设计一种高效的缓存管理体系,并在三维空间数据管理系统的三维空间数据引擎中实现应用。论文的主要研究内容如下: 1)替换算法研究:传统的缓存替换算法判断标准都比较单一,基本上只对一类访问模式有比较好的效果。为了弥补传统替换算法主要是利用对数据块的访问频率或者最近的访问时间为判断标准,不能考虑到数据库运行的实际情况的问题,本文把数据库查询运行的实际执行信息加入考虑,提出了综合查询频率和时间的缓存替换方法。 2)实现缓存池及其管理算法:从面向对象的思想入手,将对象类型作为分类依据,分池缓存被调度对象。设计对象关联查询算法,在查询对象时如何进行关联查询、调度,组织成完整对象。 3)建立多级缓存:实现服务器/客户端、硬盘/内存/显存多个层次的多级缓存统一管理机制,同时提供针对支持文件系统和典型商业数据库管理系统(如Oracle 11g数据库管理系统)及其集群并行管理系统三种不同的应用模式的统一访问接口。 4)研究自适应缓存机制:将缓存数据使用与缓存设置调整在不同的线程中实现,通过查询统计结合系统资源使用情况等自适应得进行缓存动态调整,使缓存具有高效的性能,减少系统资源的争夺。 5)预调度算法研究:结合缓存对象的空间特性和空间索引的特点,同时兼顾系统的内存容量和CPU的计算能力,设计出适用于三维空间数据的自适应预调度算法。 综上所述,本文针对多细节层次真三维空间数据自适应可视化的需求以及大规模三维空间实体数据实时可视化过程中的I/O瓶颈和资源竞争问题,研发了基于三维空间数据内容的自适应多级缓存管理体系,将三维空间数据的实时调度与预调度进行有机结合,综合系统资源实施使用情况,采用多线程机制对缓存管理进行适时调整,有效提高三维空间数据查询的命中效率,减小对系统资源的争夺,以满足无缝集成可视化高效的数据请求需要。其中,主要的创新点为: 1)基于对象缓存池的缓存管理:缓存管理技术将对象类型作为分类依据,分池缓存被调度对象。采用对象缓存池,解决了单一缓存队列中存放多种类型的数据项,对象查询比对繁琐的问题。基于对象缓存池方式管理缓存数据对象,通过缓存管理类管理所有缓存池,各对象缓存池采用独立的访问管理模式。对象关联查询算法在查询一个对象时对其子对象(或者关联项)进行关联查询、调度,组织成一个完整对象返回。该缓存管理算法可以显著地降低对象调度组织时间,避免了对象模型无法动态组织、统一调度问题。 2)自适应缓存调整:按照缓存对象类型进行分缓存池管理,根据缓存项、缓存池查询记录,自适应调整缓存及缓存池设置。提出了基于数据对象频率和时间的替换算法,依据数据库查询运行的实际执行信息、系统资源使用信息实现缓存替换算法的动态管理、自适应调整。 3)空间关系约束下的缓存结构设计:为缓存中的对象建立空间索引树,该方法将空间因素加入缓存,扩展了传统的基于时间和命中率为替换依据的缓存替换算法。可用于强制替换指定空间位置的缓存对象;可以支持基于缓存项聚类的预调度算法。 本文所取得的这些研发成果,已经成功地在国家高技术研究发展计划(863计划)地球观测与导航技术领域重点项目相关课题联合研发的GeoScope系统平台上实现,并在武汉市国土与城市规划局的城市规划管理信息系统中得以成功应用。本项研究的成果可满足室内外寻径、漫游、储量估算、油气模拟、地质分析等需要对海量三维空间数据进行快速调度的应用。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 史翠竹,余松煜,苏鹏程;视频点播系统中客户端的缓存管理和码率控制策略研究[J];计算机工程与应用;2004年07期
2 姚凌;孙文波;纪红;乐光新;;一种保护TCP流的AFRED缓存管理算法[J];北京邮电大学学报;2006年01期
3 杨自芬;;基于AQM的网络拥塞控制研究[J];科技信息;2008年27期
4 程东年,刘增基;一种新的缓存空间动态分配机制及其分组丢失率分析[J];电子学报;2001年05期
5 万国根,秦志光;网络环境下多机通信技术研究[J];计算机应用;2003年08期
6 温蜀山,李乐民,孙海荣;Internet中分组丢弃缓存管理技术的研究[J];通信学报;2002年07期
7 李栋;赵珑;张有志;;层次型移动IPv6快速切换中的缓存管理[J];计算机工程与科学;2007年03期
8 林海旦;赵葆华;倪建克;;基于缓存的MP2P网络数据查询策略研究[J];计算机应用与软件;2008年06期
9 李锁钢,徐恪,吴建平;面向变长分组的多优先级动态域值缓存管理算法[J];电子学报;2002年08期
10 姚凌;孙文波;纪红;乐光新;;一种自适应的FRED缓存管理算法[J];电路与系统学报;2008年01期
11 何晓蓉;周东;;FC-AL系统中FPGA的弹性缓存设计[J];单片机与嵌入式系统应用;2010年01期
12 向阳,杨树强,蔡建宇,贾焰;基于大规模事务处理系统的中间层语义缓存技术的研究[J];计算机应用;2005年08期
13 杜方;顾峰;宋丽娟;王钊;;位置感知查询中的协作缓存管理[J];计算机工程与应用;2008年32期
14 孟晓烜;李一鸣;卜庆忠;纪海涛;许鲁;;一种面向存储服务的缓存管理模型[J];计算机工程;2009年01期
15 谢桂园;魏文国;;并行文件系统的框架设计和性能研究[J];计算机工程;2009年11期
16 林楠;梁义维;武兵;;多优先级需求下的路由器缓存管理[J];计算机工程与应用;2010年26期
17 王凤龙;许可;李智伟;;MIPv6环境下提高平滑切换缓存利用率方法的研究[J];计算机应用研究;2006年04期
18 张羿猛;黄芝平;毕占坤;王跃科;;共享缓存分组交换系统中的最佳阈值Pushout策略[J];计算机工程;2006年08期
19 姜涛;钟亦平;吕智慧;;基于PeerCast的P2P流媒体多点播放缓存管理设计[J];计算机应用与软件;2009年06期
20 朱晓瑜;裴廷睿;胡汀;田淑娟;;一种新的队列管理机制在无线Mesh网络中的应用[J];计算机工程与应用;2010年06期
中国重要会议论文全文数据库 前10条
1 司成祥;孟晓烜;许鲁;;基于性能隔离的缓存优化技术研究[A];2010年第16届全国信息存储技术大会(IST2010)论文集[C];2010年
2 艾驰;;空间数据仓库与信息集成研究难点与现状[A];全国测绘科技信息网中南分网第二十一次学术信息交流会论文集[C];2007年
3 艾驰;;空间数据仓库与信息集成研究难点与现状[A];2007'全国测绘科技信息交流会暨信息网成立30周年庆典论文集[C];2007年
4 李彬;倪桂强;张雪;朱航;;移动IP中一种改进的基于代理的缓存管理方案[A];2010通信理论与技术新发展——第十五届全国青年通信学术会议论文集(上册)[C];2010年
5 刘少伟;王永海;文中领;;基于磁盘块保护的优化缓存管理机制[A];2010年第16届全国信息存储技术大会(IST2010)论文集[C];2010年
6 孟晓烜;那文武;徐伟;卜庆忠;许鲁;;一种针对存储服务器设计的动态分区缓存管理系统[A];第15届全国信息存储技术学术会议论文集[C];2008年
7 苏清博;许都;刘同;;基于Torus交换网络的微片大小分析及VC动态管理[A];四川省通信学会2006年学术年会论文集(二)[C];2006年
8 吴婷婷;周兴铭;;移动数据库客户缓存的研究[A];第十八届全国数据库学术会议论文集(技术报告篇)[C];2001年
9 张延松;张宇;薛永生;;基于XML DATABASE的网格数据库物化查询缓存机制[A];第二十二届中国数据库学术会议论文集(研究报告篇)[C];2005年
10 郑霄;陈红;杜晓勇;王珊;;基于语义数据块的两层缓存技术在并行数据仓库系统ParaWare中的实现[A];第十八届全国数据库学术会议论文集(研究报告篇)[C];2001年
中国博士学位论文全文数据库 前10条
1 温蜀山;Internet中基于分组丢弃技术的缓存管理算法研究[D];电子科技大学;2002年
2 刘期烈;机会网络中路由机制与缓存管理策略研究[D];重庆大学;2012年
3 叶凡;无线网络中移动数据缓存若干问题的研究[D];中国科学技术大学;2010年
4 陈远;无线网络中缓存管理与分组调度算法的研究[D];电子科技大学;2005年
5 刘玉;基于性能监测硬件支持的片上缓存资源管理技术[D];中国科学技术大学;2013年
6 唐丽均;机会网络数据转发与缓存调度研究[D];重庆大学;2013年
7 胡勇其;基于语义的数据对象访问和存储管理研究[D];中国科学院研究生院(计算技术研究所);2006年
8 吴艾;P2P流媒体共享系统若干问题的研究[D];电子科技大学;2009年
9 廖荣涛;对等环境下基于缓存数据特征的实时流媒体系统研究[D];华中科技大学;2008年
10 段翰聪;P2P流媒体分发技术研究[D];电子科技大学;2007年
中国硕士学位论文全文数据库 前10条
1 李广德;机会网络中缓存管理策略研究[D];重庆邮电大学;2013年
2 张普宁;节点连接态势感知的机会网络消息转发与缓存管理机制[D];重庆邮电大学;2013年
3 刘涛;内容中心网络访问时延优化技术研究[D];解放军信息工程大学;2013年
4 滕逸龙;视频点播系统中关键技术的研究[D];南京理工大学;2002年
5 卢杰骅;数据仓库架构设计及其缓存管理策略研究[D];浙江大学;2006年
6 范开钦;集群流媒体缓存代理服务器缓存管理系统研究[D];华中科技大学;2004年
7 苏清博;Torus交换结构的研究[D];电子科技大学;2007年
8 王欣;移动Agent在移动数据库中的应用技术研究[D];哈尔滨理工大学;2009年
9 陶永才;Web访问特征模拟器的设计与实现[D];郑州大学;2005年
10 李由;GPON OLT数据缓存管理的设计与实现[D];电子科技大学;2012年
中国重要报纸全文数据库 前10条
1 湖北 任珩;IE安全工具——IE Cool[N];电脑报;2002年
2 吴昱;QoS——IP业务的根本保证[N];人民邮电;2007年
3 阿朗;阿尔卡特朗讯拓展IP赢利空间[N];通信产业报;2007年
4 ;蓝光主导 性能保障[N];中国计算机报;2008年
5 北京 YUME;有我在,网页宝物哪里跑?[N];电脑报;2004年
6 ;为IP骨干网无“迹”提速[N];人民邮电;2002年
7 飞翔鸟2000;万转IDE硬盘讨论[N];中国电脑教育报;2003年
8 ;低端路由器内部挖潜[N];网络世界;2004年
9 ;SQL Anywhere Studio 9 为中小企业“量身定做”[N];中国计算机报;2003年
10 商武;USEI指控苹果等公司专利侵权[N];中国贸易报;2009年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978