收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

云环境中的移动文件存储和时空数据分析关键技术研究

毛华坚  
【摘要】:云计算是近年来蓬勃发展的一个重要领域。云计算环境下的海量数据存储、管理与分析存在诸多挑战,其中时空数据存储访问和应用分析已成为云环境下数据研究的重要方向。一方面,随着个人数字终端的普及,移动设备势必成为数字化社会中数据的重要来源。移动设备产生的数据往往具有时空特性,如何为移动设备提供便捷的海量时空数据存储访问机制是云计算环境下数据管理的一大关键问题。另一方面,复杂的时空数据特性势必成为影响数据分析的关键因素,如何为时空数据提供准确而高效的应用分析能力是云计算环境下数据管理的又一关键问题。本文针对时空数据管理和数据分析展开深入研究,主要解决移动设备访问异构云存储资源效率不高、使用不方便等问题,克服时空数据使用过程中数据不精确、数据量庞大等因素带来的挑战。本文的研究工作和创新点如下: (1)提出了一种基于文件系统的异构云存储服务无缝统一访问方法Wukong。 目前不同的云存储服务访问接口各异,由于缺乏无缝访问多种云存储服务的统一接口,时空数据应用不能够不加修改地直接访问和使用后端云存储数据。文件系统是被应用程序广泛支持的一种数据使用接口,以文件系统接口封装各种云存储服务可以保证应用程序对异构云存储服务的直接访问。本文首次提出了一种基于文件系统的异构云存储服务无缝统一访问方法Wukong文件系统。Wukong通过异构服务接口抽象封装技术,实现了对多种云存储服务的一致化管理,保证时空数据应用对异构云存储服务的统一访问。Wukong通过基于桥接模式的接口封装技术,实现了云存储访问接口到文件系统接口的转换,保证时空数据应用程序对云存储服务的透明访问。针对移动环境,本文通过自适应压缩及离线服务伪装等优化技术,降低了系统对网络环境的要求,保证移动设备在不同环境下对云存储服务的有效访问。 (2)提出了一种支持多数据视图的跨设备文件同步机制EaSync。 由于个人数字设备日益普及,人们往往拥有多个设备。在时空数据应用使用、收集数据过程中,设备之间的数据可以相互辅助应用,例如设备可以使用采集的GPS数据来修正地图数据,也可以使用地图数据来进一步提高采集得到的GPS数据的精度等。因此,多个设备之间数据的透明同步服务有利于为时空数据应用提供更好的支撑与保障。但是,由于设备用途及处理能力不同,各种设备所需要且能处理的文件集合(即数据视图)存在差异,如何为多个设备提供异构的数据视图是同步服务的一大挑战。针对数据同步服务面临的设备种类众多、数据视图变化快、视图差异大等问题,本文提出了一种支持多数据视图的跨设备文件同步机制EaSync。EaSync通过基于时间戳的文件同步机制,保证数据跨设备访问的一致性,实现了数据在服务端与多个设备端之间的同步存储。EaSync通过基于树型结构的视图组织方式,实现了差异视图的层次化管理,解决了数据视图更新快、差异大的问题。 (3)提出了一种基于传统地图匹配算法的交互式真实路径发现方法。 随着各类交通信息服务需求的不断增长,智能交通系统在社会生活中日趋重要。构建有效的智能交通系统依赖于大量的GPS时空数据,而原始GPS数据存在精度不高的问题。地图匹配算法是用来提高数据精度的常用方法,但是传统的地图匹配算法存在真实路径缺失的问题。本文提出了一种交互式的真实路径发现方法TruthFinder,通过人工评估调整与传统地图匹配算法相结合的路径发现技术,从历史轨迹数据中准确地发掘出真实路径信息,解决传统地图匹配算法真实路径缺失的问题。本文通过基于用户操作次数统计的开销模型分析,提出了地图匹配算法自主选择与人为误差有效避免等的优化策略,实现了大规模真实路径的快速生成。实验分析表明,TruthFinder在保证生成的真实路径的精度的同时,降低了人工操作的评估与调整开销,提高了真实路径的发现效率。 (4)提出了面向时空数据的并行化索引创建和并行化数据聚类分析方法。 随着时空数据的不断增长,现有的索引创建方法与聚类分析算法已无法处理当前庞大的数据集合,针对大规模时空数据的索引创建与聚类分析是海量时空数据挖掘的重大难题。本文提出了面向时空数据的并行化索引创建和并行化数据聚类分析方法。通过基于MapReduce模型的并行化处理框架,本文实现了时空数据索引的自底向上打包创建,解决了传统索引创建方法面对海量时空数据所带来的主存容量有限、处理周期过长甚至无法处理的问题;本文提出了并行的DBScan聚类分析算法,解决了大规模时空数据聚类分析中数据分区困难、局部分簇合并复杂的问题,为时空大数据的处理提供了技术基础。通过实验分析表明,我们的并行化方法在保证数据处理性能的同时具良好的可扩展性,解决了数据量庞大、计算复杂所带来的主存容量受限、处理周期过长等问题。 通过以上四方面研究,我们为云计算环境下的海量数据存储、管理与分析提供了有力的技术支撑。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 季民,靳奉祥,李云玲,张连蓬;海洋GIS时空数据组织框架模型研究[J];山东科技大学学报(自然科学版);2004年03期
2 尹章才,李霖,朱海红;土地划拨中基于网状的时空数据模型研究[J];测绘信息与工程;2004年06期
3 骆剑承,周成虎,梁怡,裴韬;时空数据智能化处理与分析的理论和方法探讨[J];中国图象图形学报;2001年09期
4 龚健雅;GIS中面向对象时空数据模型[J];测绘学报;1997年04期
5 尹章才,李霖;GIS中的时空数据模型研究[J];测绘科学;2005年03期
6 陈捷,唐世渭,杨冬青,王腾蛟;面向移动环境的时空数据挖掘研究现状与展望[J];计算机工程与应用;2002年16期
7 赵辉;陈秋双;;非确定性查询及其在无约束运动中的应用[J];计算机工程;2006年05期
8 林广发,王雷,黄蔚;房产信息系统中的时空数据管理[J];计算机应用;2002年06期
9 童小华;;时空数据质量与模型[J];地理信息世界;2009年02期
10 徐爱萍;胡力;舒红;;空间克里金插值的时空扩展与实现[J];计算机应用;2011年01期
11 黄照强,冯学智;基于PETRI网的土地变更时空过程建模[J];测绘学报;2005年03期
12 陈海永;刘良旭;;一种基于公路网络的高效更新索引结构[J];杭州电子科技大学学报;2008年03期
13 徐艳;孙燕;;无线传感器网络时空数据聚集查询算法[J];南京师范大学学报(工程技术版);2008年04期
14 张保钢;;时空数据的可视化表达研究[J];北京测绘;2006年03期
15 柴思跃;苏奋振;周成虎;;基于周期表的时空关联规则挖掘方法与实验[J];地球信息科学学报;2011年04期
16 曹志月,刘岳;一种面向对象的时空数据模型[J];测绘学报;2002年01期
17 夏慧琼;李德仁;邵振峰;郑春燕;;一种时空数据静态可视化表达方法[J];测绘科学;2008年06期
18 黄轶,龚丽芳;土地利用现状数据库建设和应用中问题的探讨[J];北京测绘;2003年03期
19 杨永崇,郭达志;城乡一体化地籍信息系统的时空数据模型[J];西北农林科技大学学报(自然科学版);2005年06期
20 张军,王红;地籍数据库的时空数据组织设计[J];华中农业大学学报(社会科学版);2005年01期
中国重要会议论文全文数据库 前10条
1 季民;靳奉祥;李婷;艾波;赵相伟;;基于格网的海洋时空数据组织策略研究[A];《测绘通报》测绘科学前沿技术论坛摘要集[C];2008年
2 刘纪远;;国家资源环境时空数据基础及其在资源环境研究中的应用[A];第十三届全国遥感技术学术交流会论文摘要集[C];2001年
3 刘纪远;;资源环境时空数据基础与地理科学方法论的创新(摘要)[A];中国科协2001年学术年会分会场特邀报告汇编[C];2001年
4 刘纪远;;资源环境时空数据基础与地理科学方法论的创新[A];海峡两岸地理学术研讨会暨2001年学术年会论文摘要集[C];2001年
5 周晓光;陈军;李志林;朱建军;蒋捷;;基于对象状态变化的时空数据动态操作算子[A];中国地理信息系统协会第三次代表大会暨第七届年会论文集[C];2003年
6 杨晓梅;杜云艳;苏奋振;仉天宇;;GIS与卫星遥感在中国海岸带应用中的技术系统建设[A];第十四届全国遥感技术学术交流会论文摘要集[C];2003年
7 赵莹;柴彦威;马修军;;个体时空行为数据采集、分析及城市规划的应用前景[A];中国地理学会百年庆典学术论文摘要集[C];2009年
8 祁毅;蒋海兵;徐建刚;张翔;;多重空间区划下探索性空间因子相关分析系统研究[A];地理学核心问题与主线——中国地理学会2011年学术年会暨中国科学院新疆生态与地理研究所建所五十年庆典论文摘要集[C];2011年
9 林广发;冯学智;江辉仙;;时空数据模型建模方法研究[A];中国地理信息系统协会第八届年会论文集[C];2004年
10 崔伟宏;史文中;李小娟;;基于特征的时空数据模型研究及在土地利用变化动态监测中的应用[A];全国地图学与GIS学术会议论文集[C];2004年
中国博士学位论文全文数据库 前10条
1 毛华坚;云环境中的移动文件存储和时空数据分析关键技术研究[D];国防科学技术大学;2013年
2 曹蕾;基于G/S模式的突发事件时空平行演化方法研究与实现[D];成都理工大学;2013年
3 夏英;智能交通系统中的时空数据分析关键技术研究[D];西南交通大学;2012年
4 季民;海洋渔业GIS时空数据组织与分析[D];山东科技大学;2004年
5 张山山;地理信息系统时空数据建模研究及应用[D];西南交通大学;2001年
6 尹华罡;基于海量时空数据的路线挖掘与检索[D];中国科学技术大学;2012年
7 唐远彬;土地利用更新的联动机制与增量提取[D];浙江大学;2011年
8 陈品一;基于艾滋病时空数据的防治效果综合评价模型研究[D];第三军医大学;2013年
9 陈志泊;GIS中栅格数据时空数据模型及其应用的研究[D];北京林业大学;2005年
10 牛继强;面向土地用途分区的空间数据挖掘[D];武汉大学;2010年
中国硕士学位论文全文数据库 前10条
1 王文杰;矢量时空数据几何变化检测方法研究[D];兰州交通大学;2013年
2 柏禄一;时空数据XML建模方法的研究[D];东北大学;2010年
3 欧阳斯达;时空数据的三维动态可视化技术研究[D];中国测绘科学研究院;2011年
4 吴振华;基于时空数据流的连续查询处理[D];西安电子科技大学;2011年
5 袁庆;长江口的河口海岸数据服务一体化系统关键技术研究[D];华东师范大学;2011年
6 周辉;露天矿时空数据模型理论研究[D];辽宁工程技术大学;2012年
7 王慧敏;基于G/S模式的时空数据渲染方法及其在山洪灾害中的应用研究[D];成都理工大学;2013年
8 彭绚凰;基于TAG的时空数据挖掘算法的研究[D];华东理工大学;2014年
9 周辉;基于基态修正模型的时空数据增量更新与查询方法研究[D];中南大学;2010年
10 陈静;基于ArcGIS的动态显示模型开发与应用[D];华东师范大学;2005年
中国重要报纸全文数据库 前10条
1 杨铮;我国首个基础地理信息动态数据库系统建成[N];中国测绘报;2009年
2 刘琳;地理信息系统发展趋势[N];中国测绘报;2008年
3 李德仁;论天地一体化的大测绘[N];中国测绘报;2004年
4 本报记者  付毅飞;地球空间信息学迈向海陆空天[N];科技日报;2006年
5 孙定;遥感国土资源 服务持续发展[N];计算机世界;2006年
6 李德仁;地球空间信息学的机遇[N];中国测绘报;2004年
7 陈军;构建多维动态地理空间框架数据[N];中国测绘报;2004年
8 高建敏;创立崭新理论 解答古老难题[N];科技日报;2009年
9 中国人民大学信息学院 郝兴;移动数据管理待补课[N];中国计算机报;2008年
10 奚雪松 北京大学景观设计学研究院;历史舆图与现代空间信息技术相结合方法研究[N];中国文物报;2009年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978