收藏本站
《中国测绘科学研究院》 2015年
收藏 | 手机打开
二维码
手机客户端打开本文

互联网多源矢量空间数据自动获取与管理方法研究

蔡地  
【摘要】:开展互联网条件下的多源矢量空间数据获取与管理方法的研究,能够实现对互联网中广泛存在的多源矢量空间数据进行高效的获取、解析与管理,为GIS空间分析和空间数据挖掘提供更为丰富和实时的数据源,为大数据时代的地理信息技术研究提供便利。本文重点研究互联网条件下的矢量空间数据获取与管理技术。针对一般聚焦爬虫数据爬取方式单调、爬取效率低等问题进行优化,提出基于多线程并行和异步I/O模型的方法协同提升Web矢量空间数据获取的效率;针对多源异构的矢量空间数据结构,研究一种基于模板映射的数据解析方式,相比常规Web数据解析中使用的正则表达式解析法在准确性和稳定性方面均有提升;针对Web矢量空间数据结构复杂多变的问题,研究基于MongoDB对矢量空间数据进行对象化存储,有效的降低了空间数据管理的复杂度。本文的主要工作包括:1)提出了一种多策略并行的Web矢量空间数据高效获取方法。基于聚焦爬虫技术,在研究了多种开源爬虫框架的基础上,提出通过多线程和异步I/O两种策略,优化矢量空间数据的获取效率。2)提出基于模板映射的多源矢量空间数据自动解析技术。通过将结构化和半结构化文本数据转化为树状结构对象,基于给定的模板对互联网中的异构矢量空间数据进行解析,相比传统的正则表达式解析法来说,本方法在维持较高的解析准确度的基础上,通过模板映射技术有效提升了解析的稳定性。3)提出一种基于MongoDB数据库的多源矢量空间数据对象化存储方法,可管理由Web爬虫获取到的矢量空间数据。并提出了一系列REST数据管理API,实现矢量空间数据在云环境下的管理。4)基于上述方法,构建NetCrawler爬虫系统,实现了互联网条件下多源异构矢量空间数据的快速获取、解析与管理。并通过测试证实了所述方法的有效性。
【学位授予单位】:中国测绘科学研究院
【学位级别】:硕士
【学位授予年份】:2015
【分类号】:P208

【参考文献】
中国期刊全文数据库 前1条
1 刘艳敏;刘飚;封化民;宋国森;方勇;;Web页面主题信息抽取研究与实现[J];计算机工程与应用;2006年21期
【共引文献】
中国期刊全文数据库 前8条
1 孟军;刘秋水;王秀坤;;节点频度和语义距离相结合的网页正文信息抽取[J];计算机工程与应用;2009年01期
2 赵晓峰;凌天斌;彭波;王转妮;;一种基于网页源文件的信息提取算法[J];计算机与现代化;2012年02期
3 芮建勋;祝智庭;田冬迪;张虹;;基于WebGIS的教育资源管理与决策支持系统研究[J];中国教育信息化;2011年01期
4 袁林旺;闾国年;罗文;俞肇元;易琳;盛业华;;GIS多维统一计算的几何代数方法[J];科学通报;2012年04期
5 赵洋;马建斌;刘博;王春山;;基于Internet的农业信息资源采集系统[J];农机化研究;2008年10期
6 夏斌;丁立;乔红波;高瑞;;中文农业信息垂直搜索引擎的设计与实现[J];河南农业大学学报;2010年06期
7 代劲松;曹林;温小荣;徐卿;;基于开源GIS的森林资源管理信息系统设计与实现——以江苏省云台山为例[J];南京林业大学学报(自然科学版);2012年05期
8 那赫;;互联网用户筛选相关数据方法研究[J];吉林省教育学院学报(中旬);2014年04期
中国博士学位论文全文数据库 前10条
1 马立山;水信息技术在城市雨洪系统中的应用研究[D];天津大学;2011年
2 李世明;林业空间数据平台技术的应用示范研究[D];中国林业科学研究院;2008年
3 奚砚涛;基于开源技术的煤矿地测数据服务体系研究[D];中国矿业大学;2008年
4 李学东;基于WEB的地学数据集成与发布技术研究[D];中国地质大学(北京);2009年
5 许欢;面向服务的土地资源空间信息多级语义网格研究[D];浙江大学;2009年
6 张春菊;中文文本中事件时空与属性信息解析方法研究[D];南京师范大学;2013年
7 马彩虹;基于GIS的黄土台塬区土地资源开发利用与生态风险分析[D];陕西师范大学;2013年
8 张爱国;移动空间数据组织与自适应定位地图服务研究[D];福州大学;2010年
9 王明军;基于Web的空间数据爬取与度量研究[D];武汉大学;2013年
10 罗文;基于几何代数的GIS计算模型研究[D];南京师范大学;2014年
【二级参考文献】
中国期刊全文数据库 前10条
1 曹振臻;肖扬;;分布式智能交通系统数据管理与处理平台设计[J];信息技术;2005年12期
2 刘凯;林克正;;基于3G网络移动设备位置服务的应用[J];信息技术;2007年12期
3 王家聚;;基于B/S的房地产销售系统的设计与实现[J];海南大学学报(自然科学版);2009年01期
4 李建峰;;世纪新宠儿——开源数据库[J];程序员;2006年01期
5 李洪波¥;Ordering in mechanical geometry theorem proving[J];Science in China,Ser.A;1997年03期
6 袁林旺;俞肇元;谢志仁;宋志尧;闾国年;;1965~2005年西北太平洋边缘海区海面变化记录的ENSO信号及其时空分异特征[J];中国科学(D辑:地球科学);2009年05期
7 谢维信;曹文明;蒙山;;基于Clifford代数的混合型传感器网络覆盖理论分析[J];中国科学(E辑:信息科学);2007年08期
8 罗英伟,丛升日,汪小林,许卓群,陆钟挥;分布式地理信息系统基础研究[J];计算机工程与应用;2000年11期
9 李军,李琦,毛东军,郭玲玲;北京市地理编码数据库的研究[J];计算机工程与应用;2004年02期
10 周俊生;戴新宇;尹存燕;陈家骏;;自然语言信息抽取中的机器学习方法研究[J];计算机科学;2005年03期
中国博士学位论文全文数据库 前6条
1 温海珍;城市住宅的特征价格:理论分析与实证研究[D];浙江大学;2004年
2 吴宇哲;基于GIS的城市住宅价格时空演变规律探索及其应用研究[D];浙江大学;2005年
3 姜晓轶;基于Open GIS简单要素规范的面向对象时空数据模型研究[D];华东师范大学;2006年
4 姜吉发;自由文本的信息抽取模式获取的研究[D];中国科学院研究生院(计算技术研究所);2004年
5 周丽萍;商品住宅特征价格模型与指数的应用研究[D];西安建筑科技大学;2008年
6 陈竹敏;面向垂直搜索引擎的主题爬行技术研究[D];山东大学;2008年
【相似文献】
中国期刊全文数据库 前5条
1 靳永双;赵汝顺;;角矢量空间理论[J];河南师范大学学报(自然科学版);2008年06期
2 李青元,刘晓东,曹代勇;WebGIS矢量空间数据压缩方法探讨[J];中国图象图形学报;2001年12期
3 王继周,李成名;万维网地理信息系统中矢量空间数据的多线程传输实现技术[J];测绘通报;2003年02期
4 许德合;朱长青;王奇胜;;利用QIM的DFT矢量空间数据盲水印模型[J];武汉大学学报(信息科学版);2010年09期
5 ;[J];;年期
中国重要会议论文全文数据库 前1条
1 张彩霞;;多源矢量空间数据间的匹配[A];2006北京地区高校研究生学术交流会——通信与信息技术会议论文集(下)[C];2006年
中国硕士学位论文全文数据库 前5条
1 蔡地;互联网多源矢量空间数据自动获取与管理方法研究[D];中国测绘科学研究院;2015年
2 王春晖;矢量空间数据快速符号化研究与实现[D];浙江大学;2011年
3 田光;并行计算环境中矢量空间数据的划分策略研究与实现[D];中国地质大学;2011年
4 任海艳;移动GIS中矢量空间数据渐进传输方法的研究[D];北京林业大学;2012年
5 夏锐;基于Hadoop的VGI矢量空间数据管理方法研究[D];南京师范大学;2014年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026