收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

海事大数据查询服务平台的设计与实现

沈婷  
【摘要】:近年来,不管是新兴的互联网服务领域,还是电信、交通等传统行业,都出现了数据的爆炸性增长。国家海事系统积累了海量、及时、准确的AIS、VTS船舶航行数据资源,这些数据资源由于分散在各个系统中,还没有进行统一的整合和再利用,海事局提出了急切需要盘活海量、权威的AIS等数据资源的需求,通过数据服务化转换,提供领导决策和航运出行两大主线服务,从而不断提升海事公众服务能力,加强海事服务保障能力。本文基于海事局对海量数据服务化转换的需求,设计与实现了海事大数据查询服务平台。本文首先对国内外海事数据服务发展现状和HBase二级索引的发展现状的不足进行了分析与总结。然后重点介绍本文所用的分布式存储系统HBase,并介绍其所依赖的Hadoop分布式文件系统HDFS。接着,介绍本文所用到的全文检索应用服务器Apache Solr,分别对其内部索引原理和检索原理做了详细分析。针对海事数据的位置搜索需求,详细介绍了Solr中索引经纬度的geohash算法和位置搜索原理。另外,介绍了Solr的分布式模式SolrCloud原理,以针对海事积累的大量数据进行分布式索引。本文利用HBase作为数据存储层,解决海事海量数据存储问题,利用Solr作为HBase数据存储层之上的数据索引层改善HBase只能通过rowkey唯一维度进行数据查询的局面,实现对海事数据进行布尔查询,模糊查询,位置搜索等多维度查询需求。这样,索引和真实数据分离,需通过Observer协处理器中提供的服务器端钩子函数实现在向HBase插入数据的同时在Solr中建立对应数据的索引,保证Solr中索引与HBase中对应数据的一致性,且避免了目前HBase二级索引的实现中对HBase源码的改动。基于此核心解决方案建立海事大数据查询服务平台系统,将系统分为数据处理、数据存储、数据索引、数据查询四个模块,分别对其进行详细设计与实现并对系统进行了优化。最后,提供了一个用户查询界面。本文最后进行系统索引数据与真实数据一致性性验证,测试数据插入平均速度,测试不同情况下请求响应时间、多用户并发查询情况下的系统性能以及30min持续多用户并发查询情况下系统的稳定性。该测试结果已通过海事局评审,并在基于此数据查询服务平台,在之上开发了海事数据公众服务网站并上线运行。


知网文化
【相似文献】
中国期刊全文数据库 前5条
1 ;海事信息化上台阶 全国水上安全监督管理系统正式应用[J];每周电脑报;2003年31期
2 杨永燕;;行驶船只尽收眼底[J];信息方略;2008年22期
3 林华;韩伟;;海事移动CCTV中各种无线电通信技术浅析[J];中国海事;2009年12期
4 龚瑞卿;冼允廷;;镇江海事局无线CCTV故障处理案例分析[J];中外船舶科技;2014年01期
5 ;[J];;年期
中国重要会议论文全文数据库 前10条
1 ;中华人民共和国福建海事局[A];桥区船舶航行安全与管理论文集(1)[C];2010年
2 王俊波;刘冬青;;论海事侵权[A];中国航海学会2002年度学术交流会论文集专刊[C];2002年
3 ;第二届广东海事高级论坛[A];第二届广东海事高级论坛论文集[C];2008年
4 孔静;刘腊荣;韩国勇;;海事现代监管设备与日常工作的有效融合问题思考[A];2009年度海事管理学术交流会优秀论文集[C];2009年
5 周建国;;浅谈海事预测和海事预控[A];2003海上航行安全论文集[C];2003年
6 ;中华人民共和国黑龙江海事局简介[A];中国航海学会内河船舶驾驶专业委员会港区、渡口船舶航行安全与管理论文集[C];2009年
7 宋海龙;;海事信息化集成模型研究[A];山东航海学会、山东海事局2007年度优秀论文专刊[C];2007年
8 李恩东;赵春忠;;海事行政审批制度改革及有关问题探讨[A];中国航海学会2002年度学术交流会论文集专刊[C];2002年
9 王克德;;浅谈航标处的海事文化建设[A];中国航海学会航标专业委员会沿海航标学组2002年航标学术研讨论文集[C];2002年
10 徐磊;;百舸争流 一网护航——宿迁市海事局骆马湖全水域监控项目建设纪实[A];信息让生活更美好——江苏省通信行业信息化案例选编[C];2010年
中国硕士学位论文全文数据库 前10条
1 沈婷;海事大数据查询服务平台的设计与实现[D];电子科技大学;2015年
2 黄杨婷;《国际海事劳工公约》研究[D];复旦大学;2013年
3 林怡;直属海事局危防工作指标体系的构建和考核机制的探讨[D];厦门大学;2009年
4 卓柏村;分支海事局危防工作指标体系构建和考核机制探讨[D];厦门大学;2009年
5 熊伟;A海事局人力资源结构优化研究[D];武汉理工大学;2007年
6 李柏涛;平衡计分卡在防城港海事局执法人员绩效考核中的应用研究[D];大连海事大学;2012年
7 张欣;江阴海事局绩效评估系统研究[D];武汉理工大学;2005年
8 何永飞;福建海事局船艇管理绩效评价体系研究[D];大连海事大学;2013年
9 王勇;直属海事局平衡计分卡绩效评估体系研究[D];大连海事大学;2012年
10 李硕;H海事局人才队伍建设研究[D];武汉理工大学;2014年
中国重要报纸全文数据库 前10条
1 林云山曾青山;福建海事局强化方便旗船管理[N];中国交通报;2007年
2 刘承勇;南京海事局提前完成铅封任务[N];中国水运报;2007年
3 杨志强;浙晋海事结“对子” 互相支持谋发展[N];中国水运报;2007年
4 驻京记者 朱婧;上海捣毁一伪造海事证书窝点[N];中国水运报;2008年
5 特约记者 杨志强;保持和发扬军队优良传统 为海事事业发展再立新功[N];中国水运报;2008年
6 李洪文记者 邱成;黑龙江海事局“限排”专项行动超指标完成任务[N];黑龙江日报;2008年
7 通讯员 陈新飚蓝张婧 余育成;厦门海事采取有效措施保畅通[N];中国水运报;2008年
8 大海;2008年,大连海事局奥运安保功成名就[N];中国交通报;2009年
9 记者 周斌;海事规范性文件废止169件[N];法制日报;2010年
10 记者 郑付生 通讯员 李振新;市海事局“六个一”奏响海事文化建设之曲[N];驻马店日报;2010年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978