收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于storm的实时物流数据查询系统设计与实现

谈杰  
【摘要】:基于物联网的智慧物流是在物流配送中集成智能化技术,它为物流管理提供丰富的管理信息,使物流能够具有思维,感知,分析学习和自动解决配送中的问题的能力,从而高效,快捷,方便地存储和运输货物。随着物流功能的扩展,传统物流管理系统存在以下不足。(1)智能物流通过传感器将物流货物的温度信息,湿度信息等详细信息实时传送至服务器端供用户查询,物流信息的数据量开始爆炸式地增长,而传统物流管理系统存在单节点运算的性能瓶颈,无法处理物流管理中产生的海量数据。(2)物流数据源源不断地产生,具有无限性,实时性,多样性等特点,人们对于物流数据处理的方式趋向于实时化,个性化查询,传统的物流信息管理系统无法满足人们对实时的多样化的物流数据查询的需要。本论文针对以上问题,调研推特公司推出的storm实时分布式流处理平台和斯坦福大学的数据流管理系统stream,针对实时的物流数据处理设计实现了基于storm的实时物流数据查询系统,主要进行了如下的研究实现工作。首先,论文设计了结构化持续查询语言CSQL(Continues Struct Query Language),并基于开源工具antlr开发该语言的词法语法解析器。CSQL选取了stream系统中的持续查询语言CQL(Continues Query Language)中支持监控的查询语句,并结合SQL(Struct Query Language)的语法规则做了相应的简化,并通过antlr开发了词法和语法分析工具,对于错误的关键字词提示词法错误信息,同时对语法有错误的语句提示语法错误信息,从而使数据管理员能够使用简单的查询语句实现复杂的数据分析功能。其次,论文完成了实时物流查询系统中以下三个关键模块的设计与编码工作。(1)对查询语句的语义提取。(2)逻辑计划生成。(3)物理拓扑提交。对于通过词法和语法解析的正确查询语句,服务器对于该语句进行语义的提取,并结合语义生成逻辑计划,通过算子优先级选择、组合、调度算子集中的算子,优化逻辑计划,最终生成物理执行拓扑,提交至storm平台运行。从而使不熟悉storm平台的用户可以方便提交分布式查询任务。最后,论文设计并实现可远程操作系统的类jdbc功能的JRDT(Java Real-time Develop Tool)客户端。JRDT用java语言实现,提供了登录,创建流,查询,监听和关闭流功能,实现了用户与系统的友好交互。并使用java的swing框架编写了可视化界面,从而用户可以更加直观地与服务器进行交互,方便数据管理员通过界面或者程序对查询结果做进一步处理。


知网文化
【相似文献】
中国期刊全文数据库 前2条
1 路志英;杨乐;李艳英;赵智超;;Sand-Dust Storm Ensemble Forecast Model Based on Rough Set[J];Transactions of Tianjin University;2007年06期
2 ;[J];;年期
中国重要会议论文全文数据库 前10条
1 ;Modeling investigation of ionospheric storm effects over Millstone Hill during August 4-5,1992[A];中国科学院地质与地球物理研究所二○○四学术论文汇编·第四卷(新生代·地磁与空间电磁·工程地质与应用地球物理)[C];2004年
2 ;Evolution of a positive ionospheric storm observed by GPS network and incoherent scatter radar[A];第十二届全国日地空间物理学术讨论会论文摘要集[C];2007年
3 X.D.Zhao;A.M.Du;W.Y.Xu;;The magnetic local time distribution of ring current during the geomagnetic storm[A];中国科学院地质与地球物理研究所2013年度(第13届)学术论文汇编——地磁与空间物理研究室[C];2014年
4 ;Modeling the behavior of ionosphere above Millstone Hill during the September 21-27,1998 storm[A];中国科学院地质与地球物理研究所二○○四学术论文汇编·第四卷(新生代·地磁与空间电磁·工程地质与应用地球物理)[C];2004年
5 ;Ground magnetic characteristics of the storm-time ring current Asymmetry[A];中国科学院地质与地球物理研究所2008学术论文汇编[C];2009年
6 Ali Mamtimin;;Sand flux estimation during a sand-dust storm at Tazhong area of Taklimakan Desert,China[A];第28届中国气象学会年会——S14气候环境变化与人体健康[C];2011年
7 ;Real time numerical modeling system of dust storm in north China and its validations[A];大气气溶胶科学技术研究进展——第八届全国气溶胶会议暨第二届海峡两岸气溶胶科技研讨会文集[C];2005年
8 Yun Gong;Qihou Zhou;Shaodong Zhang;Nestor Aponte;Michael Sulzer;Sixto Gonzalez;;The F-region and topside ionosphere response to a strong geomagnetic storm at Arecibo[A];中国空间科学学会空间物理学专业委员会第十五届全国日地空间物理学研讨会摘要集[C];2013年
9 B.Zhao;W.Wan;J.Lei;Y.Wei;Y.Sahai;B.Reinisch;;Positive ionospheric storm effects at Latin America longitude during the superstorm of 20-22 November 2003:revisit[A];中国科学院地质与地球物理研究所2012年度(第12届)学术论文汇编——地磁与空间物理研究室[C];2013年
10 丁锋;;Large-scale traveling ionospheric disturbances observed by GPS total electron content during the magnetic storm of 29-30 October 2003[A];中国科学院地质与地球物理研究所2007学术论文汇编(第一卷)[C];2008年
中国硕士学位论文全文数据库 前8条
1 张慧;基于storm新闻推荐系统的研究与实现[D];华南理工大学;2015年
2 李劲松;一种基于Storm的分布式实时增量计算框架的研究与实现[D];电子科技大学;2015年
3 司徒少帅;基于Storm的交通信息实时处理系统的设计与实现[D];中山大学;2015年
4 曾文静;Storm在电力大数据分析平台中的研究与应用[D];华北电力大学(北京);2016年
5 刘召羽;基于Storm的实时营销监控与反欺诈平台设计与实现[D];东华大学;2016年
6 潘林;基于storm的支持向量机在物流航运指数预测中的原型系统的研究与实现[D];南京邮电大学;2016年
7 谈杰;基于storm的实时物流数据查询系统设计与实现[D];南京邮电大学;2016年
8 黄馥浩;基于Storm的微博互动平台的设计与实现[D];中山大学;2013年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978