收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于Storm的订单大数据实时监控系统

杨竣翔  
【摘要】:大数据时代,实时有效地收集海量订单数据,帮助企业智慧地从数据中获取目标信息,能够更加有效的、有条理的制定相关业务的发展和改进方向,企业可以通过对海量数据进行二次开发利用,进一步地总结和处理数据,最终制定出更加符合用户需求、更加适用于市场的设计方案。Storm作为一套高效的、安全的、实时的大数据处理引擎被本系统使用,No SQL数据库Elasticsearch和Mongo DB则能满足对海量数据的高效存储与查询。本论文将基于Storm、Kafka、No SQL数据库Elasticsearch和Mongo DB设计和实现订单大数据的实时监控系统。系统将主要的数据保存在Elasticsearch中,将一些配置参数和时间戳数据保存在Mongo DB中;文件系统使用HDFS;采用Scala语言来编写代码;使用分布式消息队列Kafka来连接Storm中不同功能的拓扑,提高了系统的可靠性。在数据处理过程中,执行的操作名称、时间节点和部分中间结果会被记录到系统日志中,以便解决系统错误和提升系统性能,平台处理后的重要结果,可以通过Web页面以多种图和表的形式向用户展示,该展示网站具备搜索引擎,能够通过关键字和特定规则的语句搜索目标数据,还支持点击图标和标签进行快捷查找。整套系统部署在分布式集群中,具有高实时性、高效率、高容错性、可扩展等特点,结果数据展示网站功能强大,界面清晰简洁,用户体验很好,平台可以实时地监控海量数据信息的变化,从结构混合、复杂的、规模庞大的数据中,通过智能化的方法,挖掘出有价值的信息,从而创造出一定的经济和社会价值。


知网文化
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978