基于大数据技术的环境质量监测系统的设计与实现

【摘要】：地理信息技术、遥感技术和物联网技术等现代信息技术在环境监测领域的应用,全面拓展了环境质量监测的时空尺度和监测类型,环境质量监测数据的种类和数据的迅速膨胀,逐渐呈现出多源、多维、海量和多态的大数据特征。而研究现有的环境质量监测系统,会发现数据中心子系统主要采用关系型数据库来存储、处理和管理环境质量监测数据,虽然关系型数据库在数据的存储、处理和分析方面有很多优秀的解决方案,而且还支持数据索引功能以快速访问数据,但是随着海量环境质量监测数据的不断产生,关系型数据库的可用存储空间、数据处理和查询性能迅速下降。本文在大数据技术等相关理论和现有环境质量监测系统的研究基础上,研究设计了基于大数据技术的环境质量监测系统。该系统将大数据技术和传统关系型数据库有效的融合在一起,充分发挥大数据技术在数据存储及处理能力的高可靠性、高可扩展性以及关系型数据库在数据查询的高效性。该系统中基于Hadoop分布式处理框架实现了海量环境质量监测数据的并行处理,而基于分布式数据库HBase和关系型数据库Oracle实现了海量环境质量监测数据的存储和管理。基于大数据技术的环境质量监测系统不仅具有高可靠性、高可扩展性,同时具有高效的数据存储及访问性能。