基于Hadoop云平台的数据挖掘技术在天气数据的应用研究

【摘要】：计算机网络技术的迅猛发展,使得日益剧增的信息数据不能再采用传统技术来处理。探索一种高效且低成本的方式把有价值的、可理解的知识从海量数据中挖掘出来,对于很多特殊行业如天气、遥感、地质监测等具有十分重要的意义。云计算技术在对挖掘处理海量数据方面有着显著的优势,它最早被Google提出,近年来得到了广泛的应用研究。 云计算的出现推动了数据挖掘技术的进一步发展。Apache的Hadoop是谷歌云计算平台的开源实现,它具有分布存储海量数据、并行处理任务、较高的性能和可靠性等特点。在深入研究传统数据挖掘算法的基础上,如何在Hadoop云计算平台上对其进行改进,使之能够对海量数据进行挖掘处理并且应用于实际,是数据挖掘相关领域的一个热点。 本文以Hadoop云平台为基础,分析研究了将数据挖掘技术应用在天气数据处理方面的相关问题。论文首先深入地介绍了Hadoop云计算平台的相关基础理论知识,概括了基于Hadoop的数据挖掘相关概念和技术,重点研究了贝叶斯分类挖掘算法。然后,在前面研究的基础上,引入相关性分析的概念,提出了基于Hadoop云平台和相关性判定的改进朴素贝叶斯算法,并将其应用于天气数据的分类预测。最后,搭建了Hadoop集群的实验环境,利用该平台进行了算法功能和性能测试,实验结果的对比分析表明：基于本文设计的改进朴素贝叶斯算法,不仅使分类预测结果更加可靠,而且极大地提高了算法的效率,适合于海量数据的处理。