收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于Hadoop云平台的数据挖掘技术在天气数据的应用研究

杨利娟  
【摘要】:计算机网络技术的迅猛发展,使得日益剧增的信息数据不能再采用传统技术来处理。探索一种高效且低成本的方式把有价值的、可理解的知识从海量数据中挖掘出来,对于很多特殊行业如天气、遥感、地质监测等具有十分重要的意义。云计算技术在对挖掘处理海量数据方面有着显著的优势,它最早被Google提出,近年来得到了广泛的应用研究。 云计算的出现推动了数据挖掘技术的进一步发展。Apache的Hadoop是谷歌云计算平台的开源实现,它具有分布存储海量数据、并行处理任务、较高的性能和可靠性等特点。在深入研究传统数据挖掘算法的基础上,如何在Hadoop云计算平台上对其进行改进,使之能够对海量数据进行挖掘处理并且应用于实际,是数据挖掘相关领域的一个热点。 本文以Hadoop云平台为基础,分析研究了将数据挖掘技术应用在天气数据处理方面的相关问题。论文首先深入地介绍了Hadoop云计算平台的相关基础理论知识,概括了基于Hadoop的数据挖掘相关概念和技术,重点研究了贝叶斯分类挖掘算法。然后,在前面研究的基础上,引入相关性分析的概念,提出了基于Hadoop云平台和相关性判定的改进朴素贝叶斯算法,并将其应用于天气数据的分类预测。最后,搭建了Hadoop集群的实验环境,利用该平台进行了算法功能和性能测试,实验结果的对比分析表明:基于本文设计的改进朴素贝叶斯算法,不仅使分类预测结果更加可靠,而且极大地提高了算法的效率,适合于海量数据的处理。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 张红军;谈谈数据挖掘技术及其应用[J];广西梧州师范高等专科学校学报;2003年03期
2 杨雪;浅析数据挖掘技术[J];华南金融电脑;2005年08期
3 李继嵬;刘书明;李春平;;数据挖掘技术在税收预测分析中的应用[J];计算机系统应用;2006年09期
4 刘春明;;数据挖掘技术在金融行业中的应用[J];科技资讯;2006年25期
5 劳飞;朱玉业;;数据挖掘技术在农业中的应用[J];安徽农业科学;2007年13期
6 何树称;罗岚;;数据挖掘技术在客户获取中的应用分析[J];保山师专学报;2007年02期
7 汪楠;成鹰;崔婀娜;;数据挖掘技术怎么用[J];经营与管理;2007年07期
8 马骋;;数据挖掘技术探讨[J];化工之友;2007年17期
9 赵颖;;数据挖掘技术在政府电子政务中的应用[J];软件导刊;2008年11期
10 徐晓伟;;浅谈数据挖掘技术[J];福建电脑;2008年12期
11 潘军;张诗楠;;基于数据挖掘技术的网络营销管理[J];科技资讯;2008年31期
12 曹思思;程国建;;浅析数据挖掘技术与税务信息化建设[J];电脑知识与技术;2008年33期
13 李志;;浅析数据挖掘技术[J];硅谷;2008年21期
14 靳静;;数据挖掘技术浅析[J];读与写(教育教学刊);2008年09期
15 张铭;;数据挖掘技术及其在素质教育中的应用[J];电脑与电信;2009年08期
16 蓝永;;几种数据挖掘技术在图书馆中的应用[J];网络财富;2009年14期
17 焦瑞;李祥生;;数据挖掘技术及在医学中的应用[J];电脑知识与技术;2009年36期
18 杨文灏;;应用数据挖掘技术提升竞争力[J];华南金融电脑;2010年10期
19 展金梅;陈君涛;;数据挖掘技术在客户关系管理中应用的新探索[J];福建电脑;2010年11期
20 蔡晓霞;;数据挖掘技术在图书馆中的应用[J];长春师范学院学报;2011年04期
中国重要会议论文全文数据库 前10条
1 孙义明;曾继东;;数据挖掘技术及其应用[A];全国计算机安全学术交流会论文集(第二十二卷)[C];2007年
2 马洪杰;曲晓飞;;数据挖掘技术和过程的特点[A];面向21世纪的科技进步与社会经济发展(上册)[C];1999年
3 宁红梅;安志兴;葛亚明;李敬玺;赵坤;钟华;陈俊杰;崔艳红;;数据挖掘技术在兽医学中的应用[A];Proceedings of 2010 National Vocational Education of Communications and Information Technology Conference (2010 NVCIC)[C];2010年
4 王桂芹;黄道;;数据挖掘技术综述[A];计算机技术与应用进展·2007——全国第18届计算机技术与应用(CACIS)学术会议论文集[C];2007年
5 徐宝莲;李晓奇;;数据挖掘技术在网络游戏中的应用[A];第十一届中国不确定系统年会、第十五届中国青年信息与管理学者大会论文集[C];2013年
6 胡广芹;陆小左;;数据挖掘技术在中医诊断中的应用[A];中国中西医结合学会诊断专业委员会2009’年会论文集[C];2009年
7 戈欣;吴晓芬;许建荣;;数据挖掘技术在放射科医疗管理中的潜在作用[A];2009中华医学会影像技术分会第十七次全国学术大会论文集[C];2009年
8 铁军;吴智明;;数据挖掘技术在工业铝电解生产中的应用[A];第十九届全国数据库学术会议论文集(技术报告篇)[C];2002年
9 王建华;王菲;黄国建;;数据挖掘技术研究的现状及展望[A];中国运筹学会第六届学术交流会论文集(上卷)[C];2000年
10 肖健华;吴今培;;数据挖掘技术及其应用实例[A];2001年中国智能自动化会议论文集(下册)[C];2001年
中国博士学位论文全文数据库 前10条
1 姚山;基于数据挖掘技术的造林决策研究[D];北京林业大学;2008年
2 曹秀英;基于粗集的数据挖掘技术及其应用研究[D];哈尔滨工程大学;2003年
3 伍平阳;基于数据挖掘技术的医疗设备绩效预测方法的应用研究[D];南方医科大学;2008年
4 刘刚;数据挖掘技术与分类算法研究[D];中国人民解放军信息工程大学;2004年
5 王勇;时序数据挖掘技术及其在水质预测中的应用研究[D];广东工业大学;2005年
6 熊忠阳;面向商业智能的并行数据挖掘技术及应用研究[D];重庆大学;2004年
7 朱恒民;领域知识制导的数据挖掘技术及其在中药提取中的应用[D];南京航空航天大学;2006年
8 毛国君;数据挖掘技术与关联规则挖掘算法研究[D];北京工业大学;2003年
9 王萍;基于数据挖掘技术的消费者行为研究[D];吉林大学;2004年
10 白一鸣;基于数据挖掘技术的模糊推理系统设计[D];大连海事大学;2013年
中国硕士学位论文全文数据库 前10条
1 吴辉;数据挖掘技术的研究与应用[D];武汉理工大学;2009年
2 冯璐;基于数据挖掘技术的犯罪规律分析研究[D];青岛大学;2009年
3 郭珉江;数据挖掘技术在疾病诊断相关分组中的应用[D];中南大学;2009年
4 倪泉;基于数据挖掘技术的保险续期催交方法研究[D];华东师范大学;2006年
5 张晨希;数据挖掘技术在股票预测中的应用[D];安徽大学;2006年
6 安建华;数据挖掘技术在零售业中的应用研究[D];东北财经大学;2005年
7 沈捷;数据挖掘技术在银行反洗钱领域中的应用研究[D];浙江大学;2007年
8 贾琳;数据挖掘技术及应用的研究[D];兰州理工大学;2003年
9 许惠君;数据挖掘技术及其在径流预报中的研究与应用[D];华中科技大学;2006年
10 张飒;数据挖掘技术在银行监管工作中的应用[D];吉林大学;2007年
中国重要报纸全文数据库 前10条
1 记者 吕贤如;大力加强数据挖掘技术研究应用[N];光明日报;2006年
2 主持人 李禾;数据挖掘技术如何驱动经济车轮[N];科技日报;2007年
3 梅静彦;数据挖掘技术在美国银行的应用[N];金融时报;2006年
4 邹广普;数据挖掘技术在保险业中的应用[N];中国保险报;2010年
5 陈晓 山西财经大学教师;数据挖掘技术在高校教学管理中的应用[N];山西经济日报;2010年
6 张崇峰;挖掘,再挖掘[N];中国计算机报;2003年
7 刘红岩、何军;利用数据挖掘技术获得商业智能[N];中国计算机报;2003年
8 ;IBM公司推出新型数据挖掘技术[N];中国高新技术产业导报;2001年
9 刘军 兰小红 龚富强;新技术为老装备“保驾护航”[N];大众科技报;2006年
10 ;软件产业人才培养又辟新路[N];中国高新技术产业导报;2000年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978