收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于MapReduce的大数据集样例选择

庞晓鹤  
【摘要】:随着数据存储、计算机网络、云计算等技术的迅猛发展,数据的规模成倍的增长,大数据处理已经成为学术界和工业界密切关注的问题,大数据对传统的数据挖掘算法提出了新的挑战,研究大数据集的样例选择具有重要的意义。本文提出了基于Map Reduce的大数据集样例选择算法,该算法首先采用Map Reduce的Map映射机制,对大数据集进行划分,将划分的数据子集分配到不同的云计算节点,并用某种样例选择方法进行样例选择。然后采用Map Reduce的Reduce机制对各个节点选出的子集进行合并,得到第一次选择的样例子集。重复这一过程k次(k是用户定义的一个参数),最后统计每个子集中样例的得票数,把得票数超过某一个阈值的样例选出作为最终选择的样例。利用得到的样例子集训练ELM分类器,在测试集上验证分类精度。在多个数据集上与经典的样例选择算法进行了实验比较分析。实验结果表明,本文提出的算法是行之有效的。


知网文化
【相似文献】
中国期刊全文数据库 前13条
1 刘峰涛;;浅谈基于样例池不确定性缩减的主动学习算法[J];才智;2011年09期
2 龙军;殷建平;祝恩;蔡志平;;选取最大可能预测错误样例的主动学习算法[J];计算机研究与发展;2008年03期
3 龙军;殷建平;祝恩;赵文涛;;主动学习研究综述[J];计算机研究与发展;2008年S1期
4 甄蓓蓓;吴昊;徐丹;;一种基于样例的数字人脸化妆算法[J];云南大学学报(自然科学版);2010年S2期
5 彭剑;王奕;;计算机专业本科毕业论文案例评析及改进样例[J];计算机教育;2010年16期
6 彭小波;郑先超;胡琳;;基于样例的参数化鞋楦建模研究[J];机电工程技术;2007年05期
7 翟俊海;王婷婷;王熙照;;样例约简支持向量机[J];计算机科学与探索;2011年12期
8 田丰;;基于样例交互式三维动画的生成研究[J];数字技术与应用;2012年10期
9 卢涤非;任文华;李国军;斯进;;基于样例的交互式三维动画的生成[J];计算机研究与发展;2010年01期
10 王珍钰;王熙照;;基于近邻熵的主动学习算法[J];模式识别与人工智能;2011年01期
11 张军;戴霞;;基于样例学习的任意光照下的人脸3D重建方法[J];计算机工程与应用;2008年03期
12 杜辉;邹天旻;金小刚;舒莲卿;;个性化虚拟化妆效果迁移[J];计算机辅助设计与图形学学报;2014年05期
13 ;[J];;年期
中国重要会议论文全文数据库 前8条
1 赵弘;张奇;;小学生算术应用题多重变异样例学习的迁移效果[A];第十一届全国心理学学术会议论文摘要集[C];2007年
2 许德志;张奇;;正、误碳氢共价键组合样例的学习效果[A];第十二届全国心理学学术大会论文摘要集[C];2009年
3 张华;张奇;;物体受力分析正误样例组合的学习效果[A];第十五届全国心理学学术会议论文摘要集[C];2012年
4 丁艳云;赵俊峰;;不同种类的样例对初中生代数问题解决迁移的影响[A];第十二届全国心理学学术大会论文摘要集[C];2009年
5 张奇;;开方运算样例关键步骤的设计与学习迁移效果[A];增强心理学服务社会的意识和功能——中国心理学会成立90周年纪念大会暨第十四届全国心理学学术会议论文摘要集[C];2011年
6 张华;张奇;;正误样例相似性对受力分析学习效果的影响[A];心理学与创新能力提升——第十六届全国心理学学术会议论文集[C];2013年
7 林洪新;张奇;;小学生四则混合运算规则的样例学习[A];第十届全国心理学学术大会论文摘要集[C];2005年
8 林洪新;张奇;;关键与非关键步骤对数学运算样例学习迁移效果的影响[A];第十二届全国心理学学术大会论文摘要集[C];2009年
中国博士学位论文全文数据库 前8条
1 赵弘;小学生算术应用题多重变异样例学习的迁移效果[D];辽宁师范大学;2007年
2 邵光华;数学样例学习的理论与实证研究[D];华东师范大学;2003年
3 邢强;样例解题步骤编码对原理学习和迁移的影响[D];华南师范大学;2002年
4 张华;中学生物体受力分析正误样例组合学习及促进方法的研究[D];辽宁师范大学;2013年
5 林洪新;初一学生数学运算样例中关键步骤的学习研究[D];辽宁师范大学;2009年
6 申丰山;样例权重估计及在此基础上的SVM[D];西安电子科技大学;2011年
7 曹瑞;刺激特征数量和特征突显度对样例效应的影响[D];天津师范大学;2008年
8 张邦佐;基于正例和无标记样例学习研究[D];吉林大学;2009年
中国硕士学位论文全文数据库 前10条
1 孙小菱;错误样例与自我解释对大学生数学学习迁移的影响[D];浙江师范大学;2012年
2 赵倩;样例特征及激活方式对创造性观点生成的影响[D];华东师范大学;2015年
3 庞晓鹤;基于MapReduce的大数据集样例选择[D];河北大学;2015年
4 周扬帆;一种基于样例选择的增量ELM算法[D];河北大学;2015年
5 许德志;碳氢共价键结构式正误样例组合的学习效果[D];辽宁师范大学;2010年
6 董令彩;基于不确定性样例选择算法的研究与改进[D];河北大学;2010年
7 刘春兰;样例学习成绩与元认知水平的实证研究[D];重庆师范大学;2010年
8 刘峰涛;基于样例池类标改变率的主动学习算法终止准则研究[D];河北大学;2011年
9 陈战胜;规则策略和样例策略在类别学习中运用的实验研究[D];华南师范大学;2002年
10 韩瑜;元认知能力对化学样例学习的影响研究[D];南京师范大学;2011年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978