收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于Hadoop的协同过滤推荐系统研究与实现

郑健  
【摘要】:近几年,随着中国互联网的崛起,网络应用越来越多样化,大量的产品和信息同时呈现在用户面前,导致了信息过载现象的出现,个性化推荐是解决该问题的重要方法。协同过滤推荐方法是当前在实际系统中应用最多的个性化推荐方法,它基于群体的偏好来为用户提供推荐。当前对协同过滤方法的研究大多侧重于单机算法的设计与优化,旨在提高推荐的精准度。但是面对日益增多的用户、急剧增加的数据量,通常的算法都会遇到严重的计算扩展瓶颈,这使得协同推荐方法难以在实时性和可用性要求高的大型线上系统中使用。因此,应考虑使用并行方法改进协同推荐算法应对大规模数据的能力。 本文对基于Hadoop并行计算框架的协同过滤推荐系统的设计与实现进行了研究。首先对协同推荐系统和Hadoop平台的相关概念进行了介绍,包括推荐系统的构成、常见的协同推荐算法、以及Hadoop存储和计算并行化的原理;其次介绍了推荐数据预处理流程的并行设计,阐述了基于用户、基于物品和基于主成因分析的协同方法的并行实现方案;再次,详细介绍了推荐结果评估方法的并行方案,并对并行协同推荐算法的性能和推荐质量进行了验证;最后,结合提出的基于Hadoop的协同过滤推荐算法,设计并实现了一种在线电影协同推荐系统,用以模拟并行协同推荐方法在实际场景中的应用方法,并从云平台优化角度进一步提升协同过滤推荐系统的性能.。 实验表明,将Hadoop技术应用于协同推荐推荐系统的实现,提升了协同推荐方法应对大规模数据的能力;对推荐系统云平台层的参数优化,更进一步提升了推荐系统的离线处理性能。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 张付志;张启凤;;融合多系统用户信息的协同过滤算法[J];计算机工程;2009年21期
2 周丽娟;徐明升;张研研;张璋;;基于协同过滤的课程推荐模型[J];计算机应用研究;2010年04期
3 刘淇;陈恩红;;结合二部图投影与排序的协同过滤[J];小型微型计算机系统;2010年05期
4 董全德;;基于双信息源的协同过滤算法研究[J];合肥工业大学学报(自然科学版);2010年07期
5 李聪;;电子商务协同过滤可扩展性研究综述[J];现代图书情报技术;2010年11期
6 傅鹤岗;李冉;;基于用户实时反馈的协同过滤算法[J];计算机应用;2011年07期
7 辛勤芳;;基于项目聚类的协同过滤算法研究[J];赤峰学院学报(自然科学版);2011年09期
8 杨君;汪会玲;艾丹祥;;一种基于情景的多维协同过滤新方法研究[J];图书情报工作;2011年21期
9 王宗武;;基于信任用户联合聚类的协同过滤算法[J];计算机与现代化;2013年09期
10 杜永萍;黄亮;何明;;融合信任计算的协同过滤推荐方法[J];模式识别与人工智能;2014年05期
11 张巍,刘鲁,葛健;一种基于粗集的协同过滤算法[J];小型微型计算机系统;2005年11期
12 徐莉;;结合人口分类特征知识的协同过滤算法[J];安徽科技学院学报;2007年02期
13 王惠敏;聂规划;;融合用户和项目相关信息的协同过滤算法研究[J];武汉理工大学学报;2007年07期
14 丛晓琪;杨怀珍;刘枚莲;;基于时间加权的协同过滤算法研究[J];计算机应用与软件;2009年08期
15 张付志;张启凤;;一种改进的基于流形对齐的协同过滤算法[J];模式识别与人工智能;2009年04期
16 夏秀峰;郝仲模;李磊;;考虑年度日程表事件的协同过滤推荐[J];计算机工程与应用;2010年11期
17 朱敏;苏博;;基于奇异值分解的协同过滤推荐算法研究[J];计算机安全;2010年07期
18 王晓堤;王屾;赵旭;;基于用户可信度聚类的协同过滤推荐模型[J];微计算机信息;2010年30期
19 徐南;王新生;;协同过滤系统隐私保护和推荐准确性研究[J];计算机工程;2010年23期
20 安德智;刘光明;章恒;;基于协同过滤的图书推荐模型[J];图书情报工作;2011年01期
中国重要会议论文全文数据库 前10条
1 沈杰峰;杜亚军;唐俊;;一种基于项目分类的协同过滤算法[A];第二十二届中国数据库学术会议论文集(技术报告篇)[C];2005年
2 周军锋;汤显;郭景峰;;一种优化的协同过滤推荐算法[A];第二十一届中国数据库学术会议论文集(研究报告篇)[C];2004年
3 董全德;;基于双信息源的协同过滤算法研究[A];全国第20届计算机技术与应用学术会议(CACIS·2009)暨全国第1届安全关键技术与应用学术会议论文集(上册)[C];2009年
4 张光卫;康建初;李鹤松;刘常昱;李德毅;;面向场景的协同过滤推荐算法[A];中国系统仿真学会第五次全国会员代表大会暨2006年全国学术年会论文集[C];2006年
5 李建国;姚良超;汤庸;郭欢;;基于认知度的协同过滤推荐算法[A];第26届中国数据库学术会议论文集(B辑)[C];2009年
6 王明文;陶红亮;熊小勇;;双向聚类迭代的协同过滤推荐算法[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年
7 胡必云;李舟军;王君;;基于心理测量学的协同过滤相似度方法(英文)[A];NDBC2010第27届中国数据库学术会议论文集(B辑)[C];2010年
8 林丽冰;师瑞峰;周一民;李月雷;;基于双聚类的协同过滤推荐算法[A];2008'中国信息技术与应用学术论坛论文集(一)[C];2008年
9 罗喜军;王韬丞;杜小勇;刘红岩;何军;;基于类别的推荐——一种解决协同推荐中冷启动问题的方法[A];第二十四届中国数据库学术会议论文集(研究报告篇)[C];2007年
10 黄创光;印鉴;汪静;刘玉葆;王甲海;;不确定近邻的协同过滤推荐算法[A];NDBC2010第27届中国数据库学术会议论文集A辑一[C];2010年
中国博士学位论文全文数据库 前10条
1 李聪;电子商务推荐系统中协同过滤瓶颈问题研究[D];合肥工业大学;2009年
2 郭艳红;推荐系统的协同过滤算法与应用研究[D];大连理工大学;2008年
3 罗恒;基于协同过滤视角的受限玻尔兹曼机研究[D];上海交通大学;2011年
4 薛福亮;电子商务协同过滤推荐质量影响因素及其改进机制研究[D];天津大学;2012年
5 高旻;基于计算语用学和项目的资源协同过滤推荐研究[D];重庆大学;2010年
6 孔维梁;协同过滤推荐系统关键问题研究[D];华中师范大学;2013年
7 沈磊;心理学模型与协同过滤集成的算法研究[D];北京航空航天大学;2010年
8 孙小华;协同过滤系统的稀疏性与冷启动问题研究[D];浙江大学;2005年
9 夏培勇;个性化推荐技术中的协同过滤算法研究[D];中国海洋大学;2011年
10 赵向宇;Top-N协同过滤推荐技术研究[D];北京理工大学;2014年
中国硕士学位论文全文数据库 前10条
1 胡淼;基于协同过滤的服务评价方法的研究[D];哈尔滨工程大学;2008年
2 赵伟;基于评分预测和概率融合的协同过滤研究[D];河南大学;2007年
3 彭玉;基于用户个人特征的多内容项目协同过滤推荐[D];西南大学;2007年
4 李冉;基于用户实时反馈的协同过滤算法研究[D];重庆大学;2011年
5 孙凯;协同过滤移动社区的研究与实现[D];北京邮电大学;2012年
6 全智超;基于用户性格的协同过滤推荐研究[D];首都师范大学;2014年
7 张亮;基于协同过滤与划分聚类的推荐算法研究[D];吉林大学;2014年
8 白龙;融合数据检测与用户信任的协同过滤算法研究[D];燕山大学;2010年
9 王均波;协同过滤推荐算法及其改进研究[D];重庆大学;2010年
10 况亚萍;云计算技术在协同过滤推荐中的应用研究[D];中国科学技术大学;2014年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978