收藏本站
《华东师范大学》 2012年
收藏 | 手机打开
二维码
手机客户端打开本文

推荐系统关键技术研究

任磊  
【摘要】:随着互联网的高速发展,信息技术已经从专业领域应用扩展到了人类工作和生活的各领域。形式多样的互联网信息服务和应用已渗透到人们生活的方方面面,人类社会原有的物理活动正逐渐向互联网虚拟空间活动演变。特别是社交网络、云计算和P2P应用等技术和服务形式的迅速普及,传统互联网一对多的应用模式正在过渡到多对多的web2.0应用模式,用户不仅是信息内容的使用者,同时也成为信息内容的制造者和传播者。伴随互联网信息资源规模的迅猛增长,用户要在海量信息空间中获得符合自己需求的信息也越发困难,形成了信息过载问题。学术界和业界对信息过载问题表现出了广泛的关注,开展了大量的研究和实践工作,提出了多种形式的信息个性化解决方案,以期为互联网信息服务用户提供符合其自身需求的信息。推荐系统作为一种智能个性化信息服务系统,其可借助用户建模技术对用户的长期信息需求进行描述,并根据用户模型通过一定的智能推荐策略实现有针对性的个性化信息定制。鉴于推荐系统具有用户需求驱动、主动服务和信息个性化程度高等优点,推荐系统在电子商务、在线学习和数字图书馆等领域得到了广泛应用,并已成为公认最有前途的信息个性化技术发展方向。 虽然推荐系统的研究和应用已经取得了一定的成果,但随着近几年网络用户与信息资源规模进一步增长,传统推荐算法中存在的问题逐渐暴露和放大,特别是推荐系统的稀疏性问题和概念漂移问题已成为影响推荐系统准确性的主要问题,妨碍了推荐系统的进一步推广和应用。 为了适应互联网信息服务的发展趋势,进一步提高推荐系统及其算法的推荐准确性,本文以减少稀疏性问题和概念漂移问题对推荐算法的影响为目标,对以下八个方面的内容进行了研究和讨论: (1)对互联网信息服务的发展现状进行分析,简要回顾了推荐系统的发展历史,概括总结了推荐系统研究和应用的现状,并详细分析现有推荐算法中存在的问题。 (2)对信息过载问题进行了问题定义和成因分析,在对传统信息检索和信息过滤技术进行对比研究的基础上,从用户建模、推荐策略、算法分类和算法评估等方面,对推荐系统进行全面分析和讨论。 (3)分析稀疏性问题的主要成因和表现,总结稀疏性问题直接和间接影响推荐系统的主要途径,结合现有针对稀疏性问题所进行的算法改进,给出了解决稀疏性问题的主要方法和策略。 (4)传统项目间相似度计算方法存在对公共评分的过度依赖,稀疏性问题会引起公共评分数量的明显减少,而基于少量公共评分的相似度计算将难以保证计算结果的准确性和可信度。针对稀疏性问题对相似度计算的影响,结合传统相似度计算的上述缺陷,提出了一种基于加权相似度的协作推荐算法WSBCF,该算法通过在相似度计算中引入评分重合因子,实现了对相似度计算的修正,从而提高了推荐在稀疏评分环境下的准确性。 (5)传统协作推荐的评分预测过程是一种建立在非稀疏评分矩阵上的理想化决策过程。在稀疏评分环境中,过度依赖个性化评分将引起推荐的整体准确性下降。针对稀疏性问题对评分预测过程的这一影响,结合人类在推荐服务中所表现出的从众心理,提出了一种基于平衡评分预测机制的协作推荐算法IBCFBP,该算法综合考虑个性化评分和全局评分在评分预测中的决策支持作用,通过动态调整个性化评分和全局评分在评分预测中的作用,从而完善和改进了传统评分预测过程。 (6)协作推荐算法的各执行过程都依赖于评分矩阵实现相应功能,评分矩阵的稀疏性将对整个协作推荐产生全方位的影响。针对评分矩阵稀疏性对协作推荐的影响,在推荐对象内容可解析的应用环境中,结合基于内容推荐算法对稀疏性问题的不敏感性,提出了一种基于评分填充的混合推荐算法HRRF,该算法通过采用基于内容的推荐算法,实现了对稀疏评分矩阵的个性化评分填充,提高了评分矩阵的数据密度,从而缓解了稀疏性问题的影响。 (7)分析概念漂移问题的主要成因和表现,总结概念漂移问题影响推荐算法的主要途径,结合机器学习和推荐系统领域的现有改进算法,给出了解决概念漂移问题的主要策略。 (8)针对概念漂移问题对协作推荐系统的影响,结合评分重要性随时间指数形式衰减的性质,提出了一种利用评分时间特性的协作推荐算法TIBCF,该算法利用评分时间权重同时实现了对相似度计算和评分预测两个计算过程的修正,从而缓解了概念漂移问题对协作推荐的干扰作用。 本文通过对上述研究内容的讨论,阐明了信息过载问题的产生原因和影响,全面分析了影响推荐系统发展的相关问题,特别针对稀疏性问题和概念漂移问题对协作推荐算法的影响,通过对协作推荐算法各执行过程的完善和改进,提出了相应的改进算法,并实验证明了所提算法在提高协作推荐预测准确性方面的有效性。 本文的主要贡献包括: (1)从互联网信息服务的视角阐述了信息过载问题的产生原因和影响。 (2)分析了个性化信息服务的需求,对个性化信息服务进行了形式化定义。 (3)归纳总结了推荐系统的组成结构和工作原理,分析和讨论了推荐系统涉及的用户建模、推荐算法和算法评价等内容。 (4)讨论了稀疏性问题和概念漂移问题的主要成因,以及二者影响推荐系统的途径,对比分析了现有解决方法,概括了解决二者的主要策略。 (5)针对稀疏性问题对协作推荐的影响,通过完善相似度计算、改进评分预测机制和提高评分数据密度,缓解了稀疏性问题的影响,分别提出了WSBCF、IBCFBP和HRRF算法,并通过实验证明了上述三种算法,在提高推荐准确性方面的有效性。 (6)针对概念漂移问题对协作推荐的影响,通过时间权重改进了相似度计算和评分预测过程,相应提出了TIBCF算法,并实验证明了该算法在解决概念漂移问题以及提高推荐准确性方面的有效性。
【学位授予单位】:华东师范大学
【学位级别】:博士
【学位授予年份】:2012
【分类号】:TP391.3

【引证文献】
中国期刊全文数据库 前2条
1 曹云;;基于网络知识学习的可信问题研究[J];科技进步与对策;2014年09期
2 严海兵;刘昊;;基于文献引证关系的数字图书馆协同推荐系统[J];苏州科技学院学报(自然科学版);2014年03期
中国硕士学位论文全文数据库 前6条
1 常璐;高校图书馆E-learning支持服务研究[D];东华大学;2013年
2 李瑞敏;基于社会化网络的个性化音乐推荐算法研究[D];大连理工大学;2013年
3 种大双;基于云计算的知识服务推荐系统研究[D];河南师范大学;2013年
4 刘熙;基于社会网络的产品推荐方法研究与实现[D];哈尔滨工程大学;2013年
5 王世东;基于数据挖掘的电子商务推荐系统设计与实现[D];电子科技大学;2013年
6 许斐;基于时间因子的动态推荐算法研究[D];中南民族大学;2013年
【参考文献】
中国期刊全文数据库 前10条
1 刘建国;周涛;郭强;汪秉宏;;个性化推荐系统评价方法综述[J];复杂系统与复杂性科学;2009年03期
2 顾君忠;;情景感知计算[J];华东师范大学学报(自然科学版);2009年05期
3 邢永康;马少平;;信息检索的概率模型[J];计算机科学;2003年08期
4 曾春,邢春晓,周立柱;个性化服务技术综述[J];软件学报;2002年10期
5 陈健;印鉴;;基于影响集的协作过滤推荐算法[J];软件学报;2007年07期
6 张光卫;李德毅;李鹏;康建初;陈桂生;;基于云模型的协同过滤推荐算法[J];软件学报;2007年10期
7 许海玲;吴潇;李晓东;阎保平;;互联网推荐系统比较研究[J];软件学报;2009年02期
8 吴湖;王永吉;王哲;王秀利;杜栓柱;;两阶段联合聚类协同过滤算法[J];软件学报;2010年05期
9 范旭;;以豆瓣网和中国国家图书馆为案例的网上书目推荐系统研究[J];图书馆学研究;2008年08期
10 邓爱林,左子叶,朱扬勇;基于项目聚类的协同过滤推荐算法[J];小型微型计算机系统;2004年09期
中国博士学位论文全文数据库 前1条
1 孙小华;协同过滤系统的稀疏性与冷启动问题研究[D];浙江大学;2005年
【共引文献】
中国期刊全文数据库 前10条
1 孙多;;基于兴趣度的聚类协同过滤推荐系统的设计[J];安徽大学学报(自然科学版);2007年05期
2 王丽影;刘媛媛;李建英;;个性化服务在网络课程中的应用研究[J];办公自动化;2009年20期
3 明均仁;张帆;;网络文本信息过滤的意义及其模型初探[J];图书与情报;2007年04期
4 纪良浩;王国胤;杨勇;;基于协作过滤的Web日志数据预处理研究[J];重庆邮电学院学报(自然科学版);2006年05期
5 李大学;谢名亮;赵学斌;;结合项目类别信息的协同过滤推荐算法[J];重庆邮电大学学报(自然科学版);2010年06期
6 纪良浩;;协作过滤信息推荐技术研究[J];重庆邮电大学学报(自然科学版);2012年01期
7 陈大平;;搜索引擎技术方式之探析[J];长春理工大学学报(高教版);2009年10期
8 许建潮;王红梅;;改进的协同过滤算法[J];吉林大学学报(信息科学版);2008年01期
9 陈燕;牟向伟;;语义环境下个性化推荐系统建模[J];吉林大学学报(信息科学版);2010年06期
10 辛勤芳;;基于项目聚类的协同过滤算法研究[J];赤峰学院学报(自然科学版);2011年09期
中国重要会议论文全文数据库 前10条
1 雷育生;甘仞初;杨军;;一种基于用户偏好的虚拟网站信息结构自适应调整算法[A];2007年全国第十一届企业信息化与工业工程学术会议论文集[C];2007年
2 孙衢;王永玉;;基于云模型的非线性系统智能滑模控制[A];第二十九届中国控制会议论文集[C];2010年
3 王茹;郭晓;曹雪珊;;国内视频网站精准投放技术分析[A];2011年通信与信息技术新进展——第八届中国通信学会学术年会论文集[C];2011年
4 梁伟贤;;网络搜索引擎发展现状的探讨[A];2007中国科协年会——通信与信息发展高层论坛论文集[C];2007年
5 徐羽琼;李石坚;姚敏;;基于情境感知的个性化邮件服务[A];第四届和谐人机环境联合学术会议论文集[C];2008年
6 刘咏梅;卢鸿剑;杜美玲;;基于Multi-agent的个人电脑客户定制服务推荐系统[A];2006中国控制与决策学术年会论文集[C];2006年
7 汤志伟;王菁;;面向公众的电子政务个性化信息服务体系的构建[A];中国信息经济学会2007年学术年会论文集[C];2007年
8 戴丽金;何振峰;;基于云模型的时间序列相似性度量方法[A];第八届中国不确定系统年会论文集[C];2010年
9 刘涛;王晓光;黄琨;;数字图书馆的发展及其技术概论[A];信息时代——科技情报研究学术论文集(第三辑)[C];2008年
10 赵立江;何钦铭;;聚类分析在个性化学习中的研究与应用[A];NCIRCS2004第一届全国信息检索与内容安全学术会议论文集[C];2004年
中国博士学位论文全文数据库 前10条
1 张宇;个性化移动内容服务的模型和支持技术研究[D];华中科技大学;2010年
2 胡慕海;面向动态情境的信息推荐方法及系统研究[D];华中科技大学;2011年
3 刘倩;基于客户关系发展阶段的推荐系统特性需求分析[D];华中科技大学;2011年
4 黄永生;基于用户社会属性的点对点内容分发网络模型研究[D];北京邮电大学;2010年
5 夏培勇;个性化推荐技术中的协同过滤算法研究[D];中国海洋大学;2011年
6 于洁潇;基于RFID的情境感知关键技术研究[D];天津大学;2010年
7 代劲;云模型在文本挖掘应用中的关键问题研究[D];重庆大学;2011年
8 胡慕海;面向动动情境的信息推荐方法及系统研究[D];华中科技大学;2011年
9 杜薇;面向分布式开放环境的信任管理机制及其应用研究[D];华中科技大学;2011年
10 林甲灶;构建个性化智能移动电子商务系统的关键技术与方法研究[D];兰州大学;2011年
中国硕士学位论文全文数据库 前10条
1 吴则则;支持动态演进的用户兴趣模型挖掘方法研究[D];山东科技大学;2010年
2 蔡宏果;基于基因表达式编程的Web个性化推荐技术研究[D];广西师范学院;2010年
3 刘建东;基于Web访问信息挖掘的数字图书馆个性化服务研究[D];浙江理工大学;2010年
4 许坤;基于本体的应急信息管理系统的研究与设计[D];郑州大学;2010年
5 宋超臣;基于推荐网络的服务搜索技术研究[D];哈尔滨工程大学;2010年
6 蔡宇虹;基于主题的元搜索引擎关键技术研究[D];哈尔滨工程大学;2010年
7 何莹杰;个性化图书信息服务技术研究[D];哈尔滨工程大学;2010年
8 吴迪;高校毕业生就业推荐系统的设计与开发[D];大连理工大学;2010年
9 赵莲;大规模中英可比较语料库构建[D];大连理工大学;2010年
10 庞军;双聚类算法及其在协同过滤中的应用研究[D];大连理工大学;2010年
【同被引文献】
中国期刊全文数据库 前10条
1 黄永中;赵国栋;张捷;;美国大学开源软件项目概述[J];中国远程教育;2007年04期
2 何克抗;e-Learning的本质——信息技术与学科课程的整合[J];电化教育研究;2002年01期
3 刘革平;李倩;;e-Learning2.0初探[J];电化教育研究;2009年02期
4 朱郁筱;吕琳媛;;推荐系统评价指标综述[J];电子科技大学学报;2012年02期
5 陈华月;;结合用户长期兴趣和近期兴趣的个性化推荐模型[J];电脑知识与技术;2011年22期
6 黄晓斌;;基于协同过滤的数字图书馆推荐系统研究[J];大学图书馆学报;2006年01期
7 倪光南;;新技术发展环境下的电子政务建设[J];电子政务;2010年11期
8 巩军;刘鲁;;基于个人知识地图的专家推荐[J];管理学报;2011年09期
9 徐大鹏;洪红;王超;;电子商务信用风险研究综述[J];经营管理者;2011年20期
10 任全娥;郝若扬;;基于文献引证关系的人文社会科学论文评价[J];大学图书馆学报;2012年03期
中国重要会议论文全文数据库 前1条
1 梅放;林鸿飞;;基于社会化标签的移动音乐检索[A];第五届全国信息检索学术会议论文集[C];2009年
中国博士学位论文全文数据库 前5条
1 李莎莎;面向搜索引擎的自然语言处理关键技术研究[D];国防科学技术大学;2011年
2 李涛;推荐系统中若干关键问题研究[D];南京航空航天大学;2009年
3 郁雪;基于协同过滤技术的推荐方法研究[D];天津大学;2009年
4 许云红;基于网络方法的专家知识推荐[D];中国科学技术大学;2010年
5 张磊;个性化推荐和搜索中若干关键问题的研究[D];北京邮电大学;2009年
中国硕士学位论文全文数据库 前7条
1 陈玉;Web2.0的社会性对网络用户信息行为的影响研究[D];郑州大学;2011年
2 朱晔;我国知识服务现状分析和体系架构研究[D];南京理工大学;2007年
3 潘宇;个性化彩铃推荐系统的设计与实现[D];大连理工大学;2007年
4 葛润霞;基于内容聚类的协同过滤推荐系统研究[D];山东师范大学;2008年
5 刘平;Moodle系统应用与开发[D];江南大学;2009年
6 孙丹;基于用户信息行为的个性化知识服务研究[D];华中师范大学;2012年
7 姚志霞;基于混合推荐的个性化信息服务系统的研究与应用[D];北京交通大学;2012年
【二级参考文献】
中国期刊全文数据库 前10条
1 李德毅;知识表示中的不确定性[J];中国工程科学;2000年10期
2 李德毅,刘常昱;论正态云模型的普适性[J];中国工程科学;2004年08期
3 赵亮,胡乃静,张守志;个性化推荐算法设计[J];计算机研究与发展;2002年08期
4 周军锋,汤显,郭景峰;一种优化的协同过滤推荐算法[J];计算机研究与发展;2004年10期
5 张锋;常会友;;使用BP神经网络缓解协同过滤推荐算法的稀疏性问题[J];计算机研究与发展;2006年04期
6 李煊,汪晓岩,庄镇泉;基于关联规则挖掘的个性化智能推荐服务[J];计算机工程与应用;2002年11期
7 李勇,徐振宁,张维明;Internet个性化信息服务研究综述[J];计算机工程与应用;2002年19期
8 徐小琳,阙喜戎,程时端;信息过滤技术和个性化信息服务[J];计算机工程与应用;2003年09期
9 张丙奇;基于领域知识的个性化推荐算法研究[J];计算机工程;2005年21期
10 余力,刘鲁;电子商务个性化推荐研究[J];计算机集成制造系统;2004年10期
【相似文献】
中国期刊全文数据库 前10条
1 李欢,宋麦玲,杨捷;基于内容的图像检索系统[J];自动化博览;2005年04期
2 史豪杰;邢清华;刘付显;;基于引入概率的范例匹配新方法[J];计算机工程与应用;2009年10期
3 王煜;白石;王正欧;;用于Web文本分类的快速KNN算法[J];情报学报;2007年01期
4 赵俊杰;胡学钢;;基于文本分类的文档相似度计算[J];微型电脑应用;2008年12期
5 郝祥根;杨思春;高远飙;张伟;;基于向量空间模型的中文问答系统研究与实现[J];苏州科技学院学报(自然科学版);2009年01期
6 王波;薛媛媚;;网上销售常问问答系统的构建[J];软件导刊;2009年02期
7 袁正午;李玉森;张雪英;;基于属性的文本相似度计算算法改进[J];计算机工程;2009年17期
8 缪勇;宋斌;;基于Web日志的典型匿名用户路径挖掘研究[J];计算机应用;2009年10期
9 张爱琦;左万利;王英;梁浩;;基于多个领域本体的文本层次被定义聚类方法[J];计算机科学;2010年03期
10 江耿豪;;基于VisualProlog的自动答疑系统设计与实现[J];现代教育技术;2010年07期
中国重要会议论文全文数据库 前10条
1 王凯;李绍稳;张友华;刘超;;缺值背景中的粗糙形式概念相似度计算理论与方法[A];中国农业工程学会电气信息与自动化专业委员会、中国电机工程学会农村电气化分会科技与教育专委会2010年学术年会论文摘要[C];2010年
2 陈立;宋自林;郑世明;张英;;基于本体的概念相似度计算研究[A];江苏省系统工程学会第十一届学术年会论文集[C];2009年
3 吴志雄;;不精确数据的相似度计算[A];逻辑学及其应用研究——第四届全国逻辑系统、智能科学与信息科学学术会议论文集[C];2008年
4 车万翔;刘挺;秦兵;李生;;面向双语句对检索的汉语句子相似度计算[A];语言计算与基于内容的文本处理——全国第七届计算语言学联合学术会议论文集[C];2003年
5 沈君;马生全;;两种新的相似性度量在模糊推理中的应用[A];中国运筹学会模糊信息与模糊工程分会第五届学术年会论文集[C];2010年
6 张迪;郑德权;赵铁军;于浩;;Blog网页分类与识别技术研究[A];全国网络与信息安全技术研讨会论文集(上册)[C];2007年
7 张奇;黄萱菁;吴立德;;一种新的句子相似度度量及其在文本自动摘要中的应用[A];NCIRCS2004第一届全国信息检索与内容安全学术会议论文集[C];2004年
8 林民;宋柔;;基于结构描述的汉字字形相似度计算[A];第三届学生计算语言学研讨会论文集[C];2006年
9 邓锦辉;余正涛;章程;毛存礼;郭剑毅;;汉语语言处理接口的集成与应用[A];2007年中国智能自动化会议论文集[C];2007年
10 朱嫣岚;闵锦;周雅倩;黄萱菁;吴立德;;基于HowNet的词汇语义倾向计算[A];全国第八届计算语言学联合学术会议(JSCL-2005)论文集[C];2005年
中国重要报纸全文数据库 前10条
1 海量智能计算技术研究中心 霍刚;新兴技术为互联网加速[N];计算机世界;2007年
2 记者 洪奕宜;网站特设专区 委员“开博议政”[N];南方日报;2007年
3 俞志新 李水根;创新——中药跨出国门的基础[N];健康报;2006年
4 田振坤 王连芝;黑龙江中医药大学建立蔓荆子药材指纹图谱[N];中国医药报;2005年
5 记者 白京丽;指纹图谱研究走出象牙塔[N];中国医药报;2002年
6 深圳商报记者 陈晓薇;提案从提交到办理电子监控实时跟踪[N];深圳商报;2007年
7 崔昕;浙大中药质控技术取得创新性成果[N];中国医药报;2002年
8 吴铭;天士力推出多元指纹图谱检测法[N];中国医药报;2004年
9 何建昆;复方丹参滴丸指纹图谱分析及质量控制技术通过鉴定[N];科技日报;2004年
10 曹凤兰 孟杰;创建先进的中药质量检测方法[N];科技日报;2004年
中国博士学位论文全文数据库 前10条
1 宋万鹏;短文本相似度计算在用户交互式问答系统中的应用[D];中国科学技术大学;2010年
2 王秀红;文本相似度计算核函数的构造及其在分布式信息检索中的应用研究[D];江苏大学;2012年
3 李辉;移动商务导购系统的研究[D];大连理工大学;2008年
4 史先敏;中国栽培灵芝三萜成分的高效液相指纹图谱研究[D];南京农业大学;2008年
5 李进;两性霉素B有关物质的质量研究与多元组分药物的质量控制和分析[D];中国协和医科大学;2007年
6 卢湖川;人脸识别中几个关键算法研究[D];大连理工大学;2008年
7 王吉华;基于特征函数的产品造型进化设计研究[D];山东师范大学;2009年
8 吴健;基于Web服务的网络化产品配置技术研究[D];浙江大学;2004年
9 杨雨图;支持双语的协同CAPP系统若干关键技术研究[D];南京航空航天大学;2006年
10 朱朝勇;基于本体的知识库分类研究[D];中国科学技术大学;2013年
中国硕士学位论文全文数据库 前10条
1 王德刚;智能答疑系统的设计[D];内蒙古大学;2008年
2 张宇;关系数据库中基于元组的关键词查询研究[D];燕山大学;2009年
3 张平生;计算机辅助飞机协调图表设计技术研究[D];西北工业大学;2007年
4 郭竞;三维地形模型检索系统设计与实现[D];西北大学;2007年
5 王婷;OWL本体之间概念相似度计算研究[D];河海大学;2007年
6 蔡元哲;本体实例学习关键技术的研究[D];中国人民大学;2008年
7 刘岩;基于概念图的中文语义分析系统的研究与实现[D];西北大学;2008年
8 王少鹏;基于网页标识的图像内容过滤防火墙的设计[D];山西大学;2008年
9 王利局;基于语义分析树核的句子相似度计算[D];大连理工大学;2008年
10 赵火军;基于引文链的知识元挖掘方法研究[D];西安电子科技大学;2009年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026