收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于协同过滤视角的受限玻尔兹曼机研究

罗恒  
【摘要】:受限玻尔兹曼机(Restricted Boltzmann Machine,RBM)是一类具有两层结构的马尔可夫随机场。近年来,随着RBM的快速学习算法–对比散度(Contrastive Divergence,CD)的出现,引起了一轮研究RBM、CD算法的理论及应用的热潮。理论方面,RBM的快速学习算法促进了机器学习界对于随机近似理论、基于能量的模型、未归一化的统计模型的研究。应用方面,目前RBM已被成功地应用于不同的机器学习问题,如分类、回归、降维、高维时间序列建模、稀疏超完备表示、图像变换、协同过滤等等。 本文试图从协同过滤这一问题出发,建立RBM与协同过滤经典算法的联系,揭示RBM的内在机理,并且从协同过滤经典算法的改进出发分析受限玻尔兹曼机的不足,并尝试提出改进。 1.以经典的基于用户的协同过滤算法为基础,提出了新的用户相似度度量,局部用户相似度及全局用户相似度,提出了一个基于以上两个用户相似度的协同过滤算法框架。局部用户相似度可以被视为信息检索经典算法,TF-IDF(Term Frequency–Inverse DocumentFrequency,词频-逆向文档频率)权重的一个变种,在用户相似度的计算中强调那些罕见的独特的特征。全局相似度则可视为谱图理论的一个应用,通过用户间相似度的传递,试图发现那些没有兴趣交集的用户之间的相似度。通过实验显示,基于局部用户相似度及全局用户相似度的协同过滤算法,在一定程度上缓解了协同过滤系统中的数据稀疏性问题。 2.通过构建RBM与基于用户的协同过滤算法的联系,本文给出了RBM的学习算法–对比散度的一个直观的解释。由此指出受限玻尔兹曼机的非监督学习方式学习到的特征可能有时并不具有辨别力;此外,非监督学习往往会产生一个庞大冗杂的模型,从而使得利用RBM学习的特征变得效率不高。因此本文提出一种混合的三阶受限玻尔兹曼机,同时学习类别无关特征和类别相关特征,而这个混合的三阶受限玻尔兹曼机所定义的分类器只建立在类别相关的特征之上,从而具有更高的分类效率。类别无关特征在学习过程中对于类别相关特征引入了一种正则化效应,这样提出的受限玻尔兹曼机不再需要使用权重衰减(Weight-decay)来控制类别相关特征的范数的增长。 3.通过分析受限玻尔兹曼机的学习算法–对比散度,提出考虑隐单元状态的统计相关性对于促使隐单元学习各自不同的特征有重要的作用。提出将隐单元分为大小相同、互不重叠的组,进而在学习过程中引入一种基于隐单元激活概率的l1/l2正则化方法来考虑局部隐单元的统计相关性。这种正则化方法不仅促使大量隐单元组保持在不激活状态,即组间稀疏,同时使得组内的隐单元也大多保持在不激活状态,即组内稀疏。因此,本文称使用这种正则化方法训练的受限玻尔兹曼机为“稀疏组受限玻尔兹曼机”(SparseGroup Restricted Blotzmann Machines,SGRBM)。实验显示,使用稀疏组RBM可以学习到一个较RBM更稀疏更好的生成模型。此外,我们也进一步应用这种正则化方法到深层玻尔兹曼机(DeepBoltzmann Machines,DBM),从而形成了稀疏组深层玻尔兹曼机(Sparse Group Deep Blotzmann Machines,SGDBM),并在两个公共数据集上取得了非常高的分类准确率。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 匡锦瑜,刘来福,朱俊秀,郭宇春;马尔可夫随机场与离散多值玻尔兹曼机[J];电子学报;1994年10期
2 刘来福,唐志宇,匡锦瑜;向量玻尔兹曼机[J];北京师范大学学报(自然科学版);1996年04期
3 周向东,施伯乐,张琪,张亮,刘莉;基于长期学习的多媒体数据库相似性检索[J];软件学报;2004年01期
4 余力,刘鲁,李雪峰;用户多兴趣下的个性化推荐算法研究[J];计算机集成制造系统-CIMS;2004年12期
5 郭炜;高琳琦;;电子旅游中间商的个性化信息服务模式研究[J];情报科学;2006年05期
6 孙小华;陈洪;孔繁胜;;在协同过滤中结合奇异值分解与最近邻方法[J];计算机应用研究;2006年09期
7 游文;叶水生;;电子商务推荐系统中的协同过滤推荐[J];计算机技术与发展;2006年09期
8 吴吉义;林志洁;龚祥国;;基于协同过滤的移动电子商务个性化推荐系统若干研究[J];电子技术应用;2007年01期
9 王纪辉;赵卓宁;;基于协同过滤算法的电子商务网站个性化推荐系统设计[J];成都信息工程学院学报;2007年S1期
10 佘碧蓉;;利用ASP.NET 2.0实现动态的商品推荐[J];电脑与电信;2008年05期
11 胡慧蓉;;电子商务个性化推荐系统分析与设计[J];科技创新导报;2009年08期
12 李世扬;储泽楠;;基于Agent与个人知识本体的搜索系统研究[J];科技信息;2009年31期
13 王恒;;基于协同过滤的电子农务推荐系统模型研究[J];宁夏大学学报(自然科学版);2009年04期
14 王志军;岳训;付冬菊;苗良;;基于Web投票机制的免疫协同过滤推荐技术研究[J];农业网络信息;2010年01期
15 李聪;梁昌勇;;适应用户兴趣变化的协同过滤增量更新机制[J];情报学报;2010年01期
16 顾晔;吕红兵;;改进的增量奇异值分解协同过滤算法[J];计算机工程与应用;2011年11期
17 赵宏霞;王新海;杨皎平;;基于用户和项目因子分析的混合协同推荐算法[J];计算机应用;2011年05期
18 余力,刘鲁;电子商务个性化推荐研究[J];计算机集成制造系统-CIMS;2004年10期
19 何光辉;魏曙光;王蔚韬;;改进的聚类邻居协同过滤推荐算法[J];计算机科学;2004年11期
20 李超然,徐雁斐,张亮;协同推荐pLSA模型的动态修正[J];计算机工程;2005年20期
中国重要会议论文全文数据库 前10条
1 胡必云;李舟军;王君;;基于心理测量学的协同过滤相似度方法(英文)[A];NDBC2010第27届中国数据库学术会议论文集(B辑)[C];2010年
2 董全德;;基于双信息源的协同过滤算法研究[A];全国第20届计算机技术与应用学术会议(CACIS·2009)暨全国第1届安全关键技术与应用学术会议论文集(上册)[C];2009年
3 李建国;姚良超;汤庸;郭欢;;基于认知度的协同过滤推荐算法[A];第26届中国数据库学术会议论文集(B辑)[C];2009年
4 周军锋;汤显;郭景峰;;一种优化的协同过滤推荐算法[A];第二十一届中国数据库学术会议论文集(研究报告篇)[C];2004年
5 黄创光;印鉴;汪静;刘玉葆;王甲海;;不确定近邻的协同过滤推荐算法[A];NDBC2010第27届中国数据库学术会议论文集A辑一[C];2010年
6 陶红亮;王明文;曹瑛;;基于项目平滑和聚类的协同过滤推荐算法[A];第二十三届中国数据库学术会议论文集(技术报告篇)[C];2006年
7 汤显;郭景峰;高英飞;;基于类别相似性的增量协同过滤推荐算法[A];第二十三届中国数据库学术会议论文集(研究报告篇)[C];2006年
8 罗喜军;王韬丞;杜小勇;刘红岩;何军;;基于类别的推荐——一种解决协同推荐中冷启动问题的方法[A];第二十四届中国数据库学术会议论文集(研究报告篇)[C];2007年
9 李雪;左万利;赫枫龄;王英;;传统Item-Based协同过滤推荐算法改进[A];第26届中国数据库学术会议论文集(B辑)[C];2009年
10 孙铁利;杨焱;邱春艳;;基于内容预测的协同过滤推荐[A];2005年全国理论计算机科学学术年会论文集[C];2005年
中国博士学位论文全文数据库 前10条
1 罗恒;基于协同过滤视角的受限玻尔兹曼机研究[D];上海交通大学;2011年
2 夏培勇;个性化推荐技术中的协同过滤算法研究[D];中国海洋大学;2011年
3 薛福亮;电子商务协同过滤推荐质量影响因素及其改进机制研究[D];天津大学;2012年
4 沈磊;心理学模型与协同过滤集成的算法研究[D];北京航空航天大学;2010年
5 高旻;基于计算语用学和项目的资源协同过滤推荐研究[D];重庆大学;2010年
6 刘青文;基于协同过滤的推荐算法研究[D];中国科学技术大学;2013年
7 孙慧峰;基于协同过滤的个性化Web推荐[D];北京邮电大学;2012年
8 孙小华;协同过滤系统的稀疏性与冷启动问题研究[D];浙江大学;2005年
9 张亮;推荐系统中协同过滤算法若干问题的研究[D];北京邮电大学;2009年
10 邓爱林;电子商务推荐系统关键技术研究[D];复旦大学;2003年
中国硕士学位论文全文数据库 前10条
1 白龙;融合数据检测与用户信任的协同过滤算法研究[D];燕山大学;2010年
2 张晓蕾;协同过滤推荐模型及其在汽车电子商务中的应用研究[D];天津师范大学;2010年
3 邵伟;基于领域知识的协同过滤推荐研究[D];河北大学;2010年
4 王均波;协同过滤推荐算法及其改进研究[D];重庆大学;2010年
5 庞军;双聚类算法及其在协同过滤中的应用研究[D];大连理工大学;2010年
6 曾小波;基于协同过滤的推荐系统的研究[D];电子科技大学;2010年
7 胡福华;基于可信相似度传递的协同过滤算法研究与应用[D];浙江大学;2011年
8 康雨洁;基于协同过滤的个性化社区推荐方法研究[D];中国科学技术大学;2011年
9 王小亮;基于协同过滤的个性化推荐算法的优化和应用[D];浙江工商大学;2010年
10 李春;协同过滤推荐算法的研究[D];湘潭大学;2010年
中国重要报纸全文数据库 前10条
1 本报记者 欧阳进权;手机进口受限是“断奶”还是机遇[N];通信信息报;2003年
2 ;欧洲章鱼贸易受限[N];中国海洋报;2004年
3 柳坚;受限局域网也BT[N];电脑报;2004年
4 李南玲 陈啸天;医疗器械出口增长受限有因[N];中国高新技术产业导报;2003年
5 商闻;深圳输美受限纺织品增幅回落[N];中国纺织报;2006年
6 本报实习记者  郭欣;ST重实年报审计受限[N];中国证券报;2006年
7 兰海;越级上访能限制住吗?[N];人民代表报;2006年
8 北京首证;缺口支撑有力 短调必将受限[N];上海证券报;2008年
9 北京首证;强势未改 回升可期[N];证券日报;2008年
10 郭内;我国服装出口受限风险加大[N];国际商报;2005年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978