收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

自适应基数受限玻尔兹曼机

万程  
【摘要】:近年,深度学习在特征抽取方向上取得了许多令人满意的研究成果。重要的原因之一是使用受限玻尔兹曼机作为构成深度神经网络的基础结构。同时,致力于提升受限玻尔兹曼机性能的研究工作也相继出现。其中在该模型中引入稀疏性是该研究领域的一个非常重要的研究方向。基数受限玻尔兹曼机是现有方法之一,其特点是在模型的联合概率分布上直接引入对隐藏层单元激活数量的限制。这种方法的局限性在于假设存在一个对于所有输入数据均适用的隐藏层单元激活数量的阈值。然而很多情况下这样的假设并不能成立,因而限制了该模型的性能。为了解决该问题,本文提出一种基于基数受限玻尔兹曼机的框架——自适应基数受限玻尔兹曼机,该框架包括以下特点:(1)每一个输入数据都拥有自己相应的阈值,且通过合适的概率分布来对输入数据的阈值进行建模,并能够根据输入数据的实际情况来调整分布(通常是调整分布中的参数),即自适应。(2)该框架中模型的学习算法不依赖于具体的分布,使用不同分布只会造成学习算法中抽样过程的不同。本文基于基数受限玻尔兹曼机开展相关研究,研究工作主要包括:1.提出了可以使用概率分布来对受限玻尔兹曼机中隐藏层单元激活阈值进行建模的观点,并依据该观点提出自适应基数受限玻尔兹曼机。2.理论证明了用于建模激活阈值的概率分布可以被替换,并对选择分布的原则进行了分析。3.以高斯分布为例,展示了自适应基数受限玻尔兹曼机的具体形式——高斯基数受限玻尔兹曼机,详尽叙述了使用高斯分布的理由和优势,并提出了该模型的学习方法。4.设计并实现了基于高斯基数受限玻尔兹曼机的图片分类系统。5.在两个真实数据集上进行的实验,实验结果表明该模型的性能优于基数受限玻尔兹曼机。同时分析了该模型的局限性,并提出了解决方案。


知网文化
【相似文献】
中国期刊全文数据库 前3条
1 刘来福,唐志宇,匡锦瑜;向量玻尔兹曼机[J];北京师范大学学报(自然科学版);1996年04期
2 秦胜君;卢志平;;基于限制玻尔兹曼机的无极性标注情感分类研究[J];科学技术与工程;2013年35期
3 ;[J];;年期
中国硕士学位论文全文数据库 前8条
1 李娟;基于RBM的小分子活性及选择性研究[D];兰州大学;2015年
2 叶睿;基于深度学习的人脸检测方法研究[D];哈尔滨工业大学;2015年
3 张卫东;深度信念网络及其在手写字体识别中的应用[D];成都理工大学;2015年
4 施维蒨;门限玻尔兹曼机在人脸识别中的鲁棒性研究[D];北京交通大学;2015年
5 万程;自适应基数受限玻尔兹曼机[D];清华大学;2015年
6 王海麟;通过信息几何方法挖掘玻尔兹曼机的不变性[D];天津大学;2014年
7 仝少敏;基于受限玻尔兹曼机的面部运动识别方法研究[D];哈尔滨工业大学;2014年
8 李平;监督概率主题模型研究[D];安徽工业大学;2014年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978