收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于受限玻尔兹曼机的深度学习模型及其应用

张艳霞  
【摘要】:深度学习是一种新式的多层神经网络模型,拥有强大的表示能力,用途广泛,引起了机器学习界普遍的关注。受限玻尔兹曼机(Restricted Boltzmann Machines,RBM)是一类基于概率的随机神经网络模型,具备两层结构,满足层间全连接,层内无连接,可以有效地提取特征,也可以用来预训练传统的前馈神经网络,明显地提高网络的判别能力,如果堆叠多个RBM形成的深度置信网络(Deep Belief Network,DBN),则能抽取到更抽象的特征。鉴于RBM的优势,本文基于RBM的基本模型,从公式推导、算法、参数设置以及收敛性理论等基本内容展开,重点研究的工作包括以下几个方面:1.在RBM模型的基础上,研究了两种不同的稀疏RBM模型:Sp RBM与Log Sum RBM,并结合Polyak Averaging在随机梯度下降时加速收敛的优势,对稀疏RBM模型的学习算法作了改进,从平均重构误差和算法复杂度方面分析了算法改进之后模型求解结果之间的差异与优势。2.借鉴RBM的两种评估策略(重构误差法和退火式重要性采样法),将其应用到Sp RBM与Log Sum RBM模型的评估中,实验详细验证了评估的可行性与效率,从评估的角度表明了Log Sum RBM模型比Sp RBM模型更优。3.研究了DBN网络的层数对模型性能的影响,确定了模型达到最优时的层数(4层),依次构建了4层与5层非线性深度网络,使用基于RBM的不同深度网络模型3DBN、3Sp DBN、3Log Sum DBN以及4DBN、4Sp DBN、4Log Sum DBN分别作为4层网络与5层网络的预训练,并在MNIST和UCI数据集上进行了分类、识别,经过实验对比,表明了基于Polyak Averaging策略求解的Log Sum DBN模型是最优的模型,具有更好的稀疏特征表征能力和判别能力。这与上述评估结果不谋而合。


知网文化
【相似文献】
中国期刊全文数据库 前3条
1 刘来福,唐志宇,匡锦瑜;向量玻尔兹曼机[J];北京师范大学学报(自然科学版);1996年04期
2 秦胜君;卢志平;;基于限制玻尔兹曼机的无极性标注情感分类研究[J];科学技术与工程;2013年35期
3 ;[J];;年期
中国硕士学位论文全文数据库 前10条
1 李娟;基于RBM的小分子活性及选择性研究[D];兰州大学;2015年
2 叶睿;基于深度学习的人脸检测方法研究[D];哈尔滨工业大学;2015年
3 张卫东;深度信念网络及其在手写字体识别中的应用[D];成都理工大学;2015年
4 施维蒨;门限玻尔兹曼机在人脸识别中的鲁棒性研究[D];北京交通大学;2015年
5 万程;自适应基数受限玻尔兹曼机[D];清华大学;2015年
6 李亦锬;受限的玻尔兹曼机在背景建模和文本建模中的研究与应用[D];中国科学技术大学;2016年
7 张艳霞;基于受限玻尔兹曼机的深度学习模型及其应用[D];电子科技大学;2016年
8 王海麟;通过信息几何方法挖掘玻尔兹曼机的不变性[D];天津大学;2014年
9 仝少敏;基于受限玻尔兹曼机的面部运动识别方法研究[D];哈尔滨工业大学;2014年
10 李平;监督概率主题模型研究[D];安徽工业大学;2014年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978