收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于深度玻尔兹曼机的特征学习算法研究

朱常宝  
【摘要】:近几年来,深度学习在图像、语音、视频等非结构化数据领域中获得了前所未有的成功,已成为人工智能和机器学习研究的热点。深层网络的优越性主要体现在更丰富表述信息的特征且具有更大的知识表示空间对客观世界进行表示。伴随着大数据的到来,数据的获取变得更加容易,数据的格式也花样辈出,其学习的模型结构也越来越复杂,针对深度学习模型算法效率的提升的研究越来越受到关注。现如今常用的深层网络模型中,深度信念网络(Deep Belief Networks, DBN)是较为成熟的模型,它是由多个受限波尔兹曼机堆叠而成,通过隐藏层逐层向上抽取使信息能更抽象表达,故深层网络对输入有更好的描述能力。海量的数据可以使其深度学习模型的学习算法特征提取性能不断提高,所以在算法提升方面的研究显得尤为重要。深度学习本质上仍然属于监督学习模型。通过大量的训练实例来不断的训练神经元之间的权重,最终使得整个神经网络按照最大的概率来生成训练数据,成功的深度学习应用往往要求较大的高质量的训练集。由于原始数据存在的错误和不规范,在现实中往往还需要对数据进行预处理。在当今大数据时代,这个预处理工作往往占据了全部项目的大部分时间和资源,大大限制了深度学习的实际应用。本文主要贡献在于:1.提出了一种新的基于深度置信网络模型学习算法改进,能够使模型提取特征的效率提高,使模型能更优的描述数据集的几何表示。在向上逐层贪婪算法中加入阈值来选择性的更新全局参数。在反向传播微调算法中在微调后期对网络最高层和最高N层的参数周期性更新迭代,这两种形式相结合来提高学习效率,减少模型的学习时间,并在最终的特征提取的效果上与改进前几乎相同。2.针对特定假设条件下,引入了半监督的思想来解决一些特殊数据集的原始标识缺失导致的模型初始训练困难,这样能更有效的解决现实中时间和资源的浪费。结合半监督学习的思想,使用较少的训练集提高深度网络模型的分类准确性显得尤为重要。由于改进学习算法的方式有很多,其核心都是训练合适的权重使得整个网络的能量尽可能得达到最大值。最后,实验结果表明,通过新的改进算法,训练模型的时间得到了有效的减少,同时模型的特征提取的学习效果基本不变。在前提假设的情况下DBN模型引入半监督思想之后,通过三种方法的半监督前期学习,在模型的最终的特征提取精度上得到了有效的提高。


知网文化
【相似文献】
中国期刊全文数据库 前3条
1 刘来福,唐志宇,匡锦瑜;向量玻尔兹曼机[J];北京师范大学学报(自然科学版);1996年04期
2 秦胜君;卢志平;;基于限制玻尔兹曼机的无极性标注情感分类研究[J];科学技术与工程;2013年35期
3 ;[J];;年期
中国硕士学位论文全文数据库 前10条
1 李娟;基于RBM的小分子活性及选择性研究[D];兰州大学;2015年
2 叶睿;基于深度学习的人脸检测方法研究[D];哈尔滨工业大学;2015年
3 张卫东;深度信念网络及其在手写字体识别中的应用[D];成都理工大学;2015年
4 施维蒨;门限玻尔兹曼机在人脸识别中的鲁棒性研究[D];北京交通大学;2015年
5 万程;自适应基数受限玻尔兹曼机[D];清华大学;2015年
6 李亦锬;受限的玻尔兹曼机在背景建模和文本建模中的研究与应用[D];中国科学技术大学;2016年
7 张艳霞;基于受限玻尔兹曼机的深度学习模型及其应用[D];电子科技大学;2016年
8 朱常宝;基于深度玻尔兹曼机的特征学习算法研究[D];北京化工大学;2016年
9 张怡康;基于受限玻尔兹曼机的深度学习方法研究[D];北京化工大学;2016年
10 王海麟;通过信息几何方法挖掘玻尔兹曼机的不变性[D];天津大学;2014年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978