收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于核的算法与生成模型研究

孙皓亮  
【摘要】:核方法是机器学习领域的经典模型之一,其原理是将输入的原始空间的特征映射到高维甚至无穷维空间中,并在高维空间学习得到对应的线性模型,使模型具有极强的非线性表达能力。核方法在回归、分类等任务上都有广泛的应用。作为理论较为完备的机器学习算法,其在不同场景下仍有许多亟待解决的问题:(1)在多输出回归应用中,核方法极大提升了模型的非线性表达能力,但同时导致模型的灵活性受限,尤其在处理多个输出相关性问题上,显得能力不足;(2)通常基于核方法的判别模型处理样本个体为单个样例,当处理单个样本为一个集合数据的学习任务时,现有的核方法未能很好解决;(3)在元学习思路下的小样本学习任务中,选择基于核方法的判别模型作为基础学习器,如何构建数据驱动的自适应核以有效提升小样本学习的性能,是一个值得研究的问题。针对上述挑战性问题,本文以核方法为基础,研究在多输出回归、集合匹配以及元学习框架下基于核的相关算法,并分别提出三种模型,在一定程度上解决了核方法在不同学习场景下的有效使用问题。其中,在研究元学习范式下核方法的相关算法时,使用变分推断的方式获得核函数的谱分布。由此本文对推断问题进行拓展,研究基于流结构的推断生成模型,并结合图像生成任务,解决了基于流结构的有条件生成问题。本文的具体工作包括如下四方面。1.核化的结构化支持向量回归模型:为了显式描述核化的多输出回归模型输出的相关性,提升模型的判别性能,本文提出一种简洁有效的两层模型,命名为结构化支持向量回归模型。其中,模型的第一层是非线性映射层,该层主要依赖核函数中包含的隐式复杂非线性映射函数,从而使得模型能够较好的处理输入和输出之间复杂非线性关系。模型的第二层是显式的相关性学习层,基于组稀疏的线性结构,能充分考虑多个输出的相关性以及多个输出之间存在的结构化信息,极大增强了模型的表达能力。同时,方法在模型训练过程引入流形平滑项以提升模型的鲁棒性。本文提出交替迭代优化算法来求解该目标函数,并对其收敛性进行分析。在多个公开的多输出回归数据集以及实际应用场景下的医学指标回归任务上的实验结果,验证了该模型的有效性。2.基于多核学习的深度匹配核模型:为了有效解决集合匹配问题,本文提出一种新的加性深度匹配核模型来实现集合之间的直接匹配度量。该模型包含两个层次的核:局部核和全局核。本文选择基于深度神经网络的深度核作为基础的局部匹配核,利用局部匹配核以有效的度量集合内元素的相似度。通过引入锚点,算法可以利用有监督的多核学习将多个局部匹配核融合在一起,得到集合之间的全局匹配核。该模型具有计算速度快,并且不依赖于特定的分布或几何结构假设等优点。在基于视频的人脸识别,动态场景识别,以及多视角物体识别三个视觉分类任务数据集上的实验结果,验证了该模型的有效性。3.基于自适应核的元学习模型:为了融合核估计技术和元学习思想,实现将核方法向到元学习设置下小样本学习的拓展,本文提出一种新的元学习框架。该模型研究在元学习框架下的基于随机傅里叶特征的核估计技术,实现了以数据驱动的方式,从数据中推断针对当前任务的自适应核。在模型设计阶段,创新地将求解过程转化为求解一个变分推断问题,并且导出新的变分下限(ELBO)。同时,模型通过引入基于LSTM的上下文推断方式来增强其从多个任务中获取有效共享信息的能力,从而得到信息更加丰富的特征。本模型构建的自适应核函数具有表达能力强、采样率低等优点,可在测试阶段快速适应新任务进而提升模型性能,且模型的良好性能在小样本回归和小样本分类实验上得到了有效验证。4.基于流结构的条件生成模型:相较于基于变分推断的生成模型,基于流结构的生成模型具有直接估计准确的似然函数的优势。但当前基于流结构的生成模型未能较好解决条件生成问题。针对此问题,本文提出一种新的基于流结构的生成模型来处理条件生成任务。该模型包含两个可逆神经网络和一个关联网络,并在训练过程中将输入向量和真实输出向量映射到隐含空间,分别得到两个隐含变量。该模型的优势是在给定输入向量时,输出向量的条件分布可简化为求解两个隐含变量之间的条件分布。此外,本文考虑拓展模型的功能,使其能够处理在给定另一个域的额外信息的情况下,实现对输出向量的操控。本文在脑图像的模态转换任务上的实验结果,充分验证了模型的有效性,在自然图像上的“风格转换”任务上的实验结果,初步验证了模型的通用性。


知网文化
【相似文献】
中国期刊全文数据库 前18条
1 陈津津;;基于供应链思维的存货削减模型研究及应用[J];铁路采购与物流;2020年01期
2 王建成;蔡延光;;基于多模型融合的工业工件剩余寿命预测[J];自动化与信息工程;2020年01期
3 沈倩;周艳莲;单良;;基于遥感和站点观测数据的生态系统呼吸模型比较[J];遥感技术与应用;2020年02期
4 龚栩;;两类典型牵引模型规律的对比探究[J];湖南中学物理;2020年04期
5 陈进前;;“模型认知”是重要思维方式[J];化学教学;2020年05期
6 吴风琴;;建构模型认知 促进深度学习——高三二轮复习“实验方案的设计与评价”[J];化学教与学;2020年05期
7 赵欣;;管理创新过程管控模型的构建与应用[J];科技经济导刊;2020年17期
8 陈进前;;理解“模型认知”素养的不同视角[J];课程.教材.教法;2020年04期
9 黄志凌;;金融智能化不可忽视的模型风险[J];武汉金融;2020年06期
10 龙正祥;;基于模型构建 引领思维发展[J];高中数学教与学;2018年13期
11 谢迪;蒋欣欣;;基于离散时间风险模型下的亏损破产概率的研究[J];甘肃科学学报;2017年02期
12 刘丽萍;;高维稀疏对角GARCH模型的估计及应用[J];数学的实践与认识;2017年11期
13 韩宏禹;;信息系统成功模型在卫生领域的应用及扩展[J];信息系统工程;2016年05期
14 郑燕;;例谈化学模型的特征、作用与类型[J];中学教学参考;2020年11期
15 田东辉;;构建人才甄选道德模型[J];经济管理文摘;2019年17期
16 潘道生;;“一线三等角”模型在中考中的应用[J];初中生学习指导;2020年18期
17 仇书芹;;巧用隐圆模型 突破思维壁垒[J];数理化解题研究;2020年17期
18 Javi Diesel;;什么是“做模型”[J];模型世界;2018年11期
中国重要会议论文全文数据库 前10条
1 张永青;赵明清;;复合更新风险模型生存概率局部估计解[A];中国企业运筹学学术交流大会论文集[C];2008年
2 欧阳威;胡笑羽;胡竹菁;艾炎;沈友田;张盼盼;;推理判定标准对推理加工的影响:基于两种理论四种模型的比较[A];第二十一届全国心理学学术会议摘要集[C];2018年
3 杨文婧;王倩;;一种新的哑铃模型及其在平板收缩流中模拟计算[A];第十二届全国流变学学术会议论文集[C];2014年
4 戴锋;韩枫;叶春林;;基于偏尾分布的发展力模型及实证分析[A];中国优选法统筹法与经济数学研究会第七届全国会员代表大会暨第七届中国管理科学学术年会论文集[C];2005年
5 王伟;;IT治理的主要内控模型比较研究[A];中国会计学会第八届全国会计信息化年会论文集[C];2009年
6 孟庆春;林峥;;关于宏观经济的一对对偶模型[A];2001年中国管理科学学术会议论文集[C];2001年
7 李泽慧;沈俊山;朱金霞;;一类风险模型的破产概率估计[A];2003中国现场统计研究会第十一届学术年会论文集(下)[C];2003年
8 杨玫;王丽丽;周海兵;张树道;;用浮阻力模型研究Richtmyer-Meshkov不稳定性诱导混合[A];中国力学大会-2015论文摘要集[C];2015年
9 祁国宁;顾新建;李仁旺;;大批量定制及其模型的研究[A];新世纪 新机遇 新挑战——知识创新和高新技术产业发展(上册)[C];2001年
10 高林;刘喜梅;;多模型中权值确定的新方法及其应用[A];2009年中国智能自动化会议论文集(第二分册)[C];2009年
中国博士学位论文全文数据库 前10条
1 孙皓亮;基于核的算法与生成模型研究[D];山东大学;2020年
2 郝春艳;网络容量扩张中的成本效益模型研究[D];华中科技大学;2006年
3 欧阳林寒;模型不确定下的稳健参数设计研究[D];南京理工大学;2016年
4 刘展;基于广义比例优势模型的加速寿命试验统计分析与优化设计[D];西南财经大学;2016年
5 李钦;面向模型的组合理论研究[D];华东师范大学;2011年
6 尚文朋;加法与乘法风险模型的广义矩估计方法[D];华中科技大学;2017年
7 周伊佳;带有共享不确定参数的鲁棒优化模型[D];大连理工大学;2017年
8 胥辉;立木生物量模型构建及估计方法的研究[D];北京林业大学;1998年
9 柯三民;格点体系和弦理论中一些模型的可积性及其相关研究[D];西北大学;2008年
10 梁璐;预测原发性青光眼发生风险的分类回归树及列线图模型的初步建立及评估[D];复旦大学;2012年
中国硕士学位论文全文数据库 前10条
1 陈文婷;化学教师对模型的认识和应用研究[D];华东师范大学;2008年
2 于学伟;基于主题模型的网络舆情分析及其应用研究[D];厦门大学;2017年
3 夏志强;基于以旧换新的闭环供应链模型研究[D];厦门大学;2014年
4 何煦;权益资本成本估计模型的最优选择[D];西南财经大学;2008年
5 于倩倩;地理加权随机前沿模型的研究与应用[D];中央民族大学;2011年
6 姬君;基于“模型”方法的化学教学设计研究[D];天津师范大学;2010年
7 程东亚;多重延迟更新风险模型中的破产概率及局部破产概率[D];苏州大学;2005年
8 杨晓;含有协变量的混合隶属度随机块模型的社区发现[D];浙江财经大学;2019年
9 常东亚;基于上下文的主题模型[D];苏州大学;2017年
10 李丹菁;模型方法在高中有机化学教学中的应用研究[D];江西师范大学;2015年
中国重要报纸全文数据库 前10条
1 徐瑾;模型思维,其实也是复杂思维[N];经济观察报;2020年
2 首席记者 吴温 通讯员 郭旭梅;温控模型精准控制温度[N];石家庄日报;2020年
3 本报通讯员 李施璇;期待数字孪生模型开花结果[N];人民铁道;2019年
4 郑磊;迎接多样化现实与多模型思维时代[N];21世纪经济报道;2020年
5 本报记者 王悠然;审视模型的价值和局限性[N];中国社会科学报;2020年
6 渭南军分区 郑宏;多重视语言的“种子模型”[N];解放军报;2019年
7 孟苏;一个模型的力量[N];衢州日报;2018年
8 吴礼晖;小模型可获大财富[N];经理日报;2004年
9 赵倩;军事模型必须实现共享[N];解放军报;2005年
10 辛华 张宁;军事模型亦可“藏”[N];中国商报;2003年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978