收藏本站
《天津大学》 2010年
收藏 | 手机打开
二维码
手机客户端打开本文

核方法模型选择与模型组合的谱方法

贾磊  
【摘要】:核方法是机器学习的重要方法。模型选择与模型组合问题是核方法理论研究和实际应用的关键问题。当前,核方法模型选择准则大多基于模型复杂性,但模型复杂性难以表示与度量;核方法模型组合方法一般应用全集组合策略,泛化界没有达到理论最优值;核方法模型组合的优化算法主要采用半定规划法,计算效率较低。 针对上述问题,本文基于矩阵谱理论,提出了核方法模型选择与组合的核矩阵谱分析方法。研究了核矩阵的选择准则、组合方法与优化算法,并通过实验分析,表明了所提出方法的合理性和有效性。主要研究工作包括: 1.在核方法模型选择准则方面,针对现有模型复杂性难以表示与度量问题,提出了核矩阵选择的一阶准则与二阶准则。分析了核矩阵泛化界与显著特征值数、位二特征值的关系,由此提出了核矩阵选择的一阶准则;证明了近似最优集中核矩阵凸组合的泛化界,由此提出了核矩阵选择的二阶准则。将核方法模型选择归约为核矩阵谱性质的计算与分析,避免了直接表示与度量核模型复杂性。理论分析了AIC、MDL等模型选择准则的谱依赖性,实验验证了AIC、MDL等准则与一、二阶准则的一致性。 2.在核方法模型组合方法方面,针对现有全集组合法泛化界O(?)没有达到理论最优值问题,提出了核矩阵凸组合方法COSK。COSK采纳核矩阵的一阶准则与二阶准则,对核矩阵集进行两次筛选,逐阶生成核矩阵备选集与近似最优集,并应用近似最优集进行组合,可使核矩阵凸组合的泛化界达到理论最优值O(?)。在标准数据集上对比了全集组合方法与COSK的泛化性。 3.在核方法模型组合的优化算法方面,针对计算复杂度为O(N1.5N4.5)的半定规划计算效率较低问题,通过对最大间隔型学习问题的目标函数与约束条件的等价变型,将问题归约为凸约束、多面体约束和椭球约束的核矩阵组合问题,设计并实现了计算复杂性为O(Nn3.5)的二阶锥优化算法。在人工合成数据和标准数据集上对比了半定规划与二阶锥优化的计算效率和预测精度。
【学位授予单位】:天津大学
【学位级别】:博士
【学位授予年份】:2010
【分类号】:TP181

【相似文献】
中国期刊全文数据库 前10条
1 詹宇斌;殷建平;刘新旺;;局部切空间对齐算法的核主成分分析解释[J];计算机工程与科学;2010年06期
2 张明慧;卢振泰;肖烈红;;基于核方法的图像快速加密算法[J];电路与系统学报;2010年03期
3 曾文赋;黄添强;李凯;余养强;郭躬德;;基于调和平均测地线核的局部线性嵌入算法[J];山东大学学报(理学版);2010年07期
4 罗远胜,王明文,曾雪强;基于核方法的潜在语义文本分类模型[J];清华大学学报(自然科学版);2005年S1期
5 汪廷华;陈峻婷;;核函数的度量研究进展[J];计算机应用研究;2011年01期
6 伍忠东,高新波,谢维信;基于核方法的分类型属性数据集模糊聚类算法[J];华南理工大学学报(自然科学版);2004年09期
7 庞彦伟;俞能海;沈道义;刘政凯;;基于核邻域保持投影的人脸识别[J];电子学报;2006年08期
8 肖健华;林健;刘晋;;基于SVR的区域经济短期预测模型[J];系统仿真学报;2005年12期
9 韦振中;;基于核主成分分析的特征提取方法[J];广西工学院学报;2006年04期
10 王英奇;;支持向量聚类算法的研究与改进[J];湛江师范学院学报;2008年06期
中国重要会议论文全文数据库 前10条
1 遇运良;薛林福;;基于核方法的沉积微相模式识别[A];中国地球物理学会第二十三届年会论文集[C];2007年
2 饶鲜;李斌;杨绍全;;用核聚类法进行异常检测[A];信号与信息处理技术第三届信号与信息处理全国联合学术会议论文集[C];2004年
3 肖健华;;野点数据的实时检测方法及其应用[A];2005年中国智能自动化会议论文集[C];2005年
4 刘克彬;李芳;刘磊;韩颖;;基于特征选择和语义扩展的词序列核函数研究[A];第三届学生计算语言学研讨会论文集[C];2006年
5 王占江;盛春冬;孙惠杰;;基于KFCM与SAPSO算法的图像分割[A];中国运筹学会模糊信息与模糊工程分会第五届学术年会论文集[C];2010年
6 刘永俊;陈才扣;;二维核最大散度差鉴别分析及人脸识别[A];第十三届全国图象图形学学术会议论文集[C];2006年
7 宋海鹰;桂卫华;阳春华;;基于核偏最小二乘的简约最小二乘支持向量机及其应用研究[A];第二十六届中国控制会议论文集[C];2007年
8 朱德生;谢松涛;杨贵忠;李华;冯秀亮;刘水冰;;注核方法对大鼠-小鼠种间体细胞核移植重组胚发育的影响[A];中国实验动物学会第六届学术年会论文集[C];2004年
9 龙飞;庄镇泉;;基于广义鉴别分析理论的人脸识别算法[A];第一届建立和谐人机环境联合学术会议(HHME2005)论文集[C];2005年
10 秦建玲;李军;;基于核的主成分分析的特征提取方法与样本筛选[A];2005年中国机械工程学会年会论文集[C];2005年
中国重要报纸全文数据库 前10条
1 齐玄江;花别人的钱也要心疼[N];中国财经报;2004年
2 山东省莱州市教研室教科所 彭慧;以“过程增值”评价教师教学成绩[N];中国教育报;2007年
3 陈辉;节能减排 常抓不懈[N];中国水利报;2007年
4 邢胜年 程坚 王刚;上海总队二支队新训考核不影响正常操课[N];人民武警;2007年
5 市国资委主任 钟华华;识权力 明责任 促发展[N];绍兴日报;2006年
6 岳轩;聚焦岳西“精准救灾法”[N];安庆日报;2006年
7 记者 李韶辉;物业服务定价成本构成明确[N];中国改革报;2007年
8 通讯员 戈小双;滦南县全体会计学习新准则[N];财会信报;2006年
9 通讯员 高鹏;公务员绩效考核问卷调查启动[N];中国人事报;2007年
10 王晓仁;责任制考核应突出科学性、实效性、权威性[N];中国纪检监察报;2008年
中国博士学位论文全文数据库 前10条
1 贾磊;核方法模型选择与模型组合的谱方法[D];天津大学;2010年
2 刘松华;核矩阵低秩分解与核空间信息能度量研究及应用[D];西安电子科技大学;2011年
3 史卫亚;大规模数据集下核方法的技术研究[D];复旦大学;2008年
4 蒋玲莉;基于核方法的旋转机械故障诊断技术与模式分析方法研究[D];中南大学;2010年
5 张莉;支撑矢量机与核方法研究[D];西安电子科技大学;2002年
6 常群;支持向量机的核方法及其模型选择[D];哈尔滨工业大学;2007年
7 潘志松;基于神经网络的入侵检测研究[D];南京航空航天大学;2003年
8 田江;基于支持向量机的孤立点检测方法研究[D];大连理工大学;2009年
9 王新颖;三维模型检索中基于语义方法的若干问题研究[D];吉林大学;2009年
10 肖铨武;基于核的正则化学习算法[D];中国科学技术大学;2009年
中国硕士学位论文全文数据库 前10条
1 李志勇;基于成分分析增量学习算法的人脸识别研究[D];浙江师范大学;2008年
2 陈蕾;基于小世界体系的核自联想记忆框架及其应用研究[D];南京航空航天大学;2005年
3 陈士骞;基于逼近基元的智能非线性系统模型研究[D];武汉科技大学;2008年
4 黄晓清;基于核方法的复杂工业过程建模研究[D];大连理工大学;2008年
5 王照宇;核方法在测井曲线识别中的应用[D];大庆石油学院;2008年
6 何孔新;面向数据流的数据聚类算法研究[D];哈尔滨工程大学;2008年
7 方盛昌;基于核的特征提取方法的人脸识别研究[D];东华大学;2008年
8 朱旗;基于稀疏模型的快速核方法[D];哈尔滨工业大学;2010年
9 邓炳荣;基于仿生嗅觉和核方法的中药材鉴别研究[D];广东工业大学;2011年
10 介文博;基于多核学习的高性能核分类方法研究[D];华东理工大学;2012年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026