收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

分类器设计中的正则化技术研究

薛晖  
【摘要】: 正则化技术诞生于20世纪60年代,最初是由数学领域提出用于解决不适定问题。随着80年代机器学习的兴起,正则化技术被广泛应用于模式识别的各个领域。其通过引入含有问题先验知识的正则化项使解稳定的思想渗透在各种算法的设计中,并衍生出许多著名的方法,例如:正则化网络(Regularization Networks,RNs),正则化最小二乘分类器(Regularized Least-squares Classification,RLSC),支持向量机(Support Vector Machines,SVMs)和流形正则化(Manifold Regularization,MR)等等。本文着眼于模式识别中的重要环节之一――分类器设计,从正则化分类器的推广性能、正则化项的构建以及分类器对先验知识的融合等诸多层面,系统深入地研究了分类器设计中的正则化技术。本文的主要贡献在于: 1.从正则化的角度提出了一个新的基于平方误差准则分类器的推广误差界。新的局部性正则化推广误差界将分类器的推广误差限定在每个样本的局部邻域内,融入了数据空间的结构信息,克服了原有推广误差界(如VC维)只适用于线性分类器的缺点,并引入了可调节的正则化参数,增强了误差界的灵活性。在此基础上,本文进一步提出了一种新的分类器设计方法――局部性正则化方法(Locality Regularization,LR)。新方法具有两个显著的特点:(1)根据推广误差界,自然地由期望风险函数的定义导出正则化项;(2)通过与谱图理论、流形学习相结合,将正则化项构建在样本的局部可变邻域上,融合了数据空间的全局和局部结构信息,提高了分类器的推广性能。实验验证了新算法在所用数据集上,尤其是对于训练和测试样本分布不均衡的数据集,具有比经典正则化方法更优的分类性能。 2.进一步拓展了局部性正则化方法的应用领域,提出了一种基于局部性正则化推广误差界的特征选择算法。作为一种混合滤波-封装方法,新算法以局部性正则化推广误差界为评价函数,以局部性正则化方法为目标分类器,既保持了较高的计算效率,又保证了利用所选择特征设计的分类器具有良好的推广性能。 3.针对传统正则化方法仅关注分类器数据独立的光滑性惩罚这一缺点,提出了一种数据依赖正则化项的构建理念――判别正则化项(Discriminative Regularization Term,Rdisreg)。新的判别正则化项主要侧重于:(1)分类器输出空间中数据的可分性,通过采用不同的方式定义输出样本的类内紧凑性和类间分离性,逐步地在正则化项中引入有助于分类的样本判别信息和结构信息;(2)始终保持只含有一个需要调节的正则化因子,有效地避免多类分类优化问题中潜在的“维数灾难”;(3)较强的推广性,通过将其与不同的损失函数、正则化项相结合,可以衍生出更多新的算法,从而最终为分类器设计提供一种新的途径。本文以最小二乘损失函数为例,在嵌入了判别信息的基础上,逐步在判别正则化项中融入全局和局部结构信息,提出了两种判别性正则化方法(Discriminative Regularization,DR)。通过在目标函数中嵌入等性约束,新算法不但可解析求解,并且求解框架自然地涵盖了两类和多类问题。实验验证了新算法优越的推广性和良好的稳定性。 4.支持向量机(SVM)是一种典型的正则化分类器,本文首次尝试从数据结构粒度的观点揭示了SVM及其相关改进方法之间的关系,构建了一个结构正则化大间隔分类器框架,并在此基础上,进一步提出了一种新的大间隔算法――结构正则化支持向量机(Structurally Regularized Support Vector Machine,SRSVM)。通过将数据的聚类结构信息以一个新的正则化项的形式嵌入到传统的SVM目标函数中,新方法主要着重于:(1)保持传统SVM的优化框架,显著降低同类算法的计算复杂度,简化核化过程,快捷有效地收敛到全局最优解,并保持解的稀疏性;(2)从理论上严格证明,数据结构信息的引入确实能够得到比SVM更好的推广性能。 5.根据“没有免费午餐定理”,本文对正则化技术的研究都涉及如何在正则化分类器中尽可能地融入数据的先验知识,其中包括判别信息、结构信息等。因此,如何有效地从数据中挖掘出结构信息也是本文的一个研究方向,由此提出了一种新的鲁棒局部嵌入算法。新算法从样本的鲁棒重建入手,同时考虑了数据流形的全局和局部结构信息,具有比通常流形算法LLE更紧致的嵌入,并有效地抑制了野值对嵌入的影响。在分类器设计上的初步实验表明,新算法的引入进一步提高了正则化分类器的性能。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 徐科,徐金梧,班晓娟;冷轧带钢表面质量自动监测系统的模式识别方法研究[J];钢铁;2002年06期
2 王勇;李战怀;张阳;;未知真实类标记条件下数据流中的变化发现方法[J];西北工业大学学报;2006年02期
3 张若琳;万力;张发旺;石迎春;;土地利用遥感分类方法研究进展[J];南水北调与水利科技;2006年02期
4 毕晓冬;;基于流分类技术的MPLS协议数据转发研究[J];山东师范大学学报(自然科学版);2006年02期
5 高志森;张铮;李俊;;入侵检测中贝叶斯分类器改进的研究[J];计算机技术与发展;2006年11期
6 王晓东;丁冬花;;实时车辆检测和跟踪系统设计[J];微计算机信息;2006年32期
7 董立岩;刘光远;苑森淼;李永丽;孙铭会;;混合式朴素贝叶斯分类模型[J];吉林大学学报(信息科学版);2007年01期
8 刘慧婷;倪志伟;李建洋;刘政怡;;基于交叉覆盖算法的时间序列模式匹配[J];计算机应用;2007年02期
9 方俊;赵英良;李明钧;;静态手写签名验证技术综述[J];绍兴文理学院学报(自然科学版);2007年01期
10 张勇;;一种新的多类别多标签关联分类方法的研究[J];福建电脑;2007年08期
11 周屹;;基于Naive Bayes的文本分类器的设计与实现[J];黑龙江工程学院学报;2007年02期
12 徐小慧;张安;端木京顺;郝秦霞;;基于粒子群分类器的遥感图像目标识别[J];红外与激光工程;2007年04期
13 时银水;姬红兵;;基于粗糙集的常规雷达目标分类器研究[J];现代雷达;2007年09期
14 钟萍;岑涌;席斌;;最小二乘支持向量机在医疗数据分析中的应用[J];计算机与数字工程;2007年09期
15 周阿娟;郭相科;谢瑶;;基于小波包分解的声目标识别[J];空军工程大学学报(自然科学版);2007年06期
16 陈建林;樊兴华;王国胤;;基于两步策略的英文文本分类[J];广西师范大学学报(自然科学版);2007年04期
17 王皓;孙宏斌;张伯明;;PG-HMI:一种基于互信息的特征选择方法[J];模式识别与人工智能;2007年01期
18 孙岳;毛国君;刘旭;;数据流中概念漂移检测的集成分类器设计[J];计算机应用研究;2008年01期
19 王东;吴湘滨;;利用粒子群算法优化SVM分类器的超参数[J];计算机应用;2008年01期
20 朱红斌;;基于Adaboost算法的交通事件检测[J];计算机时代;2008年01期
中国重要会议论文全文数据库 前10条
1 穆明生;;基于特征集的多种分类器模型的在线笔迹认证[A];第十届全国信号处理学术年会(CCSP-2001)论文集[C];2001年
2 朱思俞;石锋;;不定人连续汉语音的四声识别[A];第二届全国人机语音通讯学术会议论文集[C];1992年
3 邵小健;段华;贺国平;;一种改进的最少核分类器[A];中国运筹学会第七届学术交流会论文集(上卷)[C];2004年
4 徐蔚然;于武贵;郭军;;基于统计方法的混排文字切分与分类[A];第八届全国汉字识别学术会议论文集[C];2002年
5 雷蕾;吴乃君;刘鹏;刘兰娟;;灵敏度分析:分类器中的缺失数据[A];第11届海峡两岸信息管理发展策略研讨会论文集[C];2005年
6 陈颖颖;张雁军;贾鑫;;通信信号调制识别方法[A];第一届中国高校通信类院系学术研讨会论文集[C];2007年
7 李刚;郭崇慧;林鸿飞;杨志豪;唐焕文;;基于词典法和机器学习法相结合的蛋白质名识别[A];大连理工大学生物医学工程学术论文集(第2卷)[C];2005年
8 肖惠玲;曾翎;黄海莹;张琳;王昱清;杨勤;陈华富;;支持向量机探测脑功能活动[A];中国生物医学工程进展——2007中国生物医学工程联合学术年会论文集(下册)[C];2007年
9 沈钱波;何加铭;;连笔手写识别搜索算法研究[A];浙江省电子学会2008年学术年会论文集[C];2008年
10 叶强;李一军;;基于支持度-显著度的关联规则分类方法研究[A];管理科学与系统科学研究新进展——第8届全国青年管理科学与系统科学学术会议论文集[C];2005年
中国博士学位论文全文数据库 前10条
1 薛晖;分类器设计中的正则化技术研究[D];南京航空航天大学;2008年
2 王喆;面向模式表示与模式源的分类器设计方法研究[D];南京航空航天大学;2008年
3 谢元澄;分类器集成研究[D];南京理工大学;2009年
4 严志永;在划分数据空间的视角下基于决策边界的分类器研究[D];浙江大学;2011年
5 杨显飞;数据流集成分类器算法研究[D];哈尔滨工程大学;2011年
6 冯爱民;结构驱动的单类分类器设计及拓展研究[D];南京航空航天大学;2011年
7 宁博;面向行人检测的动态视觉词提取与集成分类方法研究[D];中国科学技术大学;2012年
8 汪中;面向变化场景的行人分类检测方法研究[D];中国科学技术大学;2011年
9 王彦;基于PDE的模式识别方法[D];吉林大学;2006年
10 欧阳震诤;不平稳数据流的分类技术研究[D];国防科学技术大学;2009年
中国硕士学位论文全文数据库 前10条
1 武婷婷;分类器性能评价研究[D];北京交通大学;2010年
2 王亚松;关于组合分类器修剪方法的研究[D];郑州大学;2011年
3 石国强;基于规则的组合分类器的研究[D];郑州大学;2010年
4 于柏森;发动机机械故障诊断系统分类器设计[D];长春工业大学;2010年
5 潘世瑞;基于分类器集成技术的数据流分类研究[D];西北农林科技大学;2011年
6 徐迅燕;基于谱正则化技术的典型相关分析方法研究[D];南京理工大学;2013年
7 王秀霞;分类器的选择性集成及其差异性研究[D];兰州理工大学;2011年
8 李婷俐;基于多特征级联分类器的道路车辆检测方法研究[D];湖南大学;2012年
9 曹军;基于分类器集成学习的多变量质量诊断研究[D];南京理工大学;2012年
10 邱立;支持向量机和神经网络在手写数字识别算法中的应用研究[D];华南理工大学;2010年
中国重要报纸全文数据库 前10条
1 黄明;精子分类器决定生男生女[N];广东科技报;2000年
2 记者 姜晓凌 见习记者 王毅俊;原来,科技也能如此美丽[N];上海科技报;2007年
3 中国科学院东北地理与农业生态研究所 李建平;保护地球之肾 遥感体检湿地健康[N];中国水利报;2008年
4 CPW 张戈;Aperto PacketMAX系列可同时服务2000个用户[N];电脑商报;2005年
5 中科院院士 戴汝为;开辟人机结合的新天地[N];计算机世界;2004年
6 本版编辑 中国科学院计算技术研究所数字媒体研究中心 山世光 陈熙霖 高文 徐昕 刘洪宇;你的脸,你的身份证明[N];中国计算机报;2006年
7 刘光强;LSI新一代多业务企业网关[N];中国计算机报;2007年
8 清华大学玉泉医院神外 刘伟国;意识如何进行客观评价[N];健康报;2008年
9 武德锋 李国辉 林洪文 姚作梁;图像世界任我行[N];计算机世界;2002年
10 清华大学 朱健翔;人脸表情估计与表情合成[N];计算机世界;2006年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978