收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

在划分数据空间的视角下基于决策边界的分类器研究

严志永  
【摘要】:分类器是机器学习的一项重要技术。分类器研究中存在映射和划分两种视角。在映射视角下分类模型可被看作从数据空间到标签集的映射,分类器的训练过程可被看作在假设空间中搜索最优假设的过程。在划分视角下分类模型可被看作将数据空间划分成若干决策区域的一组决策边界,分类器的训练过程可被看作划分数据空间获得决策边界的过程。映射视角是主流,在映射视角下研究分类器的工作很多。目前还没有在划分视角下对分类器进行系统研究的工作。本文在划分视角下以决策边界为工具对分类器进行研究,进行构建在划分数据空间视角下以决策边界研究分类器的理论框架和基于此理论框架改进分类器两方面的研究。 本文的研究工作主要有: 1)提出了决策边界、决策区域和概率梯度区域的定义。提出了获取决策边界的形式化方法和采样法。提出了决策边界点集(Decision Boundary Point Set,简称DBPS)算法、决策边界2D网格点集(Decision Boundary Point Set using Grid for 2-D data,简称DBPSG-2D)算法和决策边界神经元集(Decision Boundary Neuron Set,简称DBNS)算法来获取决策边界附近的采样点。提出了基于自组织映射的决策边界可视化(Self-Organizing Mapping based Decision Boundary Visualization,简称SOMDBV)算法和基于自组织映射的概率梯度区域可视化(Self-Organizing Mapping based Probability Gradient Regions Visualization,简称SOMPGRV)算法来分别对决策边界和概率梯度区域进行可视化。 2)提出了在划分数据空间视角下基于决策边界的分类器三要素九因素理论框架。在此理论框架下,划分目标、决策边界形式和划分方法是分类器的三要素。划分目标需要考虑训练准确率、错分样本特征和决策边界的微位置三个因素;决策边界形式需要考虑划分能力、提供的领域知识和可理解性三个因素;划分方法需要考虑利用的信息、划分方式和分类模型复杂度三个因素。 3)提出了基于K近邻(K nearest Neighbors,简称KN)类型的错分样本特征。KN类型根据样本与其K近邻之间的类别关系,将样本分为S类、DS类和D类三类。C4.5算法、Naive Bayes分类器和支持向量机(Support Vector Machine,简称SVM)三个分类器与K近邻(K Nearest Neighbors,简称KNN)算法在KN类型上的错分样本特征有着显著不同。提出了组合KNN算法和C4.5算法/Naive Bayes分类器/SVM的K近邻组合(Knearest Neighbors Combining,简称KNC)算法。KNC算法使用KNN算法来对S类和DS类样本进行预测,使用其他三个分类器对D类样本进行预测。 4)研究了离散化算法对分类器决策边界的影响。提出了离散化算法能够提高Naive Bayes分类器泛化能力的原因在于离散化算法能够提高Naive Bayes分类器的Vapnik-Chervonenkis (VC)维。将离散化算法应用于SVM和KNN算法,并研究了离散化算法对SVM和KNN算法的VC维的影响。 5)提出了在Naive Bayes分类器的决策区域内训练分类器的二次划分(Second Division,简称SD)算法,并对现有的局部分类器训练算法进行研究。SD算法是一种组合全局学习和局部学习的算法,因此能够提高Naive Bayes分类器的泛化能力。将现有的局部分类器训练算法分为测试选择、划分覆盖和训练选择三类。并提出了训练局部分类器能够提高分类器泛化能力的原因在于其能够提高分类器的VC维和能够利用训练数据集中更多信息。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 徐昉,邱道尹,沈宪章;粮仓害虫的特征提取与分类的研究[J];郑州工业大学学报;2000年04期
2 徐科,徐金梧,班晓娟;冷轧带钢表面质量自动监测系统的模式识别方法研究[J];钢铁;2002年06期
3 王勇;李战怀;张阳;;未知真实类标记条件下数据流中的变化发现方法[J];西北工业大学学报;2006年02期
4 张若琳;万力;张发旺;石迎春;;土地利用遥感分类方法研究进展[J];南水北调与水利科技;2006年02期
5 毕晓冬;;基于流分类技术的MPLS协议数据转发研究[J];山东师范大学学报(自然科学版);2006年02期
6 高志森;张铮;李俊;;入侵检测中贝叶斯分类器改进的研究[J];计算机技术与发展;2006年11期
7 王晓东;丁冬花;;实时车辆检测和跟踪系统设计[J];微计算机信息;2006年32期
8 董立岩;刘光远;苑森淼;李永丽;孙铭会;;混合式朴素贝叶斯分类模型[J];吉林大学学报(信息科学版);2007年01期
9 刘慧婷;倪志伟;李建洋;刘政怡;;基于交叉覆盖算法的时间序列模式匹配[J];计算机应用;2007年02期
10 方俊;赵英良;李明钧;;静态手写签名验证技术综述[J];绍兴文理学院学报(自然科学版);2007年01期
11 张勇;;一种新的多类别多标签关联分类方法的研究[J];福建电脑;2007年08期
12 周屹;;基于Naive Bayes的文本分类器的设计与实现[J];黑龙江工程学院学报;2007年02期
13 徐小慧;张安;端木京顺;郝秦霞;;基于粒子群分类器的遥感图像目标识别[J];红外与激光工程;2007年04期
14 时银水;姬红兵;;基于粗糙集的常规雷达目标分类器研究[J];现代雷达;2007年09期
15 钟萍;岑涌;席斌;;最小二乘支持向量机在医疗数据分析中的应用[J];计算机与数字工程;2007年09期
16 周阿娟;郭相科;谢瑶;;基于小波包分解的声目标识别[J];空军工程大学学报(自然科学版);2007年06期
17 陈建林;樊兴华;王国胤;;基于两步策略的英文文本分类[J];广西师范大学学报(自然科学版);2007年04期
18 王皓;孙宏斌;张伯明;;PG-HMI:一种基于互信息的特征选择方法[J];模式识别与人工智能;2007年01期
19 孙岳;毛国君;刘旭;;数据流中概念漂移检测的集成分类器设计[J];计算机应用研究;2008年01期
20 王东;吴湘滨;;利用粒子群算法优化SVM分类器的超参数[J];计算机应用;2008年01期
中国重要会议论文全文数据库 前10条
1 穆明生;;基于特征集的多种分类器模型的在线笔迹认证[A];第十届全国信号处理学术年会(CCSP-2001)论文集[C];2001年
2 朱思俞;石锋;;不定人连续汉语音的四声识别[A];第二届全国人机语音通讯学术会议论文集[C];1992年
3 邵小健;段华;贺国平;;一种改进的最少核分类器[A];中国运筹学会第七届学术交流会论文集(上卷)[C];2004年
4 徐蔚然;于武贵;郭军;;基于统计方法的混排文字切分与分类[A];第八届全国汉字识别学术会议论文集[C];2002年
5 雷蕾;吴乃君;刘鹏;刘兰娟;;灵敏度分析:分类器中的缺失数据[A];第11届海峡两岸信息管理发展策略研讨会论文集[C];2005年
6 陈颖颖;张雁军;贾鑫;;通信信号调制识别方法[A];第一届中国高校通信类院系学术研讨会论文集[C];2007年
7 李刚;郭崇慧;林鸿飞;杨志豪;唐焕文;;基于词典法和机器学习法相结合的蛋白质名识别[A];大连理工大学生物医学工程学术论文集(第2卷)[C];2005年
8 肖惠玲;曾翎;黄海莹;张琳;王昱清;杨勤;陈华富;;支持向量机探测脑功能活动[A];中国生物医学工程进展——2007中国生物医学工程联合学术年会论文集(下册)[C];2007年
9 沈钱波;何加铭;;连笔手写识别搜索算法研究[A];浙江省电子学会2008年学术年会论文集[C];2008年
10 薛忠;李艳;谢维信;;一种改进的模糊联想分类器[A];信息科学与微电子技术:中国科协第三届青年学术年会论文集[C];1998年
中国博士学位论文全文数据库 前10条
1 王喆;面向模式表示与模式源的分类器设计方法研究[D];南京航空航天大学;2008年
2 谢元澄;分类器集成研究[D];南京理工大学;2009年
3 严志永;在划分数据空间的视角下基于决策边界的分类器研究[D];浙江大学;2011年
4 杨显飞;数据流集成分类器算法研究[D];哈尔滨工程大学;2011年
5 冯爱民;结构驱动的单类分类器设计及拓展研究[D];南京航空航天大学;2011年
6 宁博;面向行人检测的动态视觉词提取与集成分类方法研究[D];中国科学技术大学;2012年
7 汪中;面向变化场景的行人分类检测方法研究[D];中国科学技术大学;2011年
8 薛晖;分类器设计中的正则化技术研究[D];南京航空航天大学;2008年
9 王彦;基于PDE的模式识别方法[D];吉林大学;2006年
10 欧阳震诤;不平稳数据流的分类技术研究[D];国防科学技术大学;2009年
中国硕士学位论文全文数据库 前10条
1 武婷婷;分类器性能评价研究[D];北京交通大学;2010年
2 王亚松;关于组合分类器修剪方法的研究[D];郑州大学;2011年
3 郑忠;适应性组合分类器遥感分类研究[D];中南大学;2013年
4 潘世瑞;基于分类器集成技术的数据流分类研究[D];西北农林科技大学;2011年
5 冯庆祥;最近特征分类器的研究与改进[D];哈尔滨工业大学;2013年
6 石国强;基于规则的组合分类器的研究[D];郑州大学;2010年
7 于柏森;发动机机械故障诊断系统分类器设计[D];长春工业大学;2010年
8 张岚;基于几何代数的可视化分类器研究[D];燕山大学;2013年
9 陈笋;基于多特征多分类器组合的茶叶茶梗图像识别分类研究[D];安徽大学;2014年
10 王秀霞;分类器的选择性集成及其差异性研究[D];兰州理工大学;2011年
中国重要报纸全文数据库 前10条
1 黄明;精子分类器决定生男生女[N];广东科技报;2000年
2 CPW 张戈;Aperto PacketMAX系列可同时服务2000个用户[N];电脑商报;2005年
3 记者 姜晓凌 见习记者 王毅俊;原来,科技也能如此美丽[N];上海科技报;2007年
4 中国科学院东北地理与农业生态研究所 李建平;保护地球之肾 遥感体检湿地健康[N];中国水利报;2008年
5 中科院院士 戴汝为;开辟人机结合的新天地[N];计算机世界;2004年
6 本版编辑 中国科学院计算技术研究所数字媒体研究中心 山世光 陈熙霖 高文 徐昕 刘洪宇;你的脸,你的身份证明[N];中国计算机报;2006年
7 武德锋 李国辉 林洪文 姚作梁;图像世界任我行[N];计算机世界;2002年
8 刘光强;LSI新一代多业务企业网关[N];中国计算机报;2007年
9 清华大学玉泉医院神外 刘伟国;意识如何进行客观评价[N];健康报;2008年
10 清华大学 朱健翔;人脸表情估计与表情合成[N];计算机世界;2006年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978