收藏本站
《北京交通大学》 2008年
收藏 | 手机打开
二维码
手机客户端打开本文

结构化数据核函数的研究

尹传环  
【摘要】: 核函数是支持向量机中非常重要的一个研究方向,尽管在统计学习理论出现之前,核函数的概念与技术早已存在,但它在机器学习中真正的成功应用,是从支持向量机开始的。正是支持向量机与核函数技术的结合,才使得以支持向量机为代表的核机器学习得到了快速的发展和广泛的应用。本论文的所有工作正是基于支持向量机与核函数的结合而展开的,主要包括三个方面的内容:核函数的构造、核函数的实现以及核函数的应用。 支持向量机的输入数据一般定义在向量空间,常用的核函数如多项式核、径向基核等都能取得很好的效果。但是,还有很多机器学习问题在解决的时候涉及到一些含有结构信息的数据(我们称为结构化数据),如字符串和图像等,采用这些常用的核函数往往无法取得满意的效果,因为这些数据在转换成向量时将会丢失一些结构信息。因此针对这些结构化数据的核函数构造问题,已经提出了许多新型的核函数以及实现算法。 本论文以结构化数据的核函数作为研究对象,提出了一些新的核函数以及它们的实现算法;并且对已有核函数的实现进行改进,降低计算复杂度;然后将一些新型字符串核函数应用于入侵检测领域。 (1)核函数的构造。在归纳和总结了现有的字符串核函数的基础上,本论文将字符串核函数划分为基于序列的以及基于概率的两大类字符串核函数。基于序列的字符串核函数比较常见,包括间隙加权核以及谱核等常用的核函数。谱核没有考虑不连续的子序列对核函数的影响,而间隙加权核函数则惩罚长度较大的子序列,实际上,在有些应用中我们应该奖励长度较大的子序列,而非惩罚。在详细分析之后,本论文提出了一种基于序列的字符串核函数,叫做长度加权核函数,在这个核函数中长度越大的子序列所占的权重越大。另外,提出了一种变种——长度加权一次核函数,在这个核函数中重复出现的子序列我们只考虑一次。基于序列的字符串核只计算在两个字符串中出现的匹配子序列对核值的贡献,而没有考虑依次出现的字符之间的依赖关系。为了在核函数中体现字符之间的依赖关系,我们依据马尔可夫模型提出了基于概率的混合阶马尔可夫核函数,它也是一种字符串核函数。 (2)核函数的实现。已经有许多算法用来实现字符串核函数,包括基于动态规划的、基于后缀树的以及基于后缀核的算法。在分析了后缀核的概念之后,本论文提出了一系列基于后缀核的实现算法,能够用来解决目前的间隙核函数以及本论文提出的长度加权核函数。另外,我们将位并行算法应用于核函数的实现算法中,分析表明这种处理在一定条件下能够加快定长度加权核函数的计算。为了快速实现混合阶马尔可夫核函数,本论文采用了后缀树存储结构,并利用它的匹配统计量计算混合阶马尔可夫核函数,能够在线性时间内求出核函数的值。 (3)入侵检测是信息安全中很重要的一个环节。支持向量机作为一种分类算法已经被应用于基于网络的入侵检测中,但是在基于主机的入侵检测中,由于输入数据大部分为命令序列或者系统调用序列,采用常见的径向基或者多项式核函数的支持向量机并不合适。针对基于主机的入侵检测系统,我们利用训练数据构造了基于字符串核函数的1-类支持向量机,包括现有的以及本论文提出的字符串核函数,并用这个1-类支持向量机对测试数据进行测试,实验结果表明本论文提出的一些字符串核函数比现有的一些字符串核函数更加适用于基于主机的入侵检测系统。
【学位授予单位】:北京交通大学
【学位级别】:博士
【学位授予年份】:2008
【分类号】:TP18

【引证文献】
中国博士学位论文全文数据库 前3条
1 刘笑嶂;核方法的若干关键问题研究及其在人脸图像分析中的应用[D];中山大学;2010年
2 刘路;基于改进支持向量机和纹理图像分析的旋转机械故障诊断[D];天津大学;2011年
3 赵静;网络协议异常检测模型的研究与应用[D];北京交通大学;2010年
【参考文献】
中国期刊全文数据库 前6条
1 王建芬,曹元大;支持向量机在大类别数分类中的应用[J];北京理工大学学报;2001年02期
2 尹传环;田盛丰;牟少敏;;一种面向间隙核函数的快速算法[J];电子学报;2007年05期
3 王珏,石纯一;机器学习研究[J];广西师范大学学报(自然科学版);2003年02期
4 陈毅松,汪国平,董士海;基于支持向量机的渐进直推式分类学习算法[J];软件学报;2003年03期
5 饶鲜,董春曦,杨绍全;基于支持向量机的入侵检测系统[J];软件学报;2003年04期
6 陈光英,张千里,李星;基于SVM分类机的入侵检测系统[J];通信学报;2002年05期
中国博士学位论文全文数据库 前2条
1 张莉;支撑矢量机与核方法研究[D];西安电子科技大学;2002年
2 周伟达;核机器学习方法研究[D];西安电子科技大学;2003年
【共引文献】
中国期刊全文数据库 前10条
1 张世海,刘晓燕,欧进萍;高层结构智能选型知识发现及方法比较[J];四川建筑科学研究;2005年05期
2 冀卫兴;陈忠海;方筝;;基于DE—BP算法的空调负荷预测研究[J];四川建筑科学研究;2010年05期
3 潘洁珠;半结构化数据及其数据模型[J];安徽教育学院学报;2003年06期
4 赵鹏,倪志伟,贾瑞玉;基于数据挖掘技术的范例库维护[J];安徽大学学报(自然科学版);2003年02期
5 王东霞;张楠;路晓丽;;基于育种算法的SVM参数优化[J];安徽大学学报(自然科学版);2009年04期
6 刘金红;陆余良;施凡;宋舜宏;;基于语义上下文分析的因特网人物信息挖掘[J];安徽大学学报(自然科学版);2009年04期
7 庄振华;王年;李学俊;梁栋;王继;;癌症基因表达数据的熵度量分类方法[J];安徽大学学报(自然科学版);2010年02期
8 陈乐;王年;苏亮亮;王蕊平;;基于邻接谱主分量分析的肿瘤分类方法[J];安徽大学学报(自然科学版);2011年04期
9 叶爱霞;王年;苏亮亮;;基于非负矩阵分解和Normal_Matrix的肿瘤基因分类[J];安徽大学学报(自然科学版);2012年03期
10 梁佩佩,杨丽萍;基于模糊关系数据库的聚类算法研究[J];安徽职业技术学院学报;2004年01期
中国重要会议论文全文数据库 前10条
1 章曙光;;基于CBR的电力负荷预测系统的研究与实现[A];2005年“数字安徽”博士科技论坛论文集[C];2005年
2 ;An effective procedure exploiting unlabeled data to build monitoring system[A];中国科学院地质与地球物理研究所第11届(2011年度)学术年会论文集(下)[C];2012年
3 宋海鹰;桂卫华;阳春华;;基于核偏最小二乘的简约最小二乘支持向量机及其应用研究[A];第二十六届中国控制会议论文集[C];2007年
4 宋海鹰;桂卫华;阳春华;;基于最小二乘支持向量机的Hammerstein-Wiener模型辨识[A];第二十六届中国控制会议论文集[C];2007年
5 ;Inverse System Control of Nonlinear Systems Using LS-SVM[A];第二十六届中国控制会议论文集[C];2007年
6 ;A Novel Kernel PCA Support Vector Machine Algorithm with Feature Transition Function[A];第二十六届中国控制会议论文集[C];2007年
7 ;A Novel Proximal Support Vector Machine and Its Application in Radar Target Recognition[A];第二十六届中国控制会议论文集[C];2007年
8 ;A CDMA Signal Receiver Based on LS-SVM[A];第二十六届中国控制会议论文集[C];2007年
9 周绮凤;林成德;罗林开;彭洪;;一种基于黎曼度量的训练样本类不平衡SVM分类方法研究[A];第二十六届中国控制会议论文集[C];2007年
10 顾小军;杨世锡;钱苏翔;;基于支持向量机的旋转机械多类故障识别研究[A];第二十六届中国控制会议论文集[C];2007年
中国博士学位论文全文数据库 前10条
1 王杰;基于人工智能的乒乓球比赛技战术诊断与评估研究[D];上海体育学院;2010年
2 赵莹;半监督支持向量机学习算法研究[D];哈尔滨工程大学;2010年
3 于化龙;基于DNA微阵列数据的癌症分类技术研究[D];哈尔滨工程大学;2010年
4 母丽华;煤矿安全预警系统的方法研究[D];哈尔滨工程大学;2010年
5 梁洪;基于内容的医学图像检索及语义建模关键技术研究[D];哈尔滨工程大学;2010年
6 殷志伟;基于统计学习理论的分类方法研究[D];哈尔滨工程大学;2009年
7 朱广平;混响干扰中的信号检测技术研究[D];哈尔滨工程大学;2009年
8 孔凡芝;引线键合视觉检测关键技术研究[D];哈尔滨工程大学;2009年
9 李晚龙;六自由度Stewart平台分散智能控制研究[D];哈尔滨工程大学;2010年
10 牟向伟;模糊语义个性化推荐系统在电子政务中的应用研究[D];大连海事大学;2010年
【同被引文献】
中国期刊全文数据库 前10条
1 马昕;刘长龙;张贝克;;一种基于机器学习的专家系统知识获取方法[J];北京化工大学学报(自然科学版);2008年05期
2 余竞;王伟钧;;C-SVM和v-SVM的对偶问题最优解关系的一个补充证明[J];成都大学学报(自然科学版);2008年04期
3 尹伟;章卫国;宁东方;孙勇;李斌;;基于差分进化交叉验证SVM的飞控系统传感器故障预测学习算法研究[J];传感技术学报;2008年11期
4 袁玉萍;邹艳华;;基于支持向量机LOO误差估计的研究[J];重庆科技学院学报(自然科学版);2009年04期
5 宋芳;;基于GA-SVM模型的福建省城镇登记失业率预测[J];科技和产业;2009年09期
6 周颜军,王双成,王辉;基于贝叶斯网络的分类器研究[J];东北师大学报(自然科学版);2003年02期
7 辛斌杰;余序芬;吴兆平;;应用图像分析技术自动识别织物的组织结构[J];东华大学学报(自然科学版);2011年01期
8 冯志鹏,杜金莲,宋希庚,迟忠先,葛玉林,孙玉明;粗糙集与神经网络集成在故障诊断中应用研究[J];大连理工大学学报;2003年01期
9 易伟建;段素萍;;基于Hilbert-Huang变换的框架结构非线性地震响应分析[J];动力学与控制学报;2007年03期
10 刘伟;徐伟栋;厉力华;;用于纹理检索的多尺度复杂性纹理描述子[J];电路与系统学报;2011年01期
中国博士学位论文全文数据库 前10条
1 徐耀群;混沌神经网络研究及应用[D];哈尔滨工程大学;2002年
2 刘广利;基于支持向量机的经济预警方法研究[D];中国农业大学;2003年
3 张莉;支撑矢量机与核方法研究[D];西安电子科技大学;2002年
4 周伟达;核机器学习方法研究[D];西安电子科技大学;2003年
5 李立轻;基于计算机视觉的织物疵点自动检测研究[D];东华大学;2003年
6 姜波;灰色系统与神经网络分析方法及其应用研究[D];华中科技大学;2004年
7 孙喜梅;城市路网实时动态交通信息的组合预测模型和方法研究[D];吉林大学;2002年
8 常城;国家级高新技术开发区经济发展灰色预测模型研究[D];哈尔滨工程大学;2005年
9 宋世杰;基于序列模式挖掘的误用入侵检测系统及其关键技术研究[D];国防科学技术大学;2005年
10 杨小兵;聚类分析中若干关键技术的研究[D];浙江大学;2005年
【二级引证文献】
中国博士学位论文全文数据库 前1条
1 李玉萍;基于先进计算的智能入侵检测系统研究[D];中国地震局地球物理研究所;2012年
【二级参考文献】
中国期刊全文数据库 前10条
1 焦李成,保铮;子波理论与应用:进展与展望[J];电子学报;1993年07期
2 姬翔,钟义信;一种神经网络多用户检测器[J];电子学报;1999年12期
3 焦李成,张莉,周伟达;支撑矢量预选取的中心距离比值法[J];电子学报;2001年03期
4 周伟达,张莉,焦李成;支撑矢量机推广能力分析[J];电子学报;2001年05期
5 张莉,周伟达,焦李成;尺度核函数支撑矢量机[J];电子学报;2002年04期
6 姚立红 ,訾小超 ,黄皓 ,茅兵 ,谢立;基于系统调用特征的入侵检测研究[J];电子学报;2003年08期
7 尹清波,张汝波,李雪耀,王慧强;基于动态马尔科夫模型的入侵检测技术研究[J];电子学报;2004年11期
8 阎平凡;对多层前向神经网络研究的进一步看法[J];电子学报;1999年05期
9 张宗平,刘贵忠,董恩清;基于二进小波变换的信号去噪[J];电子与信息学报;2001年11期
10 卢增祥,李衍达;交互支持向量机学习算法及其应用[J];清华大学学报(自然科学版);1999年07期
【相似文献】
中国期刊全文数据库 前10条
1 张铃;支持向量机理论与基于规划的神经网络学习算法[J];计算机学报;2001年02期
2 阎辉,张学工,李衍达;支持向量机与最小二乘法的关系研究[J];清华大学学报(自然科学版);2001年09期
3 朱国强,刘士荣,俞金寿;支持向量机及其在函数逼近中的应用[J];华东理工大学学报;2002年05期
4 侯风雷,王炳锡;基于支持向量机的说话人辨认研究[J];通信学报;2002年06期
5 马永军,方凯,刘暾东,方廷健;基于支持向量机和方差的管道内表面粗糙度等级识别[J];信息与控制;2002年05期
6 吴飞,庄越挺,潘云鹤;基于增量学习支持向量机的音频例子识别与检索[J];计算机研究与发展;2003年07期
7 孙延风,梁艳春;支持向量机的数据依赖型核函数改进算法[J];吉林大学学报(理学版);2003年03期
8 朱永生,张优云;支持向量机分类器中几个问题的研究[J];计算机工程与应用;2003年13期
9 朱家元,吴伟,张恒喜,董彦非;一种新型的多元分类支持向量机[J];计算机工程;2003年17期
10 饶鲜,董春曦,杨绍全;应用支持向量机实现计算机入侵检测[J];西安电子科技大学学报;2003年03期
中国重要会议论文全文数据库 前10条
1 林杰华;张斌;李冬森;宋华茂;余志强;王浩;;支持向量机在电力客户信用评级中的应用[A];全国第21届计算机技术与应用学术会议(CACIS·2010)暨全国第2届安全关键技术与应用学术会议论文集[C];2010年
2 蒋铁军;张怀强;李积源;;多变量系统预测的支持向量机方法研究[A];管理科学与系统科学研究新进展——第7届全国青年管理科学与系统科学学术会议论文集[C];2003年
3 黄淑云;孙兴玉;梁汝萍;邱建丁;;基于小波支持向量机预测蛋白质亚细胞定位研究[A];第十一届全国计算(机)化学学术会议论文摘要集[C];2011年
4 谢湘;匡镜明;;支持向量机在语音识别中的应用研究[A];现代通信理论与信号处理进展——2003年通信理论与信号处理年会论文集[C];2003年
5 涂冬成;薛龙;刘木华;赵进辉;沈杰;吁芳;;基于支持向量机的鹅肉肉色客观评定研究[A];中国农业工程学会电气信息与自动化专业委员会、中国电机工程学会农村电气化分会科技与教育专委会2010年学术年会论文摘要[C];2010年
6 杨凌;刘玉树;;基于支持向量机的坦克识别算法[A];第三届全国数字成像技术及相关材料发展与应用学术研讨会论文摘要集[C];2004年
7 师旭超;巴松涛;;基于支持向量机方法的深基坑变形预测[A];科技、工程与经济社会协调发展——河南省第四届青年学术年会论文集(上册)[C];2004年
8 张军;;支持向量机方法在地下水位干扰排除中的初步应用[A];2007年地震流体学术研讨会论文摘要集[C];2007年
9 许建生;盛立东;;基于改进的支持向量机和BP神经网络的识别算法[A];第八届全国汉字识别学术会议论文集[C];2002年
10 荣海娜;张葛祥;张翠芳;;基于支持向量机的非线性系统辨识方法[A];中国自动化学会、中国仪器仪表学会2004年西南三省一市自动化与仪器仪表学术年会论文集[C];2004年
中国重要报纸全文数据库 前10条
1 课题主持人 李心丹 课题协调人 上海证券交易所 施东晖 傅浩 课题研究员 宋素荣 查晓磊 宾红辉 张许宏 郭静静 黄隽 南京大学工程管理学院;内幕交易与市场操纵的行为动机与判别监管研究[N];中国证券报;2007年
2 李水根;计算机详解配伍与药效关系[N];健康报;2005年
3 清华大学 苏光大;非接触式人脸识别技术[N];计算机世界;2006年
4 YMG记者 李仁 通讯员 曲华明 孙运智;我市九项目进入省“盘子”[N];烟台日报;2010年
5 上海大学理学院教授、副院长 陆文聪;酷爱化学 孜孜以求[N];中国化工报;2006年
6 ;选择合适的数据挖掘算法[N];计算机世界;2007年
7 记者 耿挺;蛋白质功能算出来[N];上海科技报;2007年
8 周颖;王米渠与中医心理学[N];中国中医药报;2006年
9 记者 张云普通讯员 全攀峰 安强强;大庆物探深度域地震资料岩性解释技术获得五大突破[N];中国石油报;2008年
10 本报记者 冯治恩;敢与“雷公”试比高[N];铜川日报;2008年
中国博士学位论文全文数据库 前10条
1 尹传环;结构化数据核函数的研究[D];北京交通大学;2008年
2 杜小芳;基于CPFR的农产品采购模型研究[D];华中科技大学;2005年
3 刘育明;动态过程数据的多变量统计监控方法研究[D];浙江大学;2006年
4 栾锋;支持向量机(SVM)和径向基神经网络(RBFNN)方法在化学、环境化学和药物化学中的应用研究[D];兰州大学;2006年
5 孙薇;市场条件下抽水蓄能电站效益综合评价及运营模式研究[D];华北电力大学(河北);2007年
6 常群;支持向量机的核方法及其模型选择[D];哈尔滨工业大学;2007年
7 朱燕飞;锌钡白回转窑煅烧过程智能建模研究[D];华南理工大学;2005年
8 田英杰;支持向量回归机及其应用研究[D];中国农业大学;2005年
9 燕忠;基于蚁群优化算法的若干问题的研究[D];东南大学;2005年
10 任东;基于支持向量机的植物病害识别研究[D];吉林大学;2007年
中国硕士学位论文全文数据库 前10条
1 刘艳伟;支持向量机方法在感潮河段洪峰水位预报中的应用[D];浙江大学;2010年
2 杨镭;支持向量机算法设计及在高分辨雷达目标识别中的应用[D];国防科学技术大学;2010年
3 童振;基于支持向量机的电解液成分预测[D];东北大学;2008年
4 聂小芳;模糊粗糙集与支持向量机在煤与瓦斯突出预测中的应用研究[D];辽宁工程技术大学;2009年
5 鄢常亮;基于支持向量机的高炉向凉向热炉况预测研究[D];内蒙古科技大学;2010年
6 韩叙东;基于支持向量机的水电故障分类器的设计与实现[D];东北大学;2008年
7 冯杰;慢时变对象的支持向量机建模与在线校正方法研究[D];东北大学;2009年
8 朱耿峰;支持向量机在冲击地压预测模型中的应用研究[D];山东科技大学;2010年
9 王奇安;基于广泛内核的CVM算法研究及参数C的选择[D];南京航空航天大学;2009年
10 张永新;基于支持向量机和遗传算法相结合的模拟电路故障诊断方法研究[D];东北大学;2009年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026