收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于模糊支持向量机的垃圾邮件过滤技术研究

赵海涛  
【摘要】: 随着互联网的迅速发展,电子邮件作为一种现代通信手段受到广泛使用,但人们在享受电子邮件带来的种种便利的同时,也受到了大量垃圾邮件的骚扰。支持向量机(SVM)是基于统计学习理论的机器学习方法,由于它是基于结构风险化最小的,具有小样本、泛化能力强、全局最优等优点。SVM方法已被成功地运用于许多领域,在垃圾邮件过滤等领域也成为了一个研究热点。 本文通过研究学习了电子邮件的工作原理,邮件格式和邮件预处理技术,得到了邮件过滤前的向量表示。还重点学习研究了支持向量机和模糊支持向量机方法,把模糊支持向量机技术引入到垃圾邮件过滤中来,设计了一种新的模糊隶属度函数,考虑了合法邮件误分造成的严重后果引入了不同的惩罚参数C。最终提出了一种基于误分损失的FSVM垃圾邮件过滤方法,并进行了仿真实验。 主要研究内容如下: 1)研究了电子邮件工作原理,邮件相关协议和电子邮件预处理技术。重点研究了特征提取以及邮件的向量表示:使用正向最大匹配法和逆向最大匹配法相结合的方法对邮件文本进行中文分词,通过文档频率方法进行特征选择,使用TF_IDF函数建立向量空间模型。 2)研究对比了基于支持向量机的邮件过滤技术和其它的邮件过滤技术。基于支持向量机的垃圾邮件过滤技术具有小样本、泛化能力强和全局最优等优点,但是也有两个明显的缺陷:邮件分类实际上是一个不确定信息的处理问题,SVM方法却把它当做确定性问题处理的,另外基于SVM的方法错分合法邮件和垃圾邮件的概率是等同的,忽略了错分合法邮件问题较错分垃圾邮件更严重的问题。 3)把模糊支持向量机技术引入到垃圾邮件过滤中来,并重点研究了模糊支持向量机的隶属度函数和惩罚因子,设计出新的基于类中心的模糊隶属度函数,提出了一种基于错分损失的FSVM垃圾邮件过滤方法。 4)研究和设计更适当的邮件过滤评价方法:LP、LR、WR等,重点使用合法邮件的查全率LR和其它综合指标作为评价手段,进行仿真实验对比所提的FSVM方法和SVM方法的过滤性能。 仿真实验的结果证明考虑了误分损失的模糊支持向量机垃圾邮件过滤方法在保证了较高的垃圾邮件拦截率的同时,保证了较高的合法邮件查全率,有效解决了错分合法邮件带来的严重后果,证明了所提方法的可行性和有效性。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 叶振宇,刘晶;基于模糊模式识别的中文邮件过滤探讨[J];计算机时代;2004年11期
2 曹传国;垃圾邮件拒之门外[J];电脑爱好者;2001年01期
3 史兵;企业电子邮件系统的困境和对策[J];计算机安全;2004年05期
4 志杰;垃圾邮件大清除[J];计算机与农业;2002年03期
5 付爱英,徐鹰,段小荣;实时反垃圾邮件系统的应用[J];计算机与现代化;2003年09期
6 赵海涛;魏延;赖敏;陈守刚;;基于模糊支持向量机的中文垃圾邮件过滤方法[J];成都大学学报(自然科学版);2010年02期
7 Firefox;;在线狙击垃圾邮件[J];电脑迷;2005年16期
8 李雯;刘培玉;;基于贝叶斯的垃圾邮件过滤算法的研究[J];计算机工程与应用;2007年23期
9 汪曙;反垃圾邮件技术探讨[J];中国数据通信;2004年10期
10 谢印芬,马玉亮;反垃圾邮件技术浅析[J];临沂师范学院学报;2004年03期
11 林祥,荆涛,李生红;前置式邮件过滤系统的设计与实现[J];计算机工程与应用;2005年02期
12 陆青梅;尹四清;;基于贝叶斯定理的垃圾邮件分类技术研究[J];信息技术;2008年02期
13 陈文庆,李勤,姚伽华;基于最大熵模型的垃圾邮件过滤方法[J];网络安全技术与应用;2005年01期
14 尹军,谭晓兰;校园网络中如何防范垃圾邮件[J];衡阳师范学院学报;2005年03期
15 王继克;;立体防御垃圾邮件的技术实战[J];教育信息化;2006年07期
16 肖丹燕;;论析垃圾邮件产生机理及防范技术[J];重庆教育学院学报;2006年06期
17 周少军;;垃圾邮件杀无赦[J];软件;2001年02期
18 YATE;;怎样防范垃圾邮件[J];电脑校园;2001年09期
19 张岩;坐看云起时 CHIP每月评话[J];新电脑;2002年04期
20 沈建苗;多管齐下治“垃圾”[J];微电脑世界;2003年20期
中国重要会议论文全文数据库 前10条
1 王琦;;基于贝叶斯决策树算法的垃圾邮件识别机制[A];2011年通信与信息技术新进展——第八届中国通信学会学术年会论文集[C];2011年
2 李军;何晓宁;黄成哲;齐浩亮;雷国华;;基于特征贡献度的垃圾邮件过滤方法[A];第六届全国信息检索学术会议论文集[C];2010年
3 李劲;岳昆;杭菲璐;;一种基于自适应Markov模型的中文垃圾邮件过滤方法[A];第二十五届中国数据库学术会议论文集(一)[C];2008年
4 薛亚楠;廖闻剑;彭艳兵;;垃圾邮件行为识别研究[A];中国电子学会第十六届信息论学术年会论文集[C];2009年
5 赵利;廖闻剑;彭艳兵;;基于中文主题的垃圾邮件过滤方法研究[A];中国通信学会第六届学术年会论文集(上)[C];2009年
6 张尼;方滨兴;;垃圾邮件过滤技术综述[A];全国网络与信息安全技术研讨会'2005论文集(下册)[C];2005年
7 孙东红;陈光英;刘勇;段海新;;SpamAssassin中文规则研究及实践[A];全国网络与信息安全技术研讨会论文集(下册)[C];2007年
8 王振旗;刘静;;一种基于地址与内容过滤的垃圾电子邮件过滤器模型[A];2005中国控制与决策学术年会论文集(下)[C];2005年
9 李婧;张焕国;;应用于贝叶斯过滤器的噪音消除算法研究[A];2005通信理论与技术新进展——第十届全国青年通信学术会议论文集[C];2005年
10 米淑云;辛阳;罗群;;一种新型垃圾邮件过滤系统的设计和研究[A];2008通信理论与技术新进展——第十三届全国青年通信学术会议论文集(上)[C];2008年
中国博士学位论文全文数据库 前10条
1 孙晶涛;基于内容的垃圾邮件过滤技术研究[D];兰州理工大学;2010年
2 陈彬;垃圾邮件的特征选择及检测方法研究[D];华南理工大学;2010年
3 董建设;协作式垃圾邮件过滤关键技术研究[D];兰州理工大学;2009年
4 邓蔚;垃圾邮件过滤中的敌手分类问题研究[D];电子科技大学;2011年
5 刘卫红;垃圾邮件检测与过滤关键技术研究[D];华南理工大学;2010年
6 王会珍;文本内容分类和主题追踪关键技术研究[D];东北大学;2008年
7 王美珍;垃圾邮件行为模式识别与过滤方法研究[D];华中科技大学;2009年
8 李鹏;图像型垃圾邮件过滤关键技术研究[D];哈尔滨工业大学;2013年
9 詹川;反垃圾邮件技术的研究[D];电子科技大学;2005年
10 刘震;垃圾邮件过滤理论和关键技术研究[D];电子科技大学;2008年
中国硕士学位论文全文数据库 前10条
1 赵海涛;基于模糊支持向量机的垃圾邮件过滤技术研究[D];重庆师范大学;2010年
2 张青;中文垃圾邮件过滤技术研究[D];武汉理工大学;2011年
3 杨慧娟;基于语义体与模糊聚类的中文垃圾邮件过滤方法研究[D];兰州理工大学;2011年
4 毛岩;基于行为识别的垃圾邮件过滤技术的研究[D];大庆石油学院;2010年
5 孙吉谭;基于内容的垃圾邮件意图分析方法研究[D];吉林大学;2011年
6 郭学敏;基于语义的广告图像垃圾邮件过滤技术研究[D];燕山大学;2010年
7 杨兴华;基于多模态特征的垃圾邮件过滤技术研究[D];西安电子科技大学;2011年
8 宋文;图像垃圾邮件过滤技术的研究[D];淮北师范大学;2011年
9 杨大伟;基于Sendmail的电子邮件网关系统设计与实现[D];哈尔滨工程大学;2005年
10 刘菊新;垃圾图像过滤系统的实现[D];浙江大学;2010年
中国重要报纸全文数据库 前10条
1 合 文;阻止垃圾邮件的蔓延[N];网络世界;2002年
2 海南省海口市人民检察院 王琳;应对“信骚扰”[N];计算机世界;2003年
3 于新俊;阻止垃圾邮件蔓延[N];中国计算机报;2002年
4 ;砍断垃圾邮件黑手[N];计算机世界;2003年
5 ;狙击垃圾邮件[N];中国电脑教育报;2004年
6 Linning;NIS 2004对垃圾邮件说NO[N];中国电脑教育报;2004年
7 ;常见垃圾邮件问题的解答[N];中国计算机报;2002年
8 记者 李梅影;电子邮件立法对抗垃圾邮件泛滥[N];国际金融报;2004年
9 ;6个僵尸网络发出85%垃圾邮件[N];人民邮电;2008年
10 本报记者 余世琳;任金强:治理垃圾邮件要立法与自律并行[N];通信信息报;2003年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978