收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于即时分类的垃圾邮件过滤关键技术的研究

惠孛  
【摘要】: 电子邮件方便、快捷、低成本的特性使得它已经成为Internet上使用最广泛的应用之一,并日益成为人们工作、生活必不可少的通信工具。随之而来的是近年来垃圾邮件的日趋泛滥给电子邮件系统和用户带来了严重的危害甚至损失。垃圾邮件的传播不仅浪费大量网络资源,造成邮件服务器负荷增大,而且也成为有害信息和病毒传播的重要途径。同时,垃圾邮件也会造成用户时间与金钱方面的损失。针对垃圾邮件的问题,研究者提出了许多技术来达到反垃圾邮件的目的。比较常见的反垃圾邮件技术主要有基于关键字匹配的过滤技术、基于黑白名单的过滤技术、基于规则的过滤技术等等。然而,这些技术由于其技术本身的原因,适用范围狭窄,需要大量的人工干预。研究者将智能技术引入了垃圾邮件过滤领域,例如贝叶斯技术。朴素贝叶斯能高效的面对垃圾邮件过滤问题,研究者在此基础上提出了很多改进的算法,并取得较好的效果。但是,一方面这些方法都是面向单个实例,即假设分类器在某时刻只能处理单个实例;另一方面大多数的方法都需要较多的、较为固定的计算资源。而现实中在短时间内往往会有大量的邮件到达服务器需要过滤、投递、转发,需要有针对所有邮件的过滤方法。本文引入Anytime分类模型,Anytime分类模型可以在有限的计算资源的情况下得到相对优秀的返回结果,当有更多的计算资源的时候,能调用SPODE(Super ParentOne-Dependenc Estimators)进一步的精炼分类结果。Anytime分类模型在计算资源与最终结果之间取得了一种动态平衡。 本文系统地分析了垃圾邮件的起源、背景以及发展状况,重点强调了垃圾邮件对世界的经济、社会、网络安全的危害。通过分析反垃圾邮件技术的起源、发展与国内外的最新技术进展,全面的归纳了现有反垃圾邮件技术的优点与不足之处。本文在总结和借鉴目前反垃圾邮件领域的相关研究成果的基础上,深入细致的讨论了基于贝叶斯分类的不确定智能机器学习理论,针对现有的智能反垃圾邮件技术的缺陷,提出了相关的一些算法与解决方法,并取得了较好的成果,达到了理论研究与实际应用相结合的目的和效果。主要的研究成果包括: 1、在贝叶斯网络的基础上,削弱贝叶斯分类模型关于朴素贝叶斯属性之间条件独立的假设,将实例的属性分为两个部分:强属性和弱属性。强属性之间保留部分属性之间的相关性,而弱属性依然保留朴素贝叶斯的属性之间条件独立的假设。以此构建一个双级贝叶斯分类模型,并将该模型应用于垃圾邮件过滤的应用上。实验证明该分类模型能取得较好的效果。 2、现有的基于贝叶斯垃圾邮件过滤技术,由于其计算时间需求的相对固定而不能很好的适用于需要即时响应的在线业务。针对这个不足之处,引入了可以用于在线应用的即时(Anytime)分类模型。基于互信息理论,本文提出AAPMIE(Anytime Averaged Probabilistic under Mutual Information Estimators)分类算法。该算法根据属性所携带的平均互信息的大小对被当作父属性的属性进行排序,依次挑选父属性作为SPODE更新概率估计值。实验证明,该分类算法能取得较好的分类效果,特别是在分类的早期能快速的降低分类的错误率。 3、在即时贝叶斯分类模型的基础上,提出一种基于不完全朴素贝叶斯分类模型的新的邮件过滤分类模型。该分类模型放松朴素贝叶斯分类模型分类模型的条件独立假设,选择部分属性作为父属性,并在一定程度上考虑了属性之间的语义关联。实验显示该分类模型对垃圾邮件的过滤更有效。 4、在传统的Anytime分类模型基础之上,提出一种基于全局的Anytime分类模型:SAAPE(Scheduling Anytime Averaged Probabilistic Estimators)分类模型。SAAPE分类模型着眼于在有限的计算资源的条件下提高总体的分类准确率。SAAPE分类模型与传统的Anytime分类模型相比更为灵活。SAAPE分类模型可以根据用户的需求随时中断计算,即时将结果返回给用户。而当用户可以等待时,SAAPE分类模型可以利用多余的计算资源得到更精确的分类结果。 5、构建了一个基于全局的Anytime垃圾邮件过滤试验系统,AASS(AnytimeAntiSpam System)即时反垃圾邮件系统。该系统应用了即时分类的思想,提供高响应的垃圾邮件过滤机制。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 ;客户端反垃圾邮件工具[J];个人电脑;2002年06期
2 罗倩;秦玉平;王春立;;反垃圾邮件技术综述[J];渤海大学学报(自然科学版);2008年04期
3 ;三分钟打造反垃圾邮件服务器[J];计算机与网络;2011年08期
4 滕大祝;程明;;反垃圾邮件网格过滤系统的设计与实现[J];微计算机信息;2007年12期
5 蒙海涛;;一种基于神经网络和主动反馈的反垃圾邮件技术的研究[J];微电子学与计算机;2011年06期
6 李洋;方滨兴;王申;;基于用户反馈的反垃圾邮件技术[J];计算机工程;2007年08期
7 刘启诚;杨海峰;郭训平;吕峰;;从北京首例垃圾邮件侵权案看反垃圾邮件治理[J];通信世界;2006年14期
8 安晓光;王小卫;朱婉莹;;反垃圾邮件技术综述[J];电脑知识与技术;2008年S2期
9 蓝炳伟;;漏桶算法在反垃圾邮件系统中的应用[J];计算机系统应用;2007年12期
10 阿拉木斯;;反垃圾邮件的法律困惑[J];软件世界;2006年05期
11 侯王;;反垃圾邮件技术五步发展[J];互联网天地;2006年11期
12 ;个人反垃圾邮件工具[J];个人电脑;2003年03期
13 陶卓彬,邓元庆;反垃圾邮件技术[J];信息网络安全;2003年09期
14 冯大刚;走出孤立:中国反垃圾邮件好经不好念[J];电子商务世界;2004年05期
15 祝毅鸣;张波;;实时黑名单在垃圾邮件过滤系统中的应用[J];科技资讯;2012年12期
16 谢印芬,马玉亮;反垃圾邮件技术浅析[J];临沂师范学院学报;2004年03期
17 孙莉;;反垃圾邮件技术初探[J];信息系统工程;2012年07期
18 陈渝;黄楚亮;吴志豪;罗广俊;赵闪;;企业信息化中的反垃圾邮件技术[J];广东科技;2007年07期
19 杨晨;;反垃圾邮件工作有了“杀手锏”[J];信息网络安全;2007年08期
20 蒋华龙;杨晓蕊;;反垃圾邮件技术分析[J];实验室科学;2006年05期
中国重要会议论文全文数据库 前10条
1 张艳;李毅;顾健;;垃圾邮件与反垃圾邮件新技术追踪[A];全国计算机安全学术交流会论文集·第二十五卷[C];2010年
2 马兰馨;刘瑞荣;吴春珍;安德海;刘宝旭;许榕生;于传松;;高能所反垃圾邮件方案[A];第十二届全国核电子学与核探测技术学术年会论文集[C];2004年
3 赖均;黄迪明;胡德昆;;反垃圾邮件机的研究与实现[A];四川省通信学会二零零四年学术年会论文集(二)[C];2004年
4 李毅;顾健;;反垃圾邮件产品检测技术研究及检测工具开发[A];第二十次全国计算机安全学术交流会论文集[C];2005年
5 陈娟;葛辛;罗向阳;刘粉林;;基于反向查询技术和贝叶斯算法的反垃圾邮件方案[A];2006中国控制与决策学术年会论文集[C];2006年
6 顾健;李毅;邱梓华;;我国反垃圾电子邮件产品概况[A];全国计算机安全学术交流会论文集(第二十二卷)[C];2007年
7 李德成;;网络反垃圾邮件行为规范[A];信息网络与高新技术法律前沿——中华全国律师协会信息网络与高新技术专业委员会成立大会论文集[C];2001年
8 沈卫超;;反垃圾邮件技术与产品分析[A];第二十次全国计算机安全学术交流会论文集[C];2005年
9 周立兵;柳景超;;贝叶斯理论在垃圾邮件过滤中的应用分析[A];中国造船工程学会电子技术学术委员会2006学术年会论文集(上册)[C];2006年
10 刘红翼;;一种垃圾邮件过滤器的设计与实现[A];广西计算机学会2005年学术年会论文集[C];2005年
中国博士学位论文全文数据库 前5条
1 惠孛;基于即时分类的垃圾邮件过滤关键技术的研究[D];电子科技大学;2009年
2 张泽明;人工免疫算法及其应用研究[D];中国科学技术大学;2007年
3 冯旸赫;多组图贝叶斯分类模型研究[D];国防科学技术大学;2014年
4 孙晶涛;基于内容的垃圾邮件过滤技术研究[D];兰州理工大学;2010年
5 董建设;协作式垃圾邮件过滤关键技术研究[D];兰州理工大学;2009年
中国硕士学位论文全文数据库 前10条
1 张成功;人工免疫系统原理及其在反垃圾邮件技术中的应用研究[D];电子科技大学;2005年
2 王波;反垃圾邮件系统研究及实现[D];电子科技大学;2005年
3 周鹏;基于透明代理的反垃圾邮件模型研究与实现[D];西南交通大学;2011年
4 郑华;集成反垃圾邮件系统数据中心端的设计与实现[D];电子科技大学;2006年
5 郭海姣;加拿大反垃圾邮件立法研究[D];中国社会科学院研究生院;2018年
6 李凯;自主可控的商业银行反垃圾邮件网关的设计与实现[D];湖南大学;2017年
7 高岩;基于行为模式分类的反垃圾邮件技术研究[D];哈尔滨理工大学;2008年
8 李姝亚;进化计算在反垃圾邮件系统中的应用研究[D];电子科技大学;2008年
9 刘晓钰;基于模糊聚类算法的反垃圾邮件系统的设计与实现[D];中南大学;2013年
10 徐松浦;反垃圾邮件中贝叶斯方法的应用研究[D];成都理工大学;2005年
中国重要报纸全文数据库 前10条
1 雨田;从“垃圾”捞金[N];经理日报;2004年
2 《计算机世界》方案评析实验室;反垃圾邮件解决方案横向评述[N];计算机世界;2006年
3 中国反垃圾邮件联盟 王兴宇 叶豪;反垃圾邮件方案谁堪重任?[N];计算机世界;2004年
4 张志利;国外反垃圾邮件的立法应对[N];人民邮电;2006年
5 本报记者 丁弃文;国家级反垃圾电邮体系呼之欲出[N];21世纪经济报道;2004年
6 林子;电子“垃圾”危害世界[N];中国商报;2003年
7 晓镜;技术 立法 组织 合作[N];人民邮电;2003年
8 ;新反垃圾邮件技术获得IETF支持[N];网络世界;2007年
9 林龙;反垃圾邮件立法先行[N];中国计算机报;2005年
10 赵晓涛;反垃圾邮件中的云网络[N];网络世界;2009年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978