收藏本站
《电子科技大学》 2011年
收藏 | 手机打开
二维码
手机客户端打开本文

基于网络设备的网页过滤设计与实现

文敬斌  
【摘要】:随着互联网的不断发展和普及,人们可以很方便的通过网络来获取信息和资源。同时网络中充斥的各种不良信息和“垃圾”信息,给人们的生活和工作带来了很大的负面影响,如何过滤这些不良信息和“垃圾”信息成为一个亟待解决的问题。为此本文对网页过滤课题进行研究,并设计了一个基于网络设备的网页过滤系统。 本文首先对当前网页过滤的常用技术进行了研究,了解这些技术的优缺点;其次研究了几种快速的串匹配算法和几种常见的文本表示方法;同时还对HTTP协议进行了深入的研究,了解HTTP报文的传输机制,并学习Vxworks网络协议栈的数据处理机制,了解Vxworks网络协议栈的数据处理流程;最后结合实际网络环境,设计了一个基于网络设备的网页过滤系统。过滤系统主要分为两个层面,一个是数据获取层面,一个是过滤层面。在数据获取层面,为了提高过滤速率,并且兼容底层系统,构建了一个基础框架,主要负责对数据流的接收、分析、上送,并对链接进行维护和控制。过滤层面采用URL过滤和内容过滤相结合的方式,形成以数据库过滤(IP库、URL库)为主的初级过滤、以内容过滤为主的二级过滤的多级过滤体系;并且针对课题的特殊性,采用了“第一次放过”的策略。 试验表明,该系统能够很好的满足实时性和准确性要求,具有很好的通用性和可扩展性。本过滤系统基于网络设备,便于统一管理;且在网络层进行网页过滤,克服了应用层过滤适应性和安全性较差的缺点。因此本系统可作为中间服务器过滤系统架设在网络设备上,保护内部用户的网络环境。
【学位授予单位】:电子科技大学
【学位级别】:硕士
【学位授予年份】:2011
【分类号】:TP393.092

【参考文献】
中国期刊全文数据库 前10条
1 魏景芝;辛阳;杨义先;钮心忻;;用于检测过滤的多模式匹配[J];北京邮电大学学报;2007年06期
2 万国根;秦志光;;改进的AC-BM字符串匹配算法[J];电子科技大学学报;2006年04期
3 万国根;秦志光;刘锦德;;高速网络环境下内容审计系统的研究与实现[J];计算机科学;2003年12期
4 马文斌,王庆;Web内容过滤实现方法的研究[J];计算机工程;2004年S1期
5 曾致远;张莉;;基于向量空间模型的网页文本表示改进算法[J];计算机工程;2006年03期
6 宋明秋;张国权;邓贵仕;;入侵检测多模式匹配算法[J];计算机工程;2006年05期
7 周澔宇;;基于URL的网页内容过滤器的设计与实现[J];计算机工程;2006年07期
8 赵泽宇;闫华;;基于CPat-Tree的URL索引模型裁剪方法[J];计算机工程;2008年07期
9 陈洪涛,陈德人,顾学飞;基于网络处理器的内容过滤的实现[J];计算机应用;2005年10期
10 吴春颖;王士同;蔡崇超;;一种基于新词发现的Web文本表示方法[J];计算机应用;2008年03期
中国博士学位论文全文数据库 前1条
1 万国根;面向内容的网络安全监控模型及其关键技术研究[D];电子科技大学;2005年
中国硕士学位论文全文数据库 前1条
1 杨晓懿;基于内容分析的信息安全过滤技术研究[D];四川大学;2005年
【共引文献】
中国期刊全文数据库 前10条
1 蔡华利;刘鲁;王理;;突发事件Web新闻多层次自动分类方法[J];北京工业大学学报;2011年06期
2 高庆狮;李莉;刘宏岚;;基于语义单元表示树剪枝的关键字过滤方法[J];北京科技大学学报;2006年12期
3 郭淼霞;;中文网页分类研究综述[J];赤峰学院学报(自然科学版);2011年12期
4 蒋莉莉;;字符串模式匹配算法的改进研究[J];电脑知识与技术;2008年03期
5 林海文;;文本挖掘技术研究[J];电脑知识与技术;2008年34期
6 万兵;杨阳;;VoIP流量监测技术的研究与应用[J];电信快报;2010年02期
7 杨敏;宋晖;;基于文本的安全过滤研究[J];计算机安全;2009年05期
8 湛高峰;李超;;基于语义的违法上网行为旁路阻断系统的设计与实现[J];计算机安全;2011年01期
9 黄保华;霍林;;内容安全研究进展与教学内容选择[J];大众科技;2012年02期
10 张雪松;田宏;;面向入侵检测的Aho-Corasick算法内存消耗研究[J];辽宁石油化工大学学报;2008年01期
中国重要会议论文全文数据库 前3条
1 林磊;刘燕兵;谭建龙;郭莉;;一种基于MPHF和Bloom Filter的URL查找算法[A];2011年通信与信息技术新进展——第八届中国通信学会学术年会论文集[C];2011年
2 侯整风;张晓乐;韩江洪;樊玉琦;;AC-BM算法的研究与改进[A];2011中国仪器仪表与测控技术大会论文集[C];2011年
3 湛高峰;李超;;基于语义的违法上网行为旁路阻断系统的设计与实现[A];全国计算机安全学术交流会论文集·第二十五卷[C];2010年
中国博士学位论文全文数据库 前10条
1 吴承荣;骨干通道上的网络论坛通信信息监测和分析的关键技术研究[D];复旦大学;2011年
2 徐光侠;分布式实时系统的软件故障注入及可靠性评测方法研究[D];重庆大学;2011年
3 万国根;面向内容的网络安全监控模型及其关键技术研究[D];电子科技大学;2005年
4 邓发云;基于用户需求的信息可信度研究[D];西南交通大学;2006年
5 谢鲲;布鲁姆过滤器查询算法及其应用研究[D];湖南大学;2007年
6 尹世群;Web文本分类关键技术研究[D];西南大学;2008年
7 刘素平;基于智能策略的网络自管理模型及应用研究[D];东华大学;2008年
8 邓林;网络信息安全防护理论与方法的研究[D];合肥工业大学;2009年
9 魏景芝;超宽带无线网络若干安全问题研究[D];北京邮电大学;2008年
10 张宝军;网络入侵检测若干技术研究[D];浙江大学;2010年
中国硕士学位论文全文数据库 前10条
1 司贺华;网络内容审计系统关键技术研究与实现[D];哈尔滨工程大学;2010年
2 丛肖为;敏感信息监管系统的设计与实现[D];华东师范大学;2010年
3 孙海虹;基于模糊粗糙集的Web文本分类研究[D];哈尔滨理工大学;2010年
4 刘小明;入侵检测系统中模式匹配算法的研究[D];江西理工大学;2010年
5 李哲;工行产品创新采编系统研究与实现[D];长春工业大学;2010年
6 刘飞荣;SOM算法的改进及其在中文文本聚类的应用[D];南昌大学;2010年
7 夏军波;基于硬件支持的高速DPI算法研究[D];解放军信息工程大学;2009年
8 陈功照;城市地理信息检索服务研究[D];福建师范大学;2010年
9 王海波;垃圾短信的屏蔽机制与应用研究[D];东华大学;2011年
10 李亮;基于语义稀疏表示的不良图像检测算法[D];西安电子科技大学;2011年
【二级参考文献】
中国期刊全文数据库 前10条
1 段立娟,包振山,毛国君;多特征特定类型图像过滤方法[J];北京工业大学学报;2005年04期
2 赵晓晖;张福威;申铉京;;基于亮度自适应色度空间模型肤色算法及应用[J];吉林大学学报(信息科学版);2006年01期
3 朱靖波,姚天顺;文本内容主题的识别方法[J];东北大学学报;2002年05期
4 李东艳;黄鹏鹤;;基于双层规则的内容安全过滤方法[J];大连交通大学学报;2007年03期
5 罗庆霖,周琴;信息过滤模型及其基于神经网络的改进[J];电脑与信息技术;2000年03期
6 黄晓斌,邱明辉;网络信息过滤方法的比较研究[J];大学图书馆学报;2005年01期
7 许强,江早,赵宏;基于图像内容过滤的智能防火墙系统研究与实现[J];计算机研究与发展;2000年04期
8 王永成,沈州,许一震;改进的多模式匹配算法[J];计算机研究与发展;2002年01期
9 宋华,戴一奇;一种用于内容过滤和检测的快速多关键词识别算法[J];计算机研究与发展;2004年06期
10 郭燕慧,王小捷,钟义信;文本倾向识别的置信度估计[J];计算机工程与应用;2002年01期
中国硕士学位论文全文数据库 前3条
1 李钝;基于粗糙集理论的文本挖掘技术研究[D];山西大学;2003年
2 朱爱华;粗糙集理论在Web信息过滤中的应用研究[D];四川大学;2005年
3 杨道勉;基于内容的网络分析与网络过滤技术研究[D];西北师范大学;2006年
【相似文献】
中国期刊全文数据库 前10条
1 马向玲,马向阳,李伟;用Dreamweaver制作博士招生网站[J];教育信息化;2001年08期
2 小贝壳;保存网页的利器——网文快捕信息管理速战[J];电脑应用文萃;2004年03期
3 ;剖析恶意网页修改注册表[J];电脑数码采购周刊;2005年02期
4 miniworm;;圆角的革命[J];电脑爱好者;2007年07期
5 张启宇;朱玲;车忠志;;网页文件元数据的自动提取[J];电脑与电信;2008年04期
6 陈宁江;杜凡远;;网页防篡改应用技术分析[J];现代机械;2009年03期
7 中英;;神奇的Internet临时文件夹[J];网络科技时代(数字冲浪);2002年01期
8 李佩华;制作网络版课件的快捷途径[J];教育信息化;2004年06期
9 于艳杰;网页文件上传方法分析与研究[J];哈尔滨学院学报;2005年05期
10 流言;;“傲游”因特网 生活从此更精彩……[J];电脑爱好者;2006年02期
中国重要会议论文全文数据库 前10条
1 张星星;穗志方;;基于网页中深度并列结构的实例提取算法[A];中国计算语言学研究前沿进展(2009-2011)[C];2011年
2 王琦;唐世渭;杨冬青;王腾蛟;;基于DOM的网页主题信息自动提取[A];第二十一届中国数据库学术会议论文集(研究报告篇)[C];2004年
3 张晓明;奈一雄;齐炯明;安媛媛;张建楠;王静娴;;基于信息隐藏的网页入侵检测技术与实现[A];2009通信理论与技术新发展——第十四届全国青年通信学术会议论文集[C];2009年
4 O.Akoum;M.Frappart;M.Y.Jaffrin;;振动过滤系统在牛奶行业水处理中的应用(英文)[A];中国膜科学与技术报告会论文集[C];2003年
5 袁方方;安宝宇;郑世慧;;基于Netfilter的内容过滤系统的研究与实现[A];第十三届中国科协年会第11分会场-中国智慧城市论坛论文集[C];2011年
6 刘世杰;唐世渭;杨冬青;王腾蛟;姚小波;;自动的WEB信息提取和集成[A];第十九届全国数据库学术会议论文集(技术报告篇)[C];2002年
7 黄文良;李石坚;陆冠中;;大规模实时垃圾短信过滤系统[A];2007年中国通信学会“移动增值业务与应用”学术年会论文集[C];2007年
8 许方强;;书画展柜空气净化过滤系统的研究[A];面向21世纪的科技进步与社会经济发展(上册)[C];1999年
9 陈成;岳志伟;;浅谈政府门户网站的网络安全[A];中国航海学会航标专业委员会沿海航标学组、无线电导航学组、内河航标学组年会暨学术交流会论文集[C];2009年
10 朱双霞;;洛瓦空调新风系统节能改造[A];纺织空调除尘高效节能减排技术研讨会论文集[C];2010年
中国重要报纸全文数据库 前10条
1 湖北 冯晓玲;快速调用记事本编辑网页文件[N];电脑报;2003年
2 本报记者 古月;安全的核心是控制[N];计算机世界;2005年
3 费宗莲;内容过滤新概念[N];计算机世界;2002年
4 姚春鸽;手机上网呼唤绿色[N];人民邮电;2005年
5 赵晓勤/北京;ICRA、GSM共推无线互联网内容过滤、分级[N];电子资讯时报;2004年
6 费宗莲;内容过滤 以人为本[N];中国计算机报;2005年
7 刘宏伟;给互联网一片洁净天空[N];中国计算机报;2003年
8 王晓峰;随时更新的校园信息板[N];中国电脑教育报;2003年
9 边歆;内容过滤:国内国外大不同[N];网络世界;2006年
10 ;病毒防护与内容过滤两手都要硬[N];计算机世界;2001年
中国博士学位论文全文数据库 前10条
1 黄华军;网页信息隐藏与隐秘信息检测研究[D];湖南大学;2007年
2 吴永辉;面向专业领域的网络信息采集及主题检测技术研究与应用[D];哈尔滨工业大学;2010年
3 王洁;基于FPGA的硬件防火墙内容过滤技术研究[D];哈尔滨工业大学;2009年
4 陈德品;基于迁移学习的跨领域排序学习算法研究[D];中国科学技术大学;2010年
5 梁浩;Deep Web信息集成架构及相关问题研究[D];吉林大学;2010年
6 余俊丰;Web程序与数据安全研究[D];华中科技大学;2011年
7 黄昆;高性能内容过滤与分发技术研究[D];湖南大学;2009年
8 郜时旺;移动床颗粒层过滤系统高温高压除尘研究[D];西安交通大学;2002年
9 何川;分布式信息检索中的若干重要问题研究[D];北京邮电大学;2012年
10 沈慧锋;远程富媒体的呈现[D];中国科学技术大学;2010年
中国硕士学位论文全文数据库 前10条
1 屠辉;中文重复网页的检测算法研究[D];北京邮电大学;2010年
2 黄伟光;网页木马的防御与检测技术研究[D];北京交通大学;2011年
3 易方昶;基于网页后门木马监测系统的研究和设计[D];北京化工大学;2010年
4 尹力;网页防篡改系统在校园网中的应用研究[D];河北科技大学;2011年
5 史晶晶;基于CRF的Web机构实体信息抽取系统[D];吉林大学;2011年
6 孔辉;一种网页防篡改系统的设计与实现[D];北京邮电大学;2011年
7 王征;基于布隆过滤器算法的网页消重技术的实现与应用[D];北京交通大学;2010年
8 孙鹏;网页水印技术研究[D];上海交通大学;2010年
9 陈瑜芳;主题爬虫系统的研究[D];武汉理工大学;2010年
10 王洋;基于主题词同现图的网页相关度研究[D];华南理工大学;2010年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026