收藏本站
《国防科学技术大学》 2008年
收藏 | 手机打开
二维码
手机客户端打开本文

网络安全监控中重复数据检测技术的研究与实现

汪敏  
【摘要】: 随着计算机技术的迅猛发展和网络应用的日益广泛,网络安全监控在维护网络正常高效运行、保障网络和信息系统安全以及分析网络用户行为等方面,具有越来越重要的作用。然而,大规模网络安全监控数据的高效处理需求和有限的计算、存储、网络带宽等资源之间的矛盾日渐突出,如何采用合适的技术,在有限的计算存储资源情况下,对无限、快速、持续到达的网络安全监控数据进行处理,成为网络安全监控系统面临的首要问题。流数据重复检测作为流数据处理中的一个重要环节,一方面,对检测出的重复数据进行分析,进而为后续的网络安全监控应用提供支持;另一方面,通过删除检测出的重复数据,可以更好地实现有效的网络传输和高效的在线分析处理。 本文以网络安全监控为背景,针对网络安全监控数据处理存在的问题,对当前的数据流管理系统和流数据重复检测技术进行了研究。主要工作有: 1、系统地研究了部分已公开的数据流管理系统,对各自的应用领域、体系结构、查询语言、组成和特点等进行了分析,提出了满足网络安全监控要求的数据流管理系统。并以TelegraphCQ数据流管理系统为例简要分析了其中实现的重复检测方法。 2、通过对现有流数据重复检测技术的研究,针对网络安全监控流数据的特点,提出了一种流数据重复检测算法。该算法通过增加更新过程来弥补Bloom Filter的不足,应用基于改进的Bloom Filter的界标窗口模型,在给定固定小的空间和允许一定误称率的情况下,获得了较好的准确率和时间效率。 3、在网络安全监控数据流管理系统中实现了上述流数据重复检测算法,降低了后期需要处理和分析的数据量,提高效率,并节约存储空间。 综上所述,本文针对网络安全监控这一典型的数据流应用场景,提出并实现了一种流数据重复检测算法,对流数据处理有一定的实用价值。
【学位授予单位】:国防科学技术大学
【学位级别】:硕士
【学位授予年份】:2008
【分类号】:TP311.13

手机知网App
【参考文献】
中国期刊全文数据库 前8条
1 任美睿;谢元贞;郭龙江;;数据流管理系统TelegraphCQ的研究[J];哈尔滨理工大学学报;2006年02期
2 张睿,陈鸣,孙文桥;巨量数据流实时处理的新方法[J];解放军理工大学学报(自然科学版);2004年05期
3 肖明忠;代亚非;;Bloom Filter及其应用综述[J];计算机科学;2004年04期
4 汤方澄,杨小虎,董金祥;基于智能Agent的网络安全监控系统的研究[J];计算机工程;2002年12期
5 宋燕伟;胡平;;数据流管理系统TelegraphCQ的研究与应用[J];计算机时代;2007年06期
6 马瑞民;王小龙;;数据流管理和挖掘技术探析[J];计算机应用研究;2006年08期
7 陈思宁;陈磊松;;面向高速网络的数据流处理系统研究[J];情报探索;2006年12期
8 胡立辉;;可伸缩的重复流数据检测方法[J];系统工程与电子技术;2008年02期
【共引文献】
中国期刊全文数据库 前10条
1 王金栋;张磊;丁秋林;黄添强;;基于立体重叠网络的网管模型[J];吉林大学学报(信息科学版);2006年01期
2 武珊珊;谷峪;岳德君;于戈;;一种数据流上基于截止期的多查询过载预测模型[J];东北大学学报(自然科学版);2007年07期
3 谷峪;李晓静;许嘉;于戈;;支持复杂语义的数据流滑动窗口连接建模和查询优化[J];东北大学学报(自然科学版);2008年11期
4 何轶璇;罗毅;涂光瑜;;EMS数据流管理系统的框架设计[J];电力系统自动化;2006年24期
5 许颖梅;;数据流管理系统分析与研究[J];电脑学习;2009年06期
6 胡启韬;袁志平;周忠海;;网络资源采集软件的设计及实现[J];电脑编程技巧与维护;2010年08期
7 张目;;基于Bloom Filter的路由循环实时被动检测方法[J];东南大学学报(自然科学版);2008年S1期
8 严华云;关佶红;;Bloom Filter研究进展[J];电信科学;2010年02期
9 钱江波;王永利;陈征;陈华辉;金光;;数据流窗口连接查询处理器研究[J];电子学报;2009年02期
10 齐颖;;关于电力信息处理中对数据流技术的应用探讨[J];硅谷;2010年17期
中国重要会议论文全文数据库 前10条
1 张增军;袁震;肖军模;;基于影子机制的网络监控系统的研究[A];第十九次全国计算机安全学术交流会论文集[C];2004年
2 郭兵洁;张天成;李景银;于戈;;基于时标的滑动窗口模型在数据流查询中的应用研究[A];第二十二届中国数据库学术会议论文集(研究报告篇)[C];2005年
3 董玮;陈立军;黄炎灿;;数据流管理系统中基于选择算子分组的多查询优化(英文)[A];第二十二届中国数据库学术会议论文集(研究报告篇)[C];2005年
4 刘正涛;毛宇光;吴庄;;一种新的流数据模型及其扩展[A];第二十二届中国数据库学术会议论文集(技术报告篇)[C];2005年
5 周锐;肖川;王国仁;韩东红;霍欢;;数据流滑动窗口连接上的卸载技术的研究[A];第二十三届中国数据库学术会议论文集(技术报告篇)[C];2006年
6 宋宝燕;陆岩;张俊宁;;数据流上的一种适应性查询优化及调度策略[A];第二十三届中国数据库学术会议论文集(研究报告篇)[C];2006年
7 谷峪;冯智博;武珊珊;于戈;吕雁飞;;数据流上基于扩展窗口模型的连接维护算法[A];第二十三届中国数据库学术会议论文集(研究报告篇)[C];2006年
8 吕雁飞;武珊珊;谷峪;许嘉;于戈;;一种数据流上统计性查询QoS的保证方法[A];第二十四届中国数据库学术会议论文集(研究报告篇)[C];2007年
9 高先锋;刘奇志;后小亮;檀宝权;;一种新的数据流页面存储模型[A];第二十五届中国数据库学术会议论文集(二)[C];2008年
10 尹婷;李红燕;;窗口模型下数据流查询流水化执行的研究[A];第二十一届中国数据库学术会议论文集(技术报告篇)[C];2004年
中国博士学位论文全文数据库 前10条
1 徐超;面向大型工程健康监测的无线传感器网络基本理论和关键技术研究[D];武汉理工大学;2007年
2 李勇军;基于端到端的传感器网络测量技术研究[D];西北工业大学;2007年
3 孙玉芬;基于网格方法的聚类算法研究[D];华中科技大学;2006年
4 李卫民;流数据查询算法若干关键技术研究[D];东华大学;2008年
5 李奇越;网络内容分析中基于硬件的字符串匹配算法的研究[D];中国科学技术大学;2008年
6 闫莺;多数据类型的数据流查询处理及优化[D];复旦大学;2008年
7 郭建奎;数据流相似性查询及模式挖掘研究[D];复旦大学;2008年
8 王述云;数据流频繁项挖掘与聚类分析的研究[D];复旦大学;2008年
9 常建龙;数据流聚类及电信数据流管理[D];复旦大学;2008年
10 邓华锋;分布式数据流处理的算子调度与负载平衡研究[D];华中科技大学;2007年
中国硕士学位论文全文数据库 前10条
1 司贺华;网络内容审计系统关键技术研究与实现[D];哈尔滨工程大学;2010年
2 田亚坤;基于对象存储系统中元数据管理方法的研究[D];哈尔滨工程大学;2010年
3 韩君;近期数据流频繁项集挖掘[D];大连理工大学;2010年
4 卢晓伟;基于GPU的数据流处理方法研究[D];大连理工大学;2010年
5 刘畅;基于概要的数据流管理系统的研究与实现[D];大连理工大学;2010年
6 钟颖莉;数据流查询操作算法的研究[D];黑龙江大学;2004年
7 张玲东;流式数据库系统的研究与设计[D];南京航空航天大学;2005年
8 王燕;数据流查询和数据流挖掘在油田中应用的研究[D];大庆石油学院;2006年
9 张立杰;数据流中适应性查询处理机制的研究[D];辽宁大学;2006年
10 孙雷;连续数据流上的聚集查询研究[D];南京航空航天大学;2006年
【二级参考文献】
中国期刊全文数据库 前3条
1 王栩,李建中,王伟平;基于滑动窗口的数据流压缩技术及连续查询处理方法[J];计算机研究与发展;2004年10期
2 金澈清,钱卫宁,周傲英;流数据分析与管理综述[J];软件学报;2004年08期
3 李建中,张冬冬;滑动窗口规模的动态调整算法[J];软件学报;2004年12期
【相似文献】
中国期刊全文数据库 前10条
1 张素智;魏艳;;数据流技术及查询算法研究[J];微型电脑应用;2007年12期
2 ;剑鱼网络安全监控审计系统[J];信息安全与通信保密;2006年04期
3 张卫东,王伟,韩维桓;网络安全监控技术的研究[J];计算机应用;2004年S1期
4 徐春凤;邵桢;李伟春;;数据流管理系统查询执行的设计与实现[J];长春理工大学学报(自然科学版);2007年04期
5 ;理工先河剑鱼网络安全监控审计系统 帮助企业防止机密信息泄露[J];计算机安全;2006年04期
6 张新胜;广电网络安全监控系统综述[J];有线电视技术;2004年20期
7 范建淑;姜晗;;基于数据流的网络安全集成应用与研究[J];中国教育技术装备;2009年27期
8 汤方澄,杨小虎,董金祥;基于智能Agent的网络安全监控系统的研究[J];计算机工程;2002年12期
9 程转流;王本年;;数据流中的频繁模式挖掘[J];计算机技术与发展;2007年12期
10 王建涛;蔡淮;;数据流管理若干关键问题的研究[J];成都信息工程学院学报;2008年03期
中国重要报纸全文数据库 前10条
1 梁敏;IDS网络安全监控利器[N];电脑报;2009年
2 王萧;信息安全审计大有可为[N];中国计算机报;2008年
3 李挺;北京中优安科技推出视频监控系统解决方案[N];中国贸易报;2008年
4 本报记者 马文方;龙芯处理器向两极扩张[N];中国计算机报;2008年
5 本报记者 魏丽娟;托起明天的太阳[N];榆林日报;2010年
6 本报记者 张遥力;方正圆明 三线告捷[N];中国计算机报;2001年
7 ;“巡警”出更[N];网络世界;2004年
8 高岚;东软2005年做好三件事 防火墙、管理平台和服务[N];中国计算机报;2005年
9 新严;如何用好视频会议系统[N];计算机世界;2003年
10 本报记者王建良;科技:实现公安工作现代化[N];人民公安报;2002年
中国博士学位论文全文数据库 前2条
1 甘亮;面向网络安全监控的流数据处理技术研究[D];国防科学技术大学;2011年
2 田李;面向网络安全监控的数据流关键技术研究[D];国防科学技术大学;2008年
中国硕士学位论文全文数据库 前10条
1 汪敏;网络安全监控中重复数据检测技术的研究与实现[D];国防科学技术大学;2008年
2 张哲;社区电子服务网络安全监控平台的设计与实现[D];西北大学;2010年
3 邵英浩;面向网络安全监控的上网行为审计系统[D];山东大学;2010年
4 李丕;网络安全监控技术研究与分布式模型的实现[D];大连理工大学;2000年
5 马嘉;数据流管理原型系统的设计与实现[D];西南交通大学;2006年
6 宋卫东;数据流管理系统的研究与设计[D];南京航空航天大学;2005年
7 王浩;数据流连续查询处理系统设计与实现[D];东南大学;2006年
8 李丹;基于STREAM的节能变压器制造过程数据流管理系统的研究与实现[D];东华大学;2008年
9 张玲东;流式数据库系统的研究与设计[D];南京航空航天大学;2005年
10 韩雪峰;基于视频服务器的安全监控技术及应用研究[D];南京工业大学;2004年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026