收藏本站
《国防科学技术大学》 2011年
收藏 | 手机打开
二维码
手机客户端打开本文

面向网络安全监控的流数据处理技术研究

甘亮  
【摘要】:随着信息技术的不断发展,互联网在人们生活中扮演着越来越重要的角色。而随之而来的各种网络安全事件严重成胁着互联网的应用和发展。因此,以安全为目的的网络监控在维护网络正常高效运行、保障关键设施和确保信息系统安全等方面起着越来越重要的作用。如何对实时、海量的网络安全监控数据实施高效的在线分析,进而为各种应用提供进一步支持,成为网络安全和数据分析处理领域的一个研究重点。 本文以网络安全监控为背景,针对网络安全监控的应用特点和实时监控数据分析处理存在的挑战性问题,从动态实时的数据流处理角度,研究了四类网络安全监控流数据的高效查询技术,分别为连续top.k监测、表连接优化、多查询优化、大时间窗口查询。本文的主要贡献为: 1、改进了网络安全监控流中重要事件监测所使用的数据流连续top.k查询方法。建立有效的索引结构可以提高查询效率,而已有的数据流top.k索引一般基于网格索引,这些索引结构中存在大量自由数据点f可证明非top.k结果1。针对这一问题,本文提出了基于逆支配点集(reverse dominant point set,RI)PS)的top.k索引方法A.MC’R索引,该索引中通过逆支配点集性质_亨9枝了大量自由数据点,同时给出数据流中数据点加入和删除时肛MC!R的更新算法。理论分析和真实数据集上的实验证明肛McR索引在存储容量、查询效率等方面存在着优势。 2、针对网络安全监控数据流分析中重要的表连接操作,研究了监控流与超大维表的表连接优化方法。IP地址维的数据量达到2”条记录,表连接过程中此类超大维表无法将整个表常驻内存,需划分为多个子块分块循环读入内存,造成磁盘I/频繁。基于这一问题,本文提出将超大维表按列分解压缩并常驻内存的多动态索引嵌套循环连接算法fMDI.NL.Join)。超大维表按其m个属性列划分为m个子维表并压缩,同时建立子维表索引;表连接时按查询语句中的投影所确定的属性列来动态调度对应的子维表索引,以确保使用冗余最小的子维表并利用索引提高连接探测效率。理论分析和实验表明该连接算法特别适合于维表连接键存在较大冗余的超大维表f如IP维表、银行账户维表等1。由于维表压缩为较小子表且压缩是无损的,表连接时每个嵌套循环过程探测扫描维表开销减少,提高了表连接效率并降低了存储维表的内存开销。 3、对网络安全监控数据流的多个并发查询进行优化。数据流多查询优化可使用优化多查询计划和物化共享中间结果两种方法。现有的物化共享中间结果研究中使用物化视图或索引方式,且未对结果压缩存储。针对这一问题,本文提出了采用流数据方形式存储物化共享中间结果的方法,以及流数据方的压缩存储结构——压缩流数据方fcompressed Stream(:ube)。该方法以经典数据方树形压缩存储结构Qc.tree和Dw”f为基础,为进一步减少单位时间流数据方切片占用的内存空间,根据多查询需求将压缩存储结构中的完全物化所有中间结果改为部分物化;并建立结点物化收益模型,采用动态选择的方法按每个查询频率选择非物化结点。压缩流数据方以经典的压缩存储结构为基础,动态选择方法_亨9枝了大量非查询需求的物化结点,该方法虽然不可避免的_亨9枝了部分查询需求的物化结点,使查询性能降低,但在有限内存空间中较好的压缩了流数据方。以streamC)c_rree为例,通过理论分析和实验,在网络安全数据流中单位时间处理少量查询情况下可_亨9枝大量结点,以少量的降低查询响应速度为代价,有效地压缩了流数据方存储空间。 4、针对网络安全监控流的大时间窗口查询问题进行了研究。由于计算和存储资源限制,数据流系统的查询时间窗口w限定在当前一段时间范围内,超出窗口w的大时间窗口查询无法计算。针对这一问题,本文通过综合数据流系统的实时计算及传统数据库系统的海量存储优势提出了增量式混合存储体系结构。数据流系统计算时采用“分治法”将时间窗口等分为多个不重叠的小时间块,只计算小时间块而获得整个时间窗口的结果,从而提高数据流系统计算效率。在传统数据库中采用物化视图存储窗口w外查询结果,并增量式接收小时问块结果来更新物化视图,避免了传统数据库中低效更新计算,提高了传统数据库的物化视图更新效率。该系统计算范围限于可增量计算的聚集查询,可适用于联机在线分析领域。 综上所述,本文基于网络安全监控流数据处理应用中亟待解决的数据分析处理与查询问题,就数据流连续top.七监测、表连接、多查询优化、大时间窗口查询等几个重要的基础问题的关键算法进行了突破性研究,对于促进大规模网络安全监控数据分析处理的理论研究和实用化具有一定的理论意义和应用价值。
【学位授予单位】:国防科学技术大学
【学位级别】:博士
【学位授予年份】:2011
【分类号】:TP393.08

【相似文献】
中国期刊全文数据库 前10条
1 张立;;直径、椭圆度在线扫描测量仪[J];钢管;2011年03期
2 黄健;鲁孟梁;杨道海;;液压系统故障诊断的发展趋势[J];企业家天地(理论版);2011年06期
3 周开元;;野外采集原数据处理技术的研制与应用[J];中国西部科技;2011年25期
4 杨哲海;聂晶;;正在崛起的成像光谱遥感[J];数字通信世界;2011年06期
5 任秀云;刘立宝;杨君国;王静;田兆硕;;机载脉冲激光雷达剖面测量技术的进展及应用[J];遥感技术与应用;2011年03期
6 牛杰;;一种安全高效的无线传感器网络密钥管理方案[J];煤炭技术;2011年09期
7 ;[J];;年期
8 ;[J];;年期
9 ;[J];;年期
10 ;[J];;年期
中国重要会议论文全文数据库 前10条
1 邢起峰;吴永刚;崔彬;;数据处理技术研究[A];二○○一年中国系统仿真学会学术年会论文集[C];2001年
2 王健;;光子多普勒速度测量系统的数据处理技术[A];中国光学学会2011年学术大会摘要集[C];2011年
3 张翾;陶邦一;;高光谱水体吸收-衰减测量仪AC-S数据处理技术[A];中国光学学会2010年光学大会论文集[C];2010年
4 韩正之;;HAC合成过程的建模[A];1997年中国控制会议论文集[C];1997年
5 赵艳丽;;深层地震资料处理技术的应用[A];中国地球物理学会第二十四届年会论文集[C];2008年
6 程军;李沙园;;油气化探的数据预处理方法实现研究[A];全国第十五届计算机科学与技术应用学术会议论文集[C];2003年
7 张增光;龚蓬;肖玉鹏;卜令超;;XML与Web Service在协同动态测量平台设计中的应用[A];计算机技术与应用进展·2007——全国第18届计算机技术与应用(CACIS)学术会议论文集[C];2007年
8 翁剑成;周翔;荣建;;动态车载导航系统关键技术研究[A];2007第三届中国智能交通年会论文集[C];2007年
9 李辉;;基于LabVIEW的弹簧特性检测数据处理技术的研究[A];第三届十省区市机械工程学会科技论坛暨黑龙江省机械工程学会2007年年会论文(摘要)集[C];2007年
10 尹连生;白玉皎;;GM(1,1)模型建模条件及模型改造[A];中国土地学会首届青年学术年会论文集[C];1992年
中国重要报纸全文数据库 前10条
1 梁敏;IDS网络安全监控利器[N];电脑报;2009年
2 牛坚强;透视1%人口调查数据处理“利器”[N];中国信息报;2006年
3 ;各地采取多项措施做好数据处理工作[N];中国信息报;2007年
4 陈卫国杨一挺;杭州湾跨海大桥通车 浙江一院提供基准服务[N];中国测绘报;2008年
5 王萧;信息安全审计大有可为[N];中国计算机报;2008年
6 程琳;在“快、准、细”中走向成功[N];中国气象报;2011年
7 ;巨型高清晰全彩LED显示屏技术[N];科技日报;2007年
8 本报记者  刘菁菁;科技数据共享考验国家软实力[N];计算机世界;2006年
9 中国人民大学教授、博士生导师 张新宝;从个人数据保护法与民法的角度审视“电子眼”[N];人民法院报;2007年
10 杨二;东芝XF300冲击液晶电视新高峰[N];中国质量报;2007年
中国博士学位论文全文数据库 前10条
1 甘亮;面向网络安全监控的流数据处理技术研究[D];国防科学技术大学;2011年
2 吕群波;干涉光谱成像数据处理技术[D];中国科学院研究生院(西安光学精密机械研究所);2007年
3 田李;面向网络安全监控的数据流关键技术研究[D];国防科学技术大学;2008年
4 李文杰;频率域航空电磁数据处理技术研究[D];中国地质大学(北京);2008年
5 楼良盛;基于卫星编队InSAR数据处理技术[D];解放军信息工程大学;2007年
6 杜太行;继电器电寿命试验计算机测控技术与数据处理技术[D];河北工业大学;2002年
7 贺真真;数学教育研究中运用数据处理方法的若干探索[D];华东师范大学;2008年
8 朱子健;基于先进数据处理技术的智能称重传感器研究[D];南京航空航天大学;2005年
9 罗银河;横向高分辨率瑞雷波数据处理技术研究[D];中国地质大学;2008年
10 周剑峰;城市交通共用信息平台数据处理技术研究[D];吉林大学;2005年
中国硕士学位论文全文数据库 前10条
1 张哲;社区电子服务网络安全监控平台的设计与实现[D];西北大学;2010年
2 邵英浩;面向网络安全监控的上网行为审计系统[D];山东大学;2010年
3 李铭;电力信息系统中海量地图数据处理技术研究[D];湖南大学;2005年
4 王宇航;共焦检测系统扫描采集与数据处理技术研究[D];哈尔滨工业大学;2010年
5 周明才;MEMS三维动态测试系统中数据处理技术的研究与实现[D];华中科技大学;2004年
6 李丕;网络安全监控技术研究与分布式模型的实现[D];大连理工大学;2000年
7 马兴林;城镇变更地籍调查与数据处理技术的研究[D];昆明理工大学;2005年
8 黄建梅;基于深度图像的快速反求系统数据处理技术的研究[D];哈尔滨理工大学;2005年
9 汪敏;网络安全监控中重复数据检测技术的研究与实现[D];国防科学技术大学;2008年
10 王如政;航标遥测遥控系统关键技术的研究[D];大连海事大学;2007年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026