收藏本站
《中国科学院研究生院(计算技术研究所)》 2008年
收藏 | 手机打开
二维码
手机客户端打开本文

海量网络流实时处理的优化技术研究

孙小涓  
【摘要】: 入侵检测系统和防火墙技术是通用网络安全技术,国家主干网络的网络安全应用需要在高速环境下进行网络数据的深度检测,需要高性能的海量网络流实时处理技术作为支撑。随着宽带技术的发展与应用,网络带宽的增长速度已经超越了计算能力的增长速度,成为骨干网入侵检测系统(B-NIDS,Backbone Network Intrusion Detection System)面临的巨大挑战。 本文以高速广域网环境下安全检测系统应用为背景,研究计算机体系结构相关的优化技术,包括,如何通过智能网卡提高收包能力,在多核平台下系统软件结构如何设计,怎样保证应用的服务质量等。本文的研究思路是借助计算机体系结构的新技术,解决骨干网入侵检测系统实际运行中的难题,从收包速率,吞吐率,响应时间和服务质量几个指标提高B-NIDS的性能。 为了提高网卡的处理能力,缓解主机的性能瓶颈,本文设计实现了一个基于自主开发的智能网卡的TOE系统,实现了高速网络报文接收。在性能分析中,本文根据B-NIDS的特点测试了网络缓冲区不同分配方式下的接收性能和智能网卡的最大处理能力。实验结果表明,智能网卡提高了网络收包速率,在一些情况下甚至可以达到线速。 本文从B-NIDS特征分析入手,重点研究与高效的资源管理和快速报文响应密切相关的负载和系统特征,以及相应的优化方法。针对大规模高速骨干网络流量特点,本文设计了一种负载特征分析方法,并基于分析结果给出了优化措施。本文还从节省CPU和内存资源的角度提出了系统优化方法。为了深入地研究单个连接和处理时间的关系,本文从大量流量记录文件中提取了流样本,建立了基准测试集。 本文针对多核多线程平台研究了B-NIDS的优化技术。线程级并行体系结构是目前处理器体系结构发展的主要趋势,如何挖掘应用的并行性是面临的重要问题。在高度并行的平台上,优化研究内容包括工作流的深入分析,并发子任务划分,并行任务的负载平衡,并发任务的通信等。本文通过测试现有B-NIDS的性能瓶颈和分析数据流特点,提出了一种无锁队列的同步机制和适合多核平台的三级流水多线程软件模型。采用Sun SPARC T1架构8核32线程服务器从资源占用、吞吐率和响应时间三个方面进行了性能测试,并在曙光x86架构8处理器16核服务器上测试了系统的可扩展性。实验结果表明,系统各性能指标的优化效果明显,在不同多核平台上表现了良好的可扩展性。 本文还研究了质量制导优化技术及其性能评价。现存的应用系统在骨干网大规模的流量下,很难保证海量TCP流处理的服务质量,一般采用尽力而为的服务策略。本文通过多队列调度策略可以优先处理用户预定义的TCP流,提高一些特征流的服务时间,从而提高服务质量。本文还提出了基于流速预测和一种过载时的QoS技术。针对应用系统连接数大,负载重和处理多样性的特点,性能评价采用了基于探针流的采样方法,准确测试了优先处理特定IP网段策略下服务质量的提高。
【学位授予单位】:中国科学院研究生院(计算技术研究所)
【学位级别】:博士
【学位授予年份】:2008
【分类号】:TP393.08

手机知网App
【引证文献】
中国博士学位论文全文数据库 前1条
1 李云照;高速网数据过滤若干关键技术研究[D];国防科学技术大学;2009年
【参考文献】
中国期刊全文数据库 前4条
1 张佩珩,安学军,高文学;面向机群互连网络的智能网卡设计[J];计算机工程与应用;2003年28期
2 刘勇,杨卫兵,陈曜,孙凝晖;智能网卡驱动程序的性能评价[J];计算机工程;2005年14期
3 张志斌,郭莉,陈明宇,方滨兴;一种高效网络数据捕包平台的设计与实现[J];计算机工程;2005年20期
4 王佰玲,方滨兴,云晓春;零拷贝报文捕获平台的研究与实现[J];计算机学报;2005年01期
【共引文献】
中国期刊全文数据库 前10条
1 张燕;王沁;余文裕;许娜;袁玲玲;;一种面向QoS的缓冲区设计[J];北京工业大学学报;2011年08期
2 张晓彤;王景存;王沁;刘兰军;;基于DDR内存总线的高速网络接入技术[J];北京科技大学学报;2007年11期
3 王劲松;张健;吴功宜;韩维桓;苗玲;;大型网络分布式病毒预警系统的设计与实现[J];大连理工大学学报;2005年S1期
4 刘明波;吉庆;单方剑;;基于PLX9656的CPCI总线接口方法研究[J];电子测量技术;2011年01期
5 于晓;王家礼;;嵌入式系统网络实时性能的优化[J];电子测量与仪器学报;2009年03期
6 刘青昆;王佳;韩颖;杨雷;;一种并行计算通信优化策略[J];辽宁工程技术大学学报(自然科学版);2011年02期
7 刘青昆;王佳;;基于linux用户态可自控缓冲区管理设计与实现[J];辽宁工程技术大学学报(自然科学版);2011年04期
8 袁春蕾;任艳丽;;千兆网络协议分析实验平台的设计研究[J];电脑编程技巧与维护;2012年22期
9 王佰玲;曲芸;张永铮;田志宏;;基于数据流的网页内容分析技术研究[J];电子学报;2013年04期
10 李胜利;徐力;张明虎;;基于实时微内核的零拷贝通信协议[J];华中科技大学学报(自然科学版);2007年01期
中国重要会议论文全文数据库 前2条
1 刘天华;朱宏峰;常桂然;杜梅;;RDMA技术的研究与原型实现[A];2006中国控制与决策学术年会论文集[C];2006年
2 臧淼;叶青;;基于多种WDM数据传输机制的TMS320DM642驱动程序设计与比较[A];2007通信理论与技术新发展——第十二届全国青年通信学术会议论文集(上册)[C];2007年
中国博士学位论文全文数据库 前6条
1 王威;僵尸网络对抗技术研究[D];哈尔滨工业大学;2010年
2 王文奇;入侵检测与安全防御协同控制研究[D];西北工业大学;2006年
3 赵阔;高速网络入侵检测与防御[D];吉林大学;2008年
4 傅涛;基于数据挖掘的分布式网络入侵协同检测系统研究及实现[D];南京理工大学;2008年
5 于晓;基于嵌入式Linux的仪器操作系统的研究[D];西安电子科技大学;2009年
6 熊兵;高速网络数据流分析的若干问题研究[D];华中科技大学;2009年
中国硕士学位论文全文数据库 前10条
1 王佳;并行系统零拷贝通信优化技术的研究[D];辽宁师范大学;2010年
2 司贺华;网络内容审计系统关键技术研究与实现[D];哈尔滨工程大学;2010年
3 廖培腾;IPv4/IPv6校园网环境下流量监测系统的设计[D];大连理工大学;2010年
4 梁波;基于脚本的入侵防御系统研究[D];昆明理工大学;2008年
5 刘迎春;基于数据流的快速协议判断方法研究[D];昆明理工大学;2009年
6 刘青;PF_RING研究及其在网络流高速采集中的应用[D];昆明理工大学;2009年
7 陆磊;基于GIDS的入侵检测集群技术研究[D];昆明理工大学;2009年
8 史志扬;基于零拷贝的数据包捕获与过滤系统的设计与实现[D];西安电子科技大学;2008年
9 张辉;面向网络流识别的正则表达式匹配技术研究[D];首都师范大学;2011年
10 易正利;基于Linux的千兆网卡驱动程序实现及数据传输效率优化[D];北京邮电大学;2011年
【同被引文献】
中国期刊全文数据库 前6条
1 万国根;秦志光;;改进的AC-BM字符串匹配算法[J];电子科技大学学报;2006年04期
2 殷丽华;方滨兴;张宏莉;;快速的多模式匹配算法[J];哈尔滨工业大学学报;2007年12期
3 余建明;徐波;薛一波;;基于网络处理器的高速字符串匹配[J];清华大学学报(自然科学版);2008年04期
4 沈洲,王永成,许一震;一种面向中文的快速字串多模式匹配算法[J];上海交通大学学报;2001年09期
5 兰景英;王永恒;;Snort研究及BM算法改进[J];计算机工程与设计;2008年09期
6 黄建;徐晶;;高效双Hash线速浮动字符串匹配[J];微电子学与计算机;2008年02期
中国博士学位论文全文数据库 前6条
1 刘海峰;安全操作系统若干关键技术的研究[D];中国科学院研究生院(软件研究所);2002年
2 代六玲;互联网内容监管系统关键技术的研究[D];南京理工大学;2005年
3 宋世杰;基于序列模式挖掘的误用入侵检测系统及其关键技术研究[D];国防科学技术大学;2005年
4 谭建龙;串匹配算法及其在网络内容分析中的应用[D];中国科学院研究生院(计算技术研究所);2003年
5 钱江波;连续查询硬处理器及相关算法研究[D];东南大学;2006年
6 段丹青;入侵检测算法及关键技术研究[D];中南大学;2007年
中国硕士学位论文全文数据库 前1条
1 李雪;大规模特征串匹配技术的研究[D];北京邮电大学;2008年
【二级引证文献】
中国期刊全文数据库 前1条
1 骆潇;郭健;邓敏;白斌;;基于FPGA的多模式匹配算法研究与实现[J];计算机工程;2012年18期
中国博士学位论文全文数据库 前1条
1 郭磊;面向高速网络管控的多业务识别关键技术研究[D];解放军信息工程大学;2012年
【二级参考文献】
中国期刊全文数据库 前3条
1 周桂林,张瀛,杜毅,马群生,李三立;HPNI:一种新型的机群系统网络接口[J];计算机研究与发展;2000年02期
2 刘炜,郑纬民,申俊,鞠大鹏;底层通信协议中内存映射机制的设计与实现[J];软件学报;1999年01期
3 安学军,祝明发,高文学,吴冬冬;虫洞路由交换及其缓冲区设计[J];微电子学与计算机;2002年09期
【相似文献】
中国期刊全文数据库 前10条
1 宋卫萍,田秀劳;视频会议技术及对其服务质量的保障[J];现代电子技术;2005年11期
2 赵桂燕;;城域网网络服务质量的改善[J];科技创新导报;2011年01期
3 杨旭;杨永键;;三层以太网交换机下Diffserv的设计与研究[J];计算机工程与设计;2006年22期
4 赵振宇;互联网络中服务质量(QoS)的体系结构[J];铁道通信信号;2003年02期
5 Benoit Fourestie;;3G网络的QoS估算对运营商战略选择产生的影响[J];现代电信科技;2005年12期
6 程鹏;赵其刚;钱硕;王舜;;NGN多层三维立体QoS指标体系的研究[J];现代电信科技;2007年02期
7 郝洋,侯春萍;基于GPRS的服务质量(QOS)控制[J];通信技术;2003年12期
8 张毓;疏靖;;基于主动网络的MPLS VPN[J];网络安全技术与应用;2008年03期
9 王智勇;;NGN承载网分析及实际应用[J];通信管理与技术;2008年03期
10 雷震洲;漫谈QoS(上)[J];现代通信;2003年04期
中国重要会议论文全文数据库 前10条
1 王璐璐;张素伟;任颉;;网格调度算法[A];先进制造技术论坛暨第三届制造业自动化与信息化技术交流会论文集[C];2004年
2 张毓;沈明玉;;基于主动网络的MPLS VPN[A];计算机技术与应用进展·2007——全国第18届计算机技术与应用(CACIS)学术会议论文集[C];2007年
3 蒋玉新;段友祥;;Web服务中的QoS动态更新策略研究[A];CCF NCSC 2011——第二届中国计算机学会服务计算学术会议论文集[C];2011年
4 易军;黄河;李太福;;基于DPSO的无线传感器网络QOS路由算法[A];中国自动化学会控制理论专业委员会C卷[C];2011年
5 段江娇;薛永生;;数据库中间件的QoS研究及设计[A];第二十届全国数据库学术会议论文集(技术报告篇)[C];2003年
6 李艳丽;王晓玲;魏芳;许震;周傲英;;QSWS:一种基于QoS的Web服务组织[A];第二十五届中国数据库学术会议论文集(二)[C];2008年
7 崔倩;申利民;;基于QoS的Web服务组合优化策略[A];全国第19届计算机技术与应用(CACIS)学术会议论文集(下册)[C];2008年
8 陈亮;梁满贵;张宗轶;;QoS策略控制在Win2K中的实现[A];第八届全国人机语音通讯学术会议论文集[C];2005年
9 李婷;;多约束条件下的QoS路由算法研究[A];第十二届中国青年信息与管理学者大会论文集[C];2010年
10 杨学良;;高速网络中多媒体流的服务质量(QoS)保证[A];全国计算机网络应用年会论文集(2001)[C];2001年
中国重要报纸全文数据库 前10条
1 ;提高统一通信QoS服务质量的4个步骤[N];网络世界;2009年
2 爱立信(中国)通信有限公司系统方案部;宽带移动数据网络的QoS保障[N];通信产业报;2009年
3 蔡强 罗斌;客户需求决定Qos未来方向[N];通信产业报;2004年
4 主持人 李健;构架新Qos[N];网络世界;2000年
5 记者 史芳;东芝Qosmio多媒体笔记本先声夺人[N];中国经济导报;2004年
6 CPW记者 张凤岐;东芝Qosmio采用最新引擎技术[N];电脑商报;2004年
7 本报记者 王皓;体验新“芝”味[N];计算机世界;2004年
8 本报记者 范毅波;QoS:网络活力之源[N];网络世界;2004年
9 胡琳 张国宏;IP QoS模型浅析[N];网络世界;2004年
10 本报记者 伊佳;个性化QoS对症NGN[N];通信产业报;2005年
中国博士学位论文全文数据库 前10条
1 孙小涓;海量网络流实时处理的优化技术研究[D];中国科学院研究生院(计算技术研究所);2008年
2 高雨;SUPANET多粒度QoS控制机制及其移动性管理技术研究[D];西南交通大学;2010年
3 漆华妹;基于网络演算的无线Mesh网络QoS性能研究[D];中南大学;2010年
4 赵村民;WEBGIS的QoS问题及关键技术研究[D];中国地质大学(北京);2005年
5 阳小龙;光突发交换网络中服务质量关键技术的研究[D];电子科技大学;2003年
6 朱红宁;面向Web服务组合的服务QoS评价技术的研究[D];东北大学;2009年
7 王珩;基于QoS约束的组播路由算法研究[D];南京理工大学;2004年
8 陶春华;QoS感知的Web服务发现与组合研究[D];天津大学;2010年
9 黄俊;多度量QoS驱动的选路机制研究[D];北京邮电大学;2012年
10 高晓燕;基于QoS的P2P服务网络及其关键技术研究[D];中国矿业大学(北京);2010年
中国硕士学位论文全文数据库 前10条
1 马全文;CMNET骨干网多业务QoS保障方案[D];吉林大学;2010年
2 胡华;SUPA中基于模糊积分QoS路径选择策略的研究[D];西南交通大学;2010年
3 孙洁;NGN承载网技术的应用研究[D];天津大学;2007年
4 李彪;基于NS2的异构/融合网络QoS控制仿真基础架构的研究与实现[D];北京邮电大学;2011年
5 林乐平;基于无监督的入侵检测[D];西安电子科技大学;2005年
6 王建;基于模式匹配的网络入侵检测系统的研究与设计[D];武汉理工大学;2010年
7 谭亚丽;多维QoS约束下的网格任务调度算法研究[D];新疆大学;2010年
8 王瑛;基于模糊聚类的入侵检测算法研究[D];江西理工大学;2010年
9 肖海明;基于数据降维和支持向量机的入侵检测方法研究[D];华北电力大学(河北);2010年
10 李盼;基于LLE特征提取的BVM网络入侵检测方法[D];华北电力大学(北京);2011年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026