收藏本站
《解放军信息工程大学》 2008年
收藏 | 手机打开
二维码
手机客户端打开本文

基于布鲁姆过滤器的IP骨干网流量分析前端处理算法研究

张进  
【摘要】:本文结合国家863计划“十一五”重大项目“新一代高可信网络”总体技术相关课题的研究需求,重点研究高速骨干网流量分析的前端处理算法及其工程实现技术。以布鲁姆过滤器为切入点,本文的研究工作包括三个方面:第一,布鲁姆过滤器的研究与改进;第二,基于布鲁姆过滤器的前端处理算法的设计;第三,高速骨干网业务流实时分类前端系统的设计与实现技术。 首先,本文对现有的三种低计算复杂度的计数型布鲁姆过滤器(Counting Bloom Filter, CBF)进行了分析比较,并提出了改进。对Na?ve Counting Bloom Filte(rNCBF)、Space-Code Bloom Filter(SCBF)和d-left Counting Bloom Filter(dlCBF)进行了深入分析,给出了其参数最优设置准则。采用计数误差、空间复杂度和负载适应性为性能指标,对上述三种CBF的性能进行了系统比较。发现虽然就计数误差和空间复杂度而言,dlCBF是三种CBF中最优的,但dlCBF在负载适应性方面却存在缺陷。对dlCBF进行了改进,提出了一种具有良好负载适应性的计数型布鲁姆过滤器BSdlCBF(Binary-Shrinking d-left Counting Bloom Filter)。通过仿真实验,将BSdlCBF和dlCBF、NCBF以及SCBF进行了比较,结果表明BSdlCBF的性能明显优于已有的三种计数型布鲁姆过滤器。 其次,本文将BSdlCBF应用于前端处理算法的设计。基于BSdlCBF,提出了一种新的骨干网数据流流量测量算法MR-BSdlCBF(Multi-Resolution BSdlCBF),与已有的同类流量测量算法MRSCBF(Multi-Resolution SCBF)相比,MR-BSdlCBF算法的优势是负载适应性好,空间复杂度低,并可记录流标识。在MR-BSdlCBF算法基础上,本文最终提出了一种空间高效的数据包公平抽样算法SEFS(Space-Efficient Fair Sampling),SEFS算法不仅空间复杂度低,而且对于短流的抽样性能明显优于已有的公平抽样算法。SEFS算法较低的空间复杂度使之易于以IP核(Intellectual Property Core)的形式集成到网络设备中去。 最后,本文实现了骨干网业务流实时分类前端系统。提出了骨干网业务流实时分类系统的前后端分离的系统结构。该系统结构的优点是消除了前后端的紧耦合,从而增强了系统实现的灵活性,提高了业务流分类的精度,降低了骨干网业务流实时分类的实现代价。基于这种系统结构,本文给出了骨干网业务流实时分类前端系统的硬件实现方法,并详细讨论了基于FPGA(Field Programmable Gate Array:现场可编程门阵列)的SEFS算法的实现技术。本文所实现的骨干网业务流实时分类前端系统已经在国家急需的“一种新型互联网内容监管系统”中得到了应用。
【学位授予单位】:解放军信息工程大学
【学位级别】:博士
【学位授予年份】:2008
【分类号】:TN915.06

手机知网App
【引证文献】
中国硕士学位论文全文数据库 前3条
1 钮晓娜;业务感知的互联网流量管理关键技术研究[D];解放军信息工程大学;2009年
2 张果;IP骨干链路流量测量技术研究[D];解放军信息工程大学;2010年
3 纽晓娜;业务感知的互联网流量管理关键技术研究[D];解放军信息工程大学;2009年
【参考文献】
中国期刊全文数据库 前5条
1 程光,龚俭,丁伟;基于分组标识的网络流量抽样测量模型[J];电子学报;2002年S1期
2 程光,龚俭,丁伟;基于抽样测量的高速网络实时异常检测模型[J];软件学报;2003年03期
3 王俊峰,杨建华,周虹霞,谢高岗,周明天;网络测量中自适应数据采集方法(英文)[J];软件学报;2004年08期
4 程光,龚俭,丁伟,徐加羚;面向IP流测量的哈希算法研究[J];软件学报;2005年05期
5 王风宇;云晓春;王晓峰;王勇;;高速网络监控中大流量对象的提取[J];软件学报;2007年12期
中国博士学位论文全文数据库 前1条
1 周明中;大规模网络IP流行为特性及其测量算法研究[D];东南大学;2006年
【共引文献】
中国期刊全文数据库 前10条
1 张忠伟;;基于IPv6流量监测自适应采样算法研究应用[J];信息安全与技术;2011年04期
2 路瑞丰;韩国强;秦拯;;一种用于高速入侵检测的基于P2P的均匀哈希分流算法[J];东莞理工学院学报;2008年05期
3 张鹏;胡光岷;;瞬时频率分析的网络流量异常检测[J];电子科技大学学报;2007年S2期
4 吴刚;赵旭;董永苹;;一个分布式协作的大规模网络恶意代码检测系统[J];大连理工大学学报;2005年S1期
5 周明;徐艳;;基于IP报文Identification标识的网络异常流量检测[J];电脑知识与技术;2008年30期
6 许博;陈宁军;沈小卫;;一种基于SNMP的网络蠕虫防治方法——利用无级别分布式监测和SNMP抑制蠕虫传播[J];计算机安全;2008年12期
7 孙逊;王占丰;周玉明;王佳;;流比对技术在P2P流量分析系统中的应用[J];计算机安全;2009年12期
8 宁卓;孙知信;龚俭;张维维;;利用流量特征的GIDS报文分类优化算法[J];电子学报;2012年03期
9 万成威;邬江兴;李玉峰;兰巨龙;;CAM辅助的哈希表查找性能分析[J];电子与信息学报;2011年02期
10 杨亚联;钱三平;秦大同;何培祥;任勇;周安健;苏岭;;混合动力汽车故障数据记录系统设计[J];重庆大学学报;2008年08期
中国重要会议论文全文数据库 前3条
1 王琮;宋智玲;贾小珠;;报文抽样在高速网络入侵检测中的应用[A];中国电子学会第十五届信息论学术年会暨第一届全国网络编码学术年会论文集(上册)[C];2008年
2 谷上宇;赵国锋;唐红;;一种利用边界测量估计网络内部链路流量的模型[A];第九届全国青年通信学术会议论文集[C];2004年
3 罗浩;方滨兴;云晓春;王欣;辛毅;;一种高速实时的邮件蠕虫异常检测模型[A];全国网络与信息安全技术研讨会'2005论文集(上册)[C];2005年
中国博士学位论文全文数据库 前10条
1 冯光升;面向认知网络的自适应QoS感知与配置方法[D];哈尔滨工程大学;2009年
2 王娟;大规模网络安全态势感知关键技术研究[D];电子科技大学;2010年
3 王金林;基于混沌时间序列和SVM的入侵检测系统研究[D];天津大学;2010年
4 张玉;骨干网流监测关键技术研究[D];哈尔滨工业大学;2010年
5 黄鹂声;基于被动测量的IP网络性能与故障管理技术研究[D];电子科技大学;2011年
6 张亚平;基于分布智能代理的自保护系统研究[D];天津大学;2005年
7 郑军;网络恶意数据流的检测与控制技术研究[D];哈尔滨工业大学;2006年
8 王平;大规模网络蠕虫检测与传播抑制[D];哈尔滨工业大学;2006年
9 黎文伟;端到端互联网性能监测技术研究[D];湖南大学;2006年
10 谢鲲;布鲁姆过滤器查询算法及其应用研究[D];湖南大学;2007年
中国硕士学位论文全文数据库 前10条
1 张晓辉;拒绝服务攻击检测与响应的研究[D];长春工业大学;2010年
2 徐军;网络监控系统的设计与实现[D];电子科技大学;2010年
3 笱程成;基于多核架构的高速IP包捕获技术研究[D];解放军信息工程大学;2010年
4 董永吉;基于公平机制的网络测量抽样算法研究[D];解放军信息工程大学;2009年
5 张震;高速IP网络中流量测量的关键技术研究[D];解放军信息工程大学;2009年
6 钮晓娜;业务感知的互联网流量管理关键技术研究[D];解放军信息工程大学;2009年
7 崔燕;基于行为特征的P2P流识别技术的研究[D];解放军信息工程大学;2009年
8 张果;IP骨干链路流量测量技术研究[D];解放军信息工程大学;2010年
9 苏航;网络应用流量分析与带宽优化[D];大连交通大学;2010年
10 陈晓东;基于ARM-LINUX的网络流量监测系统[D];东华大学;2011年
【同被引文献】
中国期刊全文数据库 前10条
1 束礼宝,宋克柱,王砚方;伪随机数发生器的FPGA实现与研究[J];电路与系统学报;2003年03期
2 刘昭,苏厉,金德鹏,陈虹,曾烈光;10G以太网系统中的并行CRC编解码器的设计[J];电子技术应用;2004年04期
3 程京;沈永坚;张大方;黎文伟;;TCP-Shape:一种改进的网络拥塞控制算法研究[J];电子学报;2006年09期
4 高纪明,赵海滨,谢铁兵,侯自强;基于网络处理器的IPv6路由器设计[J];计算机工程;2004年02期
5 赵丽萍;;面向网络处理器的数据平面软件设计框架[J];计算机工程;2006年06期
6 林闯,周文江,李寅,郑波,田立勤;基于Intel网络处理器的路由器队列管理:设计、实现与分析[J];计算机学报;2003年09期
7 张军超;连瑞琦;张兆庆;;多寄存器组网络处理器上的寄存器分配技术[J];计算机学报;2006年01期
8 谢鲲;闵应骅;张大方;谢高岗;文吉刚;;分档布鲁姆过滤器的查询算法[J];计算机学报;2007年04期
9 张焕强,吴志美;Linux环境下路由器中的网络带宽管理(英文)[J];软件学报;2005年03期
10 程光,龚俭,丁伟,徐加羚;面向IP流测量的哈希算法研究[J];软件学报;2005年05期
中国博士学位论文全文数据库 前1条
1 周明中;大规模网络IP流行为特性及其测量算法研究[D];东南大学;2006年
【二级参考文献】
中国期刊全文数据库 前7条
1 程光,龚俭,丁伟;基于分组标识的网络流量抽样测量模型[J];电子学报;2002年S1期
2 肖明忠,代亚非,李晓明;拆分型Bloom Filter[J];电子学报;2004年02期
3 程光,龚俭,丁伟;基于统计分析的高速网络分布式抽样测量模型[J];计算机学报;2003年10期
4 王俊峰,杨建华,周虹霞,谢高岗,周明天;单向延迟测量中时钟动态性检测算法(英文)[J];软件学报;2004年04期
5 洪飞,吴志美;基于小波的Hurst指数自适应估计方法[J];软件学报;2005年09期
6 龚俭;彭艳兵;杨望;刘卫江;;基于BloomFilter的大规模异常TCP连接参数再现方法[J];软件学报;2006年03期
7 王洪波;韦安明;林宇;程时端;;流测量中基于测量缓冲区的时间分层分组抽样[J];软件学报;2006年08期
【相似文献】
中国期刊全文数据库 前10条
1 程连生;;网络流量分析与应用[J];硅谷;2010年10期
2 林秀;IP城域网流量分析方法和实践[J];电信快报;2005年08期
3 张路;汪非;;广电IP网络概述及安全优化[J];天津科技;2011年03期
4 赵慧玲;开发ATM多媒体宽带网的技术建议[J];黑龙江通信技术;1998年03期
5 郭慧俐;IP-VPN在GPRS网络中的应用[J];现代电信科技;2002年11期
6 韩卫占,李玓瓅,康京山,韩飞;全光与IP网络的一体化网络管理研究初探[J];无线电通信技术;2000年02期
7 韦乐平;电信网与IP[J];电信技术;1999年03期
8 方亮,徐智勇,张淑芳,汪剑;基于光同步数字传输网的IP传送技术[J];数字通信;2000年03期
9 刘福文;宽带业务网发展方向探讨[J];电信技术;1999年05期
10 沈瑞琴;骨干网中的SDH与OTN传送技术[J];上海铁道科技;2003年04期
中国重要会议论文全文数据库 前10条
1 项黎;陈险峰;;IP影像板的使用与保养[A];2010中华医学会影像技术分会第十八次全国学术大会论文集[C];2010年
2 王力纬;罗宏伟;;IP核质量与可靠性评测流程研究[A];2010第十五届可靠性学术年会论文集[C];2010年
3 罗建虹;杜雪芳;;网络IP化演进中的传送网与数据网维护融合初探[A];湖北省通信学会、武汉通信学会2009年学术年会论文集[C];2009年
4 颜哲;田泽;韩炜;;多标准视频显示控制器IP核的设计与实现[A];第十五届计算机工程与工艺年会暨第一届微处理器技术论坛论文集(A辑)[C];2011年
5 向九松;季鸿宇;柏林;;精品IP综合承载网构建思路探讨[A];中国通信学会信息通信网络技术委员会2011年年会论文集(上册)[C];2011年
6 宋军;;IP网络和光网络统一调度关键技术研究[A];中国通信学会信息通信网络技术委员会2011年年会论文集(上册)[C];2011年
7 王培国;郑军;;IP多媒体子系统及其增值业务分析[A];四川省通信学会Ip应用与增值电信技术会议论文集[C];2011年
8 李幼平;;IP网络标度的涌现与平抑[A];第六届全国网络科学论坛暨第二届全国混沌应用研讨会论文集[C];2010年
9 夏勇;何晶;张伟;;一种融合网络宽带IP互动电视技术方案[A];中国新闻技术工作者联合会2011年学术年会论文集(下篇)[C];2011年
10 胡喆;;IP网络技术发展趋势和发展策略[A];湖北省通信学会、武汉通信学会2009年学术年会论文集[C];2009年
中国重要报纸全文数据库 前10条
1 ;联通IP、VoIP骨干网双双扩容[N];通信产业报;2001年
2 ;Arlotto千兆企业骨干网方案[N];中国计算机报;2001年
3 记者 刘春辉;新一代IP数据网的发展趋势[N];人民邮电;2011年
4 本报记者  沙新 刘智琳;巧布局 谋发展[N];中国邮政报;2006年
5 宋萍;“中国造”担当缅甸通信骨干网[N];中国电子报;2000年
6 ;爱立信为四省布署数据骨干网[N];中国电子报;2001年
7 林子;中国电信西南环光传输骨干网年内建成[N];通信产业报;2003年
8 本报记者 姚春鸽;从市场到标准,华为在IP领域发出强者之音[N];人民邮电;2010年
9 本报记者 逄丹;建立以“视频”为核心的广电IP承载网[N];通信产业报;2011年
10 In-Stat分析师 李敏;3G骨干网建设应更具前瞻性[N];中国电子报;2006年
中国博士学位论文全文数据库 前10条
1 张进;基于布鲁姆过滤器的IP骨干网流量分析前端处理算法研究[D];解放军信息工程大学;2008年
2 李锐;IP网业务识别关键技术研究[D];北京邮电大学;2010年
3 秦字兴;中国电信市场环境下的中颗粒IP网络工程成本模型[D];北京邮电大学;2010年
4 刘银龙;无线异构IP网络的移动性管理研究[D];北京邮电大学;2011年
5 包力尔;移动IP中的切换及移动性管理研究[D];华中科技大学;2010年
6 晏坚;低轨卫星星座网络IP路由技术研究[D];清华大学;2010年
7 乔焰;基于主动探测的IP网故障诊断与丢包率推理方法[D];北京邮电大学;2012年
8 黄国盛;移动IP的切换与移动性管理研究[D];中南大学;2010年
9 黄鹂声;基于被动测量的IP网络性能与故障管理技术研究[D];电子科技大学;2011年
10 李勇辉;IP网络中基于数据包标记的溯源方法研究[D];北京邮电大学;2011年
中国硕士学位论文全文数据库 前10条
1 周翔;利用网络侦测技术实现IP网络规划[D];复旦大学;2010年
2 王韬凯;IP骨干网组织安全性分析研究[D];北京邮电大学;2010年
3 李昀;宽带IP骨干网优化项目实施的研究[D];北京邮电大学;2010年
4 周韵文;基于主动测量的IP网络QoS研究与实现[D];北京邮电大学;2010年
5 彭莎;路由器多框集群中IP转发测试技术的研究与实现[D];湖南大学;2010年
6 张震;高速IP网络中流量测量的关键技术研究[D];解放军信息工程大学;2009年
7 高扎根;IP网络流量监测与业务分析[D];北京邮电大学;2010年
8 孙丽平;IP城域网建设的研究[D];吉林大学;2007年
9 佀冉;内蒙古联通IP网络优化方案设计与实施[D];内蒙古大学;2011年
10 李小聪;Qos在联通IP承载网的实现[D];北京邮电大学;2010年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026