收藏本站
《西安电子科技大学》 2008年
收藏 | 手机打开
二维码
手机客户端打开本文

网络测量中的抽样技术研究

潘乔  
【摘要】: 随着信息技术的飞速发展,互联网已经成为社会基础设施中最重要的组成部分之一。个人用户通过它获取信息,进行消费、娱乐;企业用户通过它发布产品信息,实现电子商务;政府部门通过它办公,开展电子政务等。为了满足人们对互联网应用日益增加的需求,它的规模不断扩大、速度不断提高,给网络测量技术带来了很大的挑战。网络管理者为了测量网络的性能,需要从大量的网络测试节点上收集流量数据,但是仅仅在一条OC48链路上采集到的每小时的流量就有600G字节,必须花费大量的资源去存储、传输和处理这些流量数据,使得网络测量无法进行。因此,在下一代大规模、高速网络中,抽样技术成为了很多大型网络在测量和监控网络性能时主要采用的方法,它一方面大大减少了测量的数据量,另一方面也降低了测量过程带给系统的高负荷。但是,抽样技术造成了测量数据的不完整性,影响了网络安全监测、网络管理和性能评估等分析结果的正确性,导致最终决策的失误。所以,抽样技术是整个网络测量的基础,不仅仅要考虑抽样本身的问题,还需要针对不同复杂的测量应用配置合适的抽样方法,才能达到正确网络测量的目的。 本文深入研究了不同的网络应用中的抽样技术,主要内容和成果如下: 一、提出了一种基于IP流的可变抽样率的网络流量抽样测量方法。 通过实际测量和理论研究,分析了目前异常检测中所用的抽样方法影响检测结果正确性的原因,提出了新的可变抽样率的测量方法。该方法在设置从属过程中的数据报文抽样率的同时考虑到了主过程中的IP流的性质,利用哈希模式匹配,将到达的数据报文按流标识分类,并记录下该报文在IP流中的位置,然后根据报文在所属流中位置顺序参数的减函数设置不同的抽样率进行抽样。实验结果表明,该方法增加了短流中报文的抽样概率,解决了由于随机报文抽样方法偏向于抽样长流而导致的网络异常被丢弃的问题,提高了异常检测的正确性。该方法还可以应用于其他短流检测的网络测量中。 二、提出了基于FARIMA流量预测的抽样方法。 目前的互联网业务量特征具有高突发性和高随机性的特点,对实际网络流量进行的大量测试和分析结果表明其呈现出长程相关或自相似的统计特性。在网络业务量行为特征研究中,为了使数据报文的抽样采集过程不会对其统计特性造成影响,提出了基于FARIMA流量预测的抽样方法。该方法根据流量预测值,在高峰时段提高抽样粒度,采集较多的数据报文;流量较低的时间段,用小的抽样粒度来采集数据。这样,抽样样本就可以比较真实地反映原业务流量行为特征,同时流量低谷时段降低抽样粒度,可以减轻CPU的负载,节省存储空间。 三、基于信息熵理论提出了一种大规模、高速IPv6网络流量分布式抽样测量方法。 IPv6网络的128bit巨大地址空间带来了网络规模大幅增加,现有的抽样方法大部分只能应用于单点的网络测量,无法完整地反映IPv6网络的性能。文中的方法利用信息熵理论,对IPv6数据报文首部中的各个字段比特位的熵进行统计比较,选择出熵值较大(即随机性较强)的字段,将其作为抽样算法掩码匹配的关键字段,然后进行Hash映射,通过判断Hash映射后的值是否属于抽样域,来完成IPv6网络流量的抽样采集。它的优点是避免了对数据报文首部内容的全抽样,在保证抽样样本的随机性的前提下,有效地减少了运算量,提高了抽样测量的效率,满足了高速网络测量的要求。同时,它是基于对传输中数据报文首部内容不会被改变字段的抽样,所以在网络中的各个测量节点上,只要配置同一抽样算法和同一抽样域,对于相同流量数据在不同的节点测量可以得到相同的抽样样本,满足了分布式网络测量的要求。 四、提出了一种基于抽样的非侵入式网络单向时延测量方法。 该方法采用非侵入式的测量方式避免了主动时延测量中因为人为注入的探测流量会增加网络链路和路由器额外负载的缺陷,提高了时延测量的正确性,适用于以提供QoS保证为主要目标的IPv6网络时延测量中。哈希抽样技术既减少了高速网络流量测量采集的数据量,又可以让同一个数据报文在两个不同的测试端点都被抽样到,保证了测量的可行性。本文还针对网络单向时延测量中不同测试点时钟同步问题,分别研究了基于GPS接收机的硬件同步和基于线性规划的软件同步方法的实现,实验结果表明线性规划方法可以消除时钟偏差和频差,同步时钟。
【学位授予单位】:西安电子科技大学
【学位级别】:博士
【学位授予年份】:2008
【分类号】:TP393.07

【引证文献】
中国博士学位论文全文数据库 前1条
1 陈松;互联网测量管理若干关键技术研究[D];电子科技大学;2010年
中国硕士学位论文全文数据库 前1条
1 胡广昌;基于Bloom Filters流抽样算法的研究[D];曲阜师范大学;2010年
【参考文献】
中国期刊全文数据库 前6条
1 程光,龚俭,丁伟;基于分组标识的网络流量抽样测量模型[J];电子学报;2002年S1期
2 朱畅华,裴昌幸,李建东,肖海云;基于线性规划的Internet端到端时延的估计[J];电子与信息学报;2004年03期
3 张文杰,钱德沛,张然,杨新宇,张兴军;互联网应用性能测量系统的研究与实现[J];计算机研究与发展;2003年01期
4 舒炎泰,王雷,张连芳,薛飞,金志刚,OliverYang;基于FARIMA模型的Internet网络业务预报[J];计算机学报;2001年01期
5 蒋建春,马恒太,任党恩,卿斯汉;网络安全入侵检测:研究综述[J];软件学报;2000年11期
6 朱畅华,裴昌幸,李建东,金旗;网络测量及其关键技术[J];西安电子科技大学学报;2002年06期
【共引文献】
中国期刊全文数据库 前10条
1 陈邦考;带干扰的广义复合poisson风险模型下的生存概率[J];安徽建筑工业学院学报(自然科学版);2003年04期
2 甘喜萍;卢伙胜;冯波;张静;;分层抽样法应用于渔业生产统计的研究[J];安徽农业科学;2008年20期
3 刘家军,张宇山,刘再明;批量索赔、保费到达均为更新过程的风险模型[J];安庆师范学院学报(自然科学版);2004年03期
4 吴建胜,战学刚;基于TCP状态有限自动机的入侵检测研究[J];鞍山科技大学学报;2005年05期
5 谭立刚,杨肇夏;编组站模拟系统中到达流生成的方法[J];北方交通大学学报;1998年06期
6 王志新;;几种常用浏览器特色功能比较[J];办公自动化;2007年20期
7 王伟龙;郝建平;王松山;;维修性验证试验中样本问题[J];兵工自动化;2007年10期
8 张鹏;郭志广;王士杰;;基于样本轮换的弹药抽样检验[J];兵工自动化;2007年12期
9 杨小森;闫维明;陈彦江;何浩祥;;用于大跨度桥梁承载力评估的车辆荷载修正方法[J];北京工业大学学报;2012年02期
10 程文鑫;秦健;张志华;;基于可靠性增长的备件需求模型及其统计分析[J];北京理工大学学报;2008年03期
中国重要会议论文全文数据库 前10条
1 喻飞;沈岳;廖桂平;张林峰;徐成;;基于模糊推理的入侵检测系统[A];第二十六届中国控制会议论文集[C];2007年
2 罗旋;崔国忠;;推广的更新风险模型中破产概率的若干结果[A];第二十九届中国控制会议论文集[C];2010年
3 邵建民;张群;孟素洁;王艳艳;郭航;;统计遥感业务化运行机制初探[A];北京市第十五次统计科学讨论会获奖论文集[C];2009年
4 朱畅华;裴昌幸;李建东;彭爱华;肖海云;;分布式网络测量和分析基础架构研究与实现[A];2003年中国通信学会信息通信网络技术年会论文集[C];2003年
5 刘衍斐;李晖;罗群;;基于分层模型的通信网安全问题分析与对策[A];中国电子学会第十五届信息论学术年会暨第一届全国网络编码学术年会论文集(上册)[C];2008年
6 葛贤银;韦素媛;杨百龙;蒲玄及;;基于行为分析技术的混合入侵检测系统的研究[A];中国电子学会第十六届信息论学术年会论文集[C];2009年
7 张满怀;;IDC网络安全研究[A];2007中国科协年会——通信与信息发展高层论坛论文集[C];2007年
8 黄琼;石雄;;基于CVFDT入侵检测技术的研究[A];全国计算机安全学术交流会论文集·第二十五卷[C];2010年
9 谢毅;张俊灵;王莹;胡翠林;;一种基于SVM的信息安全入侵检测模型[A];2007通信理论与技术新发展——第十二届全国青年通信学术会议论文集(上册)[C];2007年
10 朱畅华;裴昌幸;李建东;彭爱华;肖海云;;分布式网络测量和分析基础架构(DNMAI)研究与实现[A];中国通信学会信息通信网络技术委员会2003年年会论文集[C];2003年
中国博士学位论文全文数据库 前10条
1 类淑河;风浪破碎的随机性、非线性和能量耗散特征研究[D];中国海洋大学;2010年
2 马杰;网络安全威胁态势评估与分析方法研究[D];华中科技大学;2010年
3 张校辉;互联网流量特性分析、建模及应用[D];解放军信息工程大学;2009年
4 曾岩;非高斯随机激励下非线性系统的随机平均法[D];浙江大学;2010年
5 李天梅;装备测试性验证试验优化设计与综合评估方法研究[D];国防科学技术大学;2010年
6 马鑫;基于协同机制和智能算法的多代理系统研究及应用[D];吉林大学;2011年
7 刘昕;基于IPv6的智能交通信息采集与处理方法[D];吉林大学;2011年
8 陆正武;VBR流媒体分块与I/O调度研究[D];华中科技大学;2011年
9 李玉堂;森林资源空间数据集成管理技术的研究与应用[D];东北林业大学;2011年
10 王飞;入侵检测分类器设计及其融合技术研究[D];南京理工大学;2011年
中国硕士学位论文全文数据库 前10条
1 倪国涛;专网安全策略的设计与实现[D];哈尔滨工程大学;2010年
2 廖培腾;IPv4/IPv6校园网环境下流量监测系统的设计[D];大连理工大学;2010年
3 李露璐;分布式入侵检测系统的报警关联与分析算法[D];大连理工大学;2009年
4 聂琼;千兆自适应以太网交换机的设计[D];苏州大学;2010年
5 高国峰;入侵容忍技术在入侵检测框架中的应用研究[D];哈尔滨理工大学;2010年
6 汪大勇;基于模式匹配和协议分析的入侵检测技术研究[D];哈尔滨理工大学;2010年
7 崔传斌;基于危险理论的入侵检测技术研究[D];哈尔滨理工大学;2010年
8 王瑛;基于模糊聚类的入侵检测算法研究[D];江西理工大学;2010年
9 钟锐;基于隐马尔科夫模型的入侵检测系统研究[D];江西理工大学;2010年
10 陈文达;基于Squeezer算法与Java技术的WSN入侵检测系统[D];电子科技大学;2010年
【同被引文献】
中国期刊全文数据库 前10条
1 杨家海,吴建平,C Liu;基于非平稳型流量队列模型的Internet流量测量研究[J];电子学报;2004年05期
2 王洪波;程时端;林宇;;高速网络超连接主机检测中的流抽样算法研究[J];电子学报;2008年04期
3 戴汝为,操龙兵;Internet——一个开放的复杂巨系统[J];中国科学E辑:技术科学;2003年04期
4 郑海,张国清;物理网络拓扑发现算法的研究[J];计算机研究与发展;2002年03期
5 黎文伟,王俊峰,谢高岗,张大方;基于包对采样的IP网络时延变化测量方法[J];计算机研究与发展;2004年08期
6 孙延涛;石志强;吴志美;;交换式以太网物理拓扑结构的自动发现[J];计算机研究与发展;2007年02期
7 程光 ,龚俭 ,丁伟;网络测量及行为学研究综述[J];计算机工程与应用;2004年27期
8 吴俊勇;;基于JMS的电力市场支持系统数据通信的实现[J];计算机工程与应用;2007年13期
9 肖明忠;代亚非;;Bloom Filter及其应用综述[J];计算机科学;2004年04期
10 高文宇;陈松乔;王建新;;分组采样技术研究[J];计算机科学;2005年02期
中国博士学位论文全文数据库 前7条
1 王俊峰;高速互联网性能测量若干关键技术研究[D];电子科技大学;2004年
2 朱畅华;IP网络测量和业务性能研究[D];西安电子科技大学;2004年
3 王洪波;互联网测量系统可扩展性问题及其关键算法研究[D];北京邮电大学;2006年
4 刘瑞芳;网络性能测量和推测技术的研究[D];北京邮电大学;2006年
5 张文波;Internet宏观拓扑结构的生命特征研究[D];东北大学;2006年
6 黎文伟;端到端互联网性能监测技术研究[D];湖南大学;2006年
7 孙红杰;基于主动测量的网络性能分析[D];哈尔滨工业大学;2007年
中国硕士学位论文全文数据库 前1条
1 江亮亮;大规模网络流量测量中的关键技术研究与实现[D];电子科技大学;2009年
【二级参考文献】
中国期刊全文数据库 前7条
1 陈惠民,蔡弘,李衍达;自相似业务:基于多分辨率采样和小波分析的Hurst系数估计方法[J];电子学报;1998年07期
2 阮耀平,易江波,赵战生;计算机系统入侵检测模型与方法[J];计算机工程;1999年09期
3 徐宝文,张卫丰;数据挖掘技术在Web预取中的应用研究[J];计算机学报;2001年04期
4 胡侃,夏绍玮;基于大型数据仓库的数据采掘:研究综述[J];软件学报;1998年01期
5 裴珂,李建东,董海霞,郭峰;IP移动性研究[J];西安电子科技大学学报;2001年05期
6 朱畅华,裴昌幸,李建东,金旗;网络测量及其关键技术[J];西安电子科技大学学报;2002年06期
7 张文杰,钱德沛,徐斌;网络端到端性能测量模型的研究与实现[J];小型微型计算机系统;2002年06期
【相似文献】
中国期刊全文数据库 前10条
1 刘轶,崔华力,田敏,刘晓彬;分布式网络流量生成与测量系统[J];小型微型计算机系统;2005年11期
2 杨智君;田地;马骏骁;隋欣;周斌;;入侵检测技术研究综述[J];计算机工程与设计;2006年12期
3 李磊,陈常嘉;一个通过指定路由器描述自治域的模型[J];铁道学报;2005年03期
4 陈晓苏,林军,肖道举;基于多代理的协同分布式入侵检测系统模型[J];华中科技大学学报(自然科学版);2002年02期
5 王俊峰,杨建华,周虹霞,谢高岗,周明天;网络测量中自适应数据采集方法(英文)[J];软件学报;2004年08期
6 李云春,杨永利,李巍,许大炜,张文杰;一种分布式对等区域的研究与设计[J];计算机应用研究;2004年11期
7 苏彦君;沈刚;刘昕;;基于网络聚合行为的异常检测方法研究[J];计算机工程与科学;2010年03期
8 赵洪华,陈鸣,郝继红,李健;网络性能特性的描述和测量[J];解放军理工大学学报(自然科学版);2004年05期
9 高琴,谭琳,胡谷雨;一个网络流量监测系统的设计与实现[J];现代电子技术;2005年04期
10 谈杰;李星;;IP网络带宽的端到端测量技术[J];计算机应用与软件;2007年06期
中国重要会议论文全文数据库 前10条
1 邝祝芳;阳国贵;李清;;基于隐Markov模型的数据库异常检测技术[A];第二十三届中国数据库学术会议论文集(研究报告篇)[C];2006年
2 蒲晓丰;雷武虎;黄涛;王迪;;基于稳健背景子空间的高光谱图像异常检测[A];中国光学学会2010年光学大会论文集[C];2010年
3 刘辉;蔡利栋;;Linux进程行为的模式提取与异常检测[A];信号与信息处理技术——第一届信号与信息处理联合学术会议论文集[C];2002年
4 谭莹;王丹;;基于流量的网络行为分析模型的设计与实现[A];2010年全国通信安全学术会议论文集[C];2010年
5 张玉华;蔡慧先;万泉;何国良;史喜凤;;美洲斑潜蝇幼虫空间分布型及抽样技术[A];走向21世纪的中国昆虫学——中国昆虫学会2000年学术年会论文集[C];2000年
6 乔立岩;彭喜元;彭宇;;基于支持向量机的键盘密码输入异常检测方法研究[A];2004全国测控、计量与仪器仪表学术年会论文集(上册)[C];2004年
7 董恩生;董永贵;贾惠波;;飞机交流发电机异常检测方法的研究[A];第二届全国信息获取与处理学术会议论文集[C];2004年
8 陈鸣;吴才新;李兵;高屹;张涛;范霖;沙昆;;分布式网络性能管理系统:概念与实现[A];第六届全国计算机应用联合学术会议论文集[C];2002年
9 张立燕;;基于定点成分分析的高光谱图像低概率异常检测方法研究[A];中国地理学会百年庆典学术论文摘要集[C];2009年
10 闵水发;黄贤斌;赵飞;陈晓光;王满囷;张国安;;桦三节叶蜂幼虫空间分布型的研究[A];华中昆虫研究(第6卷)[C];2010年
中国重要报纸全文数据库 前10条
1 本报记者 边歆;异常检测是阻止蠕虫攻击的最好方法?[N];网络世界;2006年
2 Garry Sexton;入侵防护兼顾检测与防范[N];中国计算机报;2003年
3 栗粟;审计测试中的抽样技术[N];中国财经报;2003年
4 ;内部控制及其测试与评价、审计测试中的抽样技术[N];中国财经报;2002年
5 吴作顺;IDS的普遍缺陷[N];中国计算机报;2002年
6 ;网络管理的活力元素[N];网络世界;2005年
7 费宗莲;安全防御的“动”感魅力[N];中国计算机报;2005年
8 ;怎么解决IDS的问题[N];中国计算机报;2003年
9 ;IDS续存论对峙灭亡论[N];网络世界;2003年
10 中联绿盟、李群;IDS的关键:解决好误报和漏报[N];中国计算机报;2002年
中国博士学位论文全文数据库 前10条
1 潘乔;网络测量中的抽样技术研究[D];西安电子科技大学;2008年
2 周俊临;基于数据挖掘的分布式异常检测[D];电子科技大学;2010年
3 张敏;基于应用层和传输层的网络测量分析研究[D];北京交通大学;2012年
4 赵静;网络协议异常检测模型的研究与应用[D];北京交通大学;2010年
5 袁小坊;IP网络测量数据存储与流量建模研究[D];湖南大学;2010年
6 魏小涛;在线自适应网络异常检测系统模型与相关算法研究[D];北京交通大学;2009年
7 王俊峰;高速互联网性能测量若干关键技术研究[D];电子科技大学;2004年
8 马丽;基于流形学习算法的高光谱图像分类和异常检测[D];华中科技大学;2010年
9 赵阔;高速网络入侵检测与防御[D];吉林大学;2008年
10 郁继锋;基于数据挖掘的Web应用入侵异常检测研究[D];华中科技大学;2011年
中国硕士学位论文全文数据库 前10条
1 李亮;基于策略的主机入侵检测技术研究及其在涉密内网中的应用[D];中国工程物理研究院;2005年
2 王旸旸;域间路由不稳定性监测分析技术研究[D];首都师范大学;2005年
3 金飞蔡;基于移动agent技术的入侵检测系统的设计与实现[D];电子科技大学;2004年
4 詹伟;关系数据库入侵检测系统的设计与实现[D];华中科技大学;2004年
5 郭雪莲;基于CORBA的网络测量技术研究[D];武汉科技大学;2005年
6 乔爱萍;网络行为研究[D];南京师范大学;2005年
7 魏勍颋;网络流量行为的测量分析与预测[D];南昌大学;2005年
8 陈敏;网络综合测量探针软件系统设计与实现[D];中国科学院研究生院(计算技术研究所);2006年
9 陈霞云;基于移动代理的入侵检测系统[D];西安电子科技大学;2004年
10 李婷;基于程序行为的异常检测模型研究[D];青岛大学;2004年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026