收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

分组抽样下网络测量可扩展性问题及其关键算法的研究

张海  
【摘要】: 网络被动测量研究的主要目的之一是对各种流特性的测量和估计。在高速网络下,现有的硬件和技术难以对网络流量中的每个分组信息进行测量,所以必须对测量的数据进行删减,抽样是最常采用的数据删减方法。已有的研究大都集中在流抽样(Flow Sampling)方向上,即在分组数据采集时对分组进行流聚类后再按照某些规则进行抽样,这些抽样方法往往针对的是某一类的流特性测量,不具备应用上的可扩展性。另一方面,这些抽样方法实现时需要网络设备较高的运算资源和存储资源,因此没有得到大规模的商业应用。目前,网络被动测量中主流数据采集方法仍然是分组抽样(Packet Sampling)。因此,本论文研究方向是:网络分组数据通过分组抽样后,根据样本中所包含的协议信息,研究各种流特性度量的测量和估计算法,以提高分组抽样下网络测量的可扩展性。 本论文的工作主要包括以下几个方面内容: 1)流大小分布是网络流量工程和网络监控方面一个重要的测量度量,是近年来网络测量研究的热点方向。已有的研究表明,通过随机分组抽样到的样本中包含的协议信息,能够有效地改善流大小分布的估计。本文在已有的研究基础上,提出了一种在样本流中同时运用SYN包和SEQ信息的估计方法(ALL-PS+SYN+SEQ),并与其它4种利用TCP SYN包和TCP序列号进行流大小分布估计算法进行比较。为了评估这几种算法的精度,用Fisher信息量计算这几种估计方法的方差下界(即C-R下界)。C-R下界的计算结果和实验结果表明,ALL-PS+SYN+SEQ估计算法效果最佳。 2)在流大小分布实际应用中,我们往往关心的是小流准确的分布,而大流只需知道一定范围内的分布情况。因此我们在利用TCP协议信息改善流大小分布估计的基础上,提出了非均匀粒度流大小分布,对小流采取细粒度的估计,对大流采取粗粒度的估计。这样做的好处是既减少了估计算法的计算量,又提高了粗粒度后大流估计精度。 3)在网络应用中,有时会更关注总体流量中某个子群体的流大小分布。本文提出了一种随机分组抽样下运用TCP协议信息的任意子群体流大小分布估计算法。实验证明,该算法通过运用TCP协议信息,提高了子群体流大小分布的准确性,并还原了不同应用的流大小分布特征。 4)流字节大小是网络测量中最常用的的度量,已有的大多数研究大都集中在通过改进抽样算法,来提高流字节大小估计的准确性。本文提出了一种在简单随机分组抽样下流字节大小估计算法,该算法在运用TCP协议信息对流分组大小进行估计的前提下,然后根据线性回归模型来估计字节大小分布。通过实验,该估计算法能够较准确反映了原始流字节大小的分布特征。 5)端口扫描检测是最常见的网络异常行为,TRW是最具代表性的端口扫描检测算法之一。已有的研究表明分组抽样对原始流的流大小分布有细化的作用,使得TRW检测算法随着抽样率的增加,成功检测率Rs和误检率Rf+呈现出先增加后减少的趋势。本文通过利用样本流中的TCP序列号信息,提出一种TRW的改进算法。通过实验验证,改进算法在相同抽样率下成功检测率Rs保持不变的情况下,误检率Rf+明显降低了。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 张海;许勇;张凌;;随机分组抽样下流大小的分布估计[J];华南理工大学学报(自然科学版);2010年04期
2 韦安明;王洪波;程时端;;基于分组抽样的P2P超级节点推测[J];电子与信息学报;2009年06期
3 王俊峰,杨建华,周虹霞,谢高岗,周明天;网络测量中自适应数据采集方法(英文)[J];软件学报;2004年08期
4 李云春,杨永利,李巍,许大炜,张文杰;一种分布式对等区域的研究与设计[J];计算机应用研究;2004年11期
5 白伦;生丝抽样检验分级理论研究——Ⅵ.分组抽样误差及等效样本容量[J];苏州大学学报(工科版);1987年02期
6 赵洪华,陈鸣,郝继红,李健;网络性能特性的描述和测量[J];解放军理工大学学报(自然科学版);2004年05期
7 高琴,谭琳,胡谷雨;一个网络流量监测系统的设计与实现[J];现代电子技术;2005年04期
8 谈杰;李星;;IP网络带宽的端到端测量技术[J];计算机应用与软件;2007年06期
9 余晓永;张倩;;网络行为学研究综述[J];宿州学院学报;2009年05期
10 唐莹;李太浩;;基于IP的被动测量协议netflow[J];软件导刊;2011年01期
11 李健,张辉,何飞,有悦;面向通讯工程的网络服务质量监测和控制系统[J];计算机工程;2000年S1期
12 吴桦,丁伟;基于奇异谱方法的网络行为分析[J];东南大学学报(自然科学版);2002年06期
13 高文宇,陈松乔,王建新;动态的时间驱动的分组采样技术[J];通信学报;2005年04期
14 王德正;;Internet测量分析与研究[J];电脑知识与技术;2008年S2期
15 钱水明;;网络测量与性能评价[J];现代企业教育;2010年16期
16 杨春燕,闫光明;网络测量系统及组建[J];电测与仪表;2000年06期
17 张波,经亚枝,张焕春;AD7714模数转换器的原理及应用[J];半导体技术;2001年04期
18 过晓冰,伍卫国,刘敏,钱德沛;网络传输时延的测量方法[J];计算机应用研究;2002年07期
19 曹洪武,瞿国平;一种网络测量协议的研究与实现[J];华中科技大学学报(自然科学版);2003年S1期
20 郝继红,陈鸣,赵洪华,张睿;NWS预测子系统的应用[J];解放军理工大学学报(自然科学版);2004年06期
中国重要会议论文全文数据库 前10条
1 陈鸣;吴才新;李兵;高屹;张涛;范霖;沙昆;;分布式网络性能管理系统:概念与实现[A];第六届全国计算机应用联合学术会议论文集[C];2002年
2 蒋序平;陈鸣;;一种基于XML的网络测量信息描述方法[A];第一届全国Web信息系统及其应用会议(WISA2004)论文集[C];2004年
3 张冬艳;胡铭曾;张宏莉;王蕾;;一种基于概率的可用带宽测量方法研究[A];全国网络与信息安全技术研讨会'2005论文集(下册)[C];2005年
4 许鑫;何泾沙;石恒华;;基于端到端丢包测量的网络瓶颈链路推断方法[A];中国通信学会通信软件技术委员会2009年学术会议论文集[C];2009年
5 杜建清;黄少君;杨家海;;网络测量协作柔性支撑平台[A];2009年全国开放式分布与并行计算机学术会议论文集(下册)[C];2009年
6 施金洋;林宇;金跃辉;;Tprobe:一种基于减法模型的端到端瓶颈带宽测量方法[A];中国通信学会信息通信网络技术委员会2003年年会论文集[C];2003年
7 周虹霞;田忠;王俊峰;;Internet性能测量研究[A];第九届全国青年通信学术会议论文集[C];2004年
8 许蓓;刘峰;;基于IPv6技术的一种在线网络测量方法[A];2006通信理论与技术新进展——第十一届全国青年通信学术会议论文集[C];2006年
9 郝继红;陈鸣;仇小锋;;网络性能预测服务[A];第九届全国青年通信学术会议论文集[C];2004年
10 谷上宇;赵国锋;唐红;;一种利用边界测量估计网络内部链路流量的模型[A];第九届全国青年通信学术会议论文集[C];2004年
中国博士学位论文全文数据库 前10条
1 张海;分组抽样下网络测量可扩展性问题及其关键算法的研究[D];华南理工大学;2010年
2 韦安明;互联网中基于流测量的P2P流量及异常事件检测[D];北京邮电大学;2007年
3 张敏;基于应用层和传输层的网络测量分析研究[D];北京交通大学;2012年
4 张沛;网络测量数据隐私保护若干关键技术研究[D];北京邮电大学;2012年
5 王俊峰;高速互联网性能测量若干关键技术研究[D];电子科技大学;2004年
6 余杰;P2P网络测量与安全关键技术研究[D];国防科学技术大学;2010年
7 邓晓衡;有线/无线网络中基于网络测量的拥塞控制研究[D];中南大学;2005年
8 朱畅华;IP网络测量和业务性能研究[D];西安电子科技大学;2004年
9 刘瑞芳;网络性能测量和推测技术的研究[D];北京邮电大学;2006年
10 黎文伟;端到端互联网性能监测技术研究[D];湖南大学;2006年
中国硕士学位论文全文数据库 前10条
1 董永吉;基于公平机制的网络测量抽样算法研究[D];解放军信息工程大学;2009年
2 王旸旸;域间路由不稳定性监测分析技术研究[D];首都师范大学;2005年
3 郭雪莲;基于CORBA的网络测量技术研究[D];武汉科技大学;2005年
4 乔爱萍;网络行为研究[D];南京师范大学;2005年
5 魏勍颋;网络流量行为的测量分析与预测[D];南昌大学;2005年
6 陈敏;网络综合测量探针软件系统设计与实现[D];中国科学院研究生院(计算技术研究所);2006年
7 何涛;组播测量系统的设计与实现和相关网络行为的分析[D];清华大学;2004年
8 王佳旭;自组织网络介入式测量系统的研究与仿真实现[D];北京邮电大学;2009年
9 赵荣芳;基于校园网E2E时延测量研究[D];山东轻工业学院;2010年
10 李晟;宽带互联网流量测量与分析[D];郑州大学;2005年
中国重要报纸全文数据库 前10条
1 杨浩;端口扫描[N];中国电脑教育报;2003年
2 陈刚 鲍剑洋 丁颖;为网络“把脉”[N];计算机世界;2003年
3 ;NPO——网络管理和安全的核心[N];网络世界;2003年
4 ;如何做好服务器的防入侵扫描[N];中国计算机报;2008年
5 趋势科技 陈清芳;谍件的几张面孔[N];计算机世界;2004年
6 本报记者 孟伟松;描绘未来信息网络的美好蓝图[N];人民邮电;2003年
7 赛迪翻译;电缆猫比DSL连接快50%[N];中国计算机报;2003年
8 本报记者 潘永花;Sniffer 架构日臻丰富[N];网络世界;2003年
9 李培林;网管员的好帮手[N];中国电脑教育报;2003年
10 罗;中国电信研究院采用思科产品[N];计算机世界;2003年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978