收藏本站
《华南理工大学》 2010年
收藏 | 手机打开
二维码
手机客户端打开本文

分组抽样下网络测量可扩展性问题及其关键算法的研究

张海  
【摘要】: 网络被动测量研究的主要目的之一是对各种流特性的测量和估计。在高速网络下,现有的硬件和技术难以对网络流量中的每个分组信息进行测量,所以必须对测量的数据进行删减,抽样是最常采用的数据删减方法。已有的研究大都集中在流抽样(Flow Sampling)方向上,即在分组数据采集时对分组进行流聚类后再按照某些规则进行抽样,这些抽样方法往往针对的是某一类的流特性测量,不具备应用上的可扩展性。另一方面,这些抽样方法实现时需要网络设备较高的运算资源和存储资源,因此没有得到大规模的商业应用。目前,网络被动测量中主流数据采集方法仍然是分组抽样(Packet Sampling)。因此,本论文研究方向是:网络分组数据通过分组抽样后,根据样本中所包含的协议信息,研究各种流特性度量的测量和估计算法,以提高分组抽样下网络测量的可扩展性。 本论文的工作主要包括以下几个方面内容: 1)流大小分布是网络流量工程和网络监控方面一个重要的测量度量,是近年来网络测量研究的热点方向。已有的研究表明,通过随机分组抽样到的样本中包含的协议信息,能够有效地改善流大小分布的估计。本文在已有的研究基础上,提出了一种在样本流中同时运用SYN包和SEQ信息的估计方法(ALL-PS+SYN+SEQ),并与其它4种利用TCP SYN包和TCP序列号进行流大小分布估计算法进行比较。为了评估这几种算法的精度,用Fisher信息量计算这几种估计方法的方差下界(即C-R下界)。C-R下界的计算结果和实验结果表明,ALL-PS+SYN+SEQ估计算法效果最佳。 2)在流大小分布实际应用中,我们往往关心的是小流准确的分布,而大流只需知道一定范围内的分布情况。因此我们在利用TCP协议信息改善流大小分布估计的基础上,提出了非均匀粒度流大小分布,对小流采取细粒度的估计,对大流采取粗粒度的估计。这样做的好处是既减少了估计算法的计算量,又提高了粗粒度后大流估计精度。 3)在网络应用中,有时会更关注总体流量中某个子群体的流大小分布。本文提出了一种随机分组抽样下运用TCP协议信息的任意子群体流大小分布估计算法。实验证明,该算法通过运用TCP协议信息,提高了子群体流大小分布的准确性,并还原了不同应用的流大小分布特征。 4)流字节大小是网络测量中最常用的的度量,已有的大多数研究大都集中在通过改进抽样算法,来提高流字节大小估计的准确性。本文提出了一种在简单随机分组抽样下流字节大小估计算法,该算法在运用TCP协议信息对流分组大小进行估计的前提下,然后根据线性回归模型来估计字节大小分布。通过实验,该估计算法能够较准确反映了原始流字节大小的分布特征。 5)端口扫描检测是最常见的网络异常行为,TRW是最具代表性的端口扫描检测算法之一。已有的研究表明分组抽样对原始流的流大小分布有细化的作用,使得TRW检测算法随着抽样率的增加,成功检测率Rs和误检率Rf+呈现出先增加后减少的趋势。本文通过利用样本流中的TCP序列号信息,提出一种TRW的改进算法。通过实验验证,改进算法在相同抽样率下成功检测率Rs保持不变的情况下,误检率Rf+明显降低了。
【学位授予单位】:华南理工大学
【学位级别】:博士
【学位授予年份】:2010
【分类号】:TP393.06

手机知网App
【参考文献】
中国期刊全文数据库 前1条
1 王洪波;韦安明;林宇;程时端;;流测量中基于测量缓冲区的时间分层分组抽样[J];软件学报;2006年08期
【共引文献】
中国期刊全文数据库 前10条
1 甘喜萍;卢伙胜;冯波;张静;;分层抽样法应用于渔业生产统计的研究[J];安徽农业科学;2008年20期
2 姜培华;;两种非正态总体参数的区间估计[J];安庆师范学院学报(自然科学版);2011年01期
3 王伟龙;郝建平;王松山;;维修性验证试验中样本问题[J];兵工自动化;2007年10期
4 张鹏;郭志广;王士杰;;基于样本轮换的弹药抽样检验[J];兵工自动化;2007年12期
5 张巍;孟浩;于兵;夏浩;;Si_3N_4陶瓷引弧诱导电爆炸加工温度场建模[J];兵工自动化;2012年06期
6 李凤兰;樊逾;苏理云;;基于层次聚类的重庆市高校图书馆分类评估[J];重庆理工大学学报(自然科学);2011年09期
7 苗则朗;冯永兴;张书毕;张秋昭;;随机线元落入缓冲区内的概率分布函数研究[J];测绘通报;2011年02期
8 张亚蒙;;英语测试成绩的正态性检验[J];成功(教育);2010年03期
9 胡桂华;;使用比率估计量估计审计总体应付款总值[J];财会月刊;2008年24期
10 龙忠明;李自光;李运华;罗吉;;养护用沥青拌合设备能耗分析及对比试验研究[J];交通科学与工程;2011年02期
中国重要会议论文全文数据库 前8条
1 邵建民;张群;孟素洁;王艳艳;郭航;;统计遥感业务化运行机制初探[A];北京市第十五次统计科学讨论会获奖论文集[C];2009年
2 张俐敏;张辉;;大麻织物有机硅柔软整理及染色性能研究[A];“浙江宏达”杯第三届全国印染新技术暨助剂新产品新成果学术交流会论文集[C];2009年
3 赵建平;王书晓;;办公室光环境评价体系研究[A];海峡两岸第十四届照明科技与营销研讨会专题报告暨论文集[C];2007年
4 陈家鼎;陈奇志;;Lincoln-Petersen模型中群体大小的置信限和置信区间[A];中国现场统计研究会第十三届学术年会论文集[C];2007年
5 陈文金;潘宝骏;华卫平;朱建平;;以国家级为总体的疾病流行病学调查自加权分层3阶段抽样设计探讨[A];华东地区第十次流行病学学术会议暨华东地区流行病学学术会议20周年庆典论文汇编[C];2010年
6 陈文金;林明南;潘宝骏;田俊;;省级区域规模疾病流行病学调查自加权分层多阶段抽样设计[A];华东地区第十次流行病学学术会议暨华东地区流行病学学术会议20周年庆典论文汇编[C];2010年
7 孙立;王海峰;林绵峰;;浮动车系统的规模参数研究[A];第二届中国智能交通年会论文集[C];2006年
8 陈文金;华卫平;张建明;潘宝骏;;省级区域结核病流行病学调查分层三阶段PPS抽样设计探讨——以福建省结核病流行病学调查抽样设计为例[A];2012年中国防痨协会结核病控制专业委员会学术会议论文汇编[C];2012年
中国博士学位论文全文数据库 前10条
1 李天梅;装备测试性验证试验优化设计与综合评估方法研究[D];国防科学技术大学;2010年
2 李玉堂;森林资源空间数据集成管理技术的研究与应用[D];东北林业大学;2011年
3 何登科;多波地震勘探中观测系统设计与数据处理关键技术研究[D];中国矿业大学(北京);2011年
4 孔凡军;大庆油田海塔盆地钻井提速关键技术研究[D];东北石油大学;2011年
5 吕晖;供应链社会资本、信息共享及运营绩效关系的研究[D];华南理工大学;2012年
6 李志;瞬态检测理论及OFDM系统应用技术研究[D];大连海事大学;2012年
7 史京京;海南东寨港红树林空间分布与适应性群团抽样技术的研究[D];北京林业大学;2012年
8 张玲霞;导航系统故障检测与诊断及其相关理论问题的研究[D];西北工业大学;2004年
9 韦安明;互联网中基于流测量的P2P流量及异常事件检测[D];北京邮电大学;2007年
10 张俊松;书法碑帖图像去噪、轮廓拟合及纹理建模研究[D];浙江大学;2007年
中国硕士学位论文全文数据库 前10条
1 朱强;非同质风险组合的最优定价[D];大连理工大学;2010年
2 张震;高速IP网络中流量测量的关键技术研究[D];解放军信息工程大学;2009年
3 张果;IP骨干链路流量测量技术研究[D];解放军信息工程大学;2010年
4 潘天骄;青少年科技活动对培养企业家精神的作用效果研究[D];中国地质大学(北京);2011年
5 李真;企业信息系统运行效果评价理论与实证研究[D];吉林大学;2011年
6 贾慧;网络异常流量检测模型设计[D];曲阜师范大学;2011年
7 刘俭珍;大学课程管理平台的使用效果研究[D];华东师范大学;2011年
8 郑俊涛;数字地形图质量检查系统的研究与实现[D];江西理工大学;2011年
9 朱伟;某型飞机起落架的收放与转弯机构可靠性研究[D];中南大学;2011年
10 张婕;动态环境下供应商的机会主义行为对信息共享与运营绩效的作用机理[D];华南理工大学;2011年
【二级参考文献】
中国期刊全文数据库 前2条
1 程光,龚俭,丁伟;基于分组标识的网络流量抽样测量模型[J];电子学报;2002年S1期
2 王俊峰,杨建华,周虹霞,谢高岗,周明天;网络测量中自适应数据采集方法(英文)[J];软件学报;2004年08期
【相似文献】
中国期刊全文数据库 前10条
1 张海;许勇;张凌;;随机分组抽样下流大小的分布估计[J];华南理工大学学报(自然科学版);2010年04期
2 韦安明;王洪波;程时端;;基于分组抽样的P2P超级节点推测[J];电子与信息学报;2009年06期
3 王俊峰,杨建华,周虹霞,谢高岗,周明天;网络测量中自适应数据采集方法(英文)[J];软件学报;2004年08期
4 李云春,杨永利,李巍,许大炜,张文杰;一种分布式对等区域的研究与设计[J];计算机应用研究;2004年11期
5 白伦;生丝抽样检验分级理论研究——Ⅵ.分组抽样误差及等效样本容量[J];苏州大学学报(工科版);1987年02期
6 赵洪华,陈鸣,郝继红,李健;网络性能特性的描述和测量[J];解放军理工大学学报(自然科学版);2004年05期
7 高琴,谭琳,胡谷雨;一个网络流量监测系统的设计与实现[J];现代电子技术;2005年04期
8 谈杰;李星;;IP网络带宽的端到端测量技术[J];计算机应用与软件;2007年06期
9 余晓永;张倩;;网络行为学研究综述[J];宿州学院学报;2009年05期
10 唐莹;李太浩;;基于IP的被动测量协议netflow[J];软件导刊;2011年01期
中国重要会议论文全文数据库 前10条
1 陈鸣;吴才新;李兵;高屹;张涛;范霖;沙昆;;分布式网络性能管理系统:概念与实现[A];第六届全国计算机应用联合学术会议论文集[C];2002年
2 蒋序平;陈鸣;;一种基于XML的网络测量信息描述方法[A];第一届全国Web信息系统及其应用会议(WISA2004)论文集[C];2004年
3 张冬艳;胡铭曾;张宏莉;王蕾;;一种基于概率的可用带宽测量方法研究[A];全国网络与信息安全技术研讨会'2005论文集(下册)[C];2005年
4 许鑫;何泾沙;石恒华;;基于端到端丢包测量的网络瓶颈链路推断方法[A];中国通信学会通信软件技术委员会2009年学术会议论文集[C];2009年
5 杜建清;黄少君;杨家海;;网络测量协作柔性支撑平台[A];2009年全国开放式分布与并行计算机学术会议论文集(下册)[C];2009年
6 施金洋;林宇;金跃辉;;Tprobe:一种基于减法模型的端到端瓶颈带宽测量方法[A];中国通信学会信息通信网络技术委员会2003年年会论文集[C];2003年
7 周虹霞;田忠;王俊峰;;Internet性能测量研究[A];第九届全国青年通信学术会议论文集[C];2004年
8 许蓓;刘峰;;基于IPv6技术的一种在线网络测量方法[A];2006通信理论与技术新进展——第十一届全国青年通信学术会议论文集[C];2006年
9 郝继红;陈鸣;仇小锋;;网络性能预测服务[A];第九届全国青年通信学术会议论文集[C];2004年
10 谷上宇;赵国锋;唐红;;一种利用边界测量估计网络内部链路流量的模型[A];第九届全国青年通信学术会议论文集[C];2004年
中国重要报纸全文数据库 前10条
1 杨浩;端口扫描[N];中国电脑教育报;2003年
2 陈刚 鲍剑洋 丁颖;为网络“把脉”[N];计算机世界;2003年
3 ;NPO——网络管理和安全的核心[N];网络世界;2003年
4 ;如何做好服务器的防入侵扫描[N];中国计算机报;2008年
5 趋势科技 陈清芳;谍件的几张面孔[N];计算机世界;2004年
6 本报记者 孟伟松;描绘未来信息网络的美好蓝图[N];人民邮电;2003年
7 赛迪翻译;电缆猫比DSL连接快50%[N];中国计算机报;2003年
8 本报记者 潘永花;Sniffer 架构日臻丰富[N];网络世界;2003年
9 李培林;网管员的好帮手[N];中国电脑教育报;2003年
10 罗;中国电信研究院采用思科产品[N];计算机世界;2003年
中国博士学位论文全文数据库 前10条
1 张海;分组抽样下网络测量可扩展性问题及其关键算法的研究[D];华南理工大学;2010年
2 韦安明;互联网中基于流测量的P2P流量及异常事件检测[D];北京邮电大学;2007年
3 张敏;基于应用层和传输层的网络测量分析研究[D];北京交通大学;2012年
4 张沛;网络测量数据隐私保护若干关键技术研究[D];北京邮电大学;2012年
5 王俊峰;高速互联网性能测量若干关键技术研究[D];电子科技大学;2004年
6 余杰;P2P网络测量与安全关键技术研究[D];国防科学技术大学;2010年
7 邓晓衡;有线/无线网络中基于网络测量的拥塞控制研究[D];中南大学;2005年
8 朱畅华;IP网络测量和业务性能研究[D];西安电子科技大学;2004年
9 刘瑞芳;网络性能测量和推测技术的研究[D];北京邮电大学;2006年
10 黎文伟;端到端互联网性能监测技术研究[D];湖南大学;2006年
中国硕士学位论文全文数据库 前10条
1 董永吉;基于公平机制的网络测量抽样算法研究[D];解放军信息工程大学;2009年
2 王旸旸;域间路由不稳定性监测分析技术研究[D];首都师范大学;2005年
3 郭雪莲;基于CORBA的网络测量技术研究[D];武汉科技大学;2005年
4 乔爱萍;网络行为研究[D];南京师范大学;2005年
5 魏勍颋;网络流量行为的测量分析与预测[D];南昌大学;2005年
6 陈敏;网络综合测量探针软件系统设计与实现[D];中国科学院研究生院(计算技术研究所);2006年
7 何涛;组播测量系统的设计与实现和相关网络行为的分析[D];清华大学;2004年
8 王佳旭;自组织网络介入式测量系统的研究与仿真实现[D];北京邮电大学;2009年
9 赵荣芳;基于校园网E2E时延测量研究[D];山东轻工业学院;2010年
10 李晟;宽带互联网流量测量与分析[D];郑州大学;2005年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026