收藏本站
《湖南大学》 2010年
收藏 | 手机打开
二维码
手机客户端打开本文

IP网络测量数据存储与流量建模研究

袁小坊  
【摘要】: IP网络规模不断扩大,异构化程度不断增加,带宽成倍增长,网络日益复杂。IP网络流量测量和建模研究与分析具有非常重要的作用和意义,它是网络监视预测、协议设计、设备开发、网络管理与网络性能提升的基础,同时也是一项异常复杂且需要持续不断进行的工作。而纷繁复杂的应用层业务、高速的网络链路、海量的流量数据和持续变化的网络给IP网络流量测量和建模研究与分析带来了巨大的挑战。 本文面向纷繁复杂的应用层业务和持续变化的网络,充分利用自主研发的支持高速链路的分布式网络流量测量和控制系统,设计改善流量测量数据的实时接口与存储体系,并以当前国内实际运营商网络中的流量测量数据作为分析对象,将应用层流量作为研究的重点,分析应用层流量的特性、变化趋势以及异常流量检测等,采用统计学方法进行建模,通过实验,验证模型的可靠性。 概括的讲,本文的贡献主要包含以下几个方面: 1.网络监测平台与实时数据接口设计 在流量数据的实时共享方式中,专用API接口使用复杂,而MIB有相对好的标准化优势,但支持MIB的科学分析工具却很少。为了解决海量流量数据的实时共享问题,本文提出建立开放分布式的高速网络流量监测平台的一种设计方法,在监测平台上提供一个专门的OPC服务器,此OPC服务器与监测平台软件通过共享内存交换数据,同时提供数据接口供其它的OPC client工具进行访问。这是业界首次将OPC这种自动化控制领域中的世界标准用于网络监测平台中,使平台更有开放性和扩展性,可方便使用具有OPC client功能的工具对网络数据做各种分析。其它网络服务系统可以通过这种通用的接口访问到所需要的网络数据指标,进行相关的服务控制。该方法已经在自主研发的网络监测分析系统中得到应用。 2.测量数据与多级流量数据存储系统设计 本文设计并实现了流量数据的多级存储系统,适应于不同精度的测量需求又兼顾了成本、性能和效率,并根据高速网络流量的重尾分布特性,采用合理的流数据存储策略,相对于Cisco NetFlow采取的只存储流中的每个数据包的前N个字节的简单方法,本方法大幅度减少要存储的数据量,同时又保留了重要的网络控制信息。为了提高流数据处理效率,本文还通过实验分析并实现用于流数据处理串操作函数的指令级优化方案。采用自主研发的网络监测分析系统,作者在全国多个ISP架设实验局进行监测,包括电信运营商、网络服务商以及企业用户,获取大量的一手数据,从而深入了解我国互联网的流量现状,为本文的研究提供有力的基础。 3.应用层流量ARIMA季节乘积混合预测模型 本文提出基于应用层的流量预测分析模型,对国内某城域网出口链路上的应用层流量序列采用ARIMA季节乘积混合模型(p,d,q)(P,D,Q)s建模并预测。Internet流量是具有复杂非线性组合特征的季节性时间序列。目前国内外的网络流量预测研究主要集中在网络层和传输层,且仅采用单一的ARMA(n, n-1)模型来描述网络的整体流量趋势。本文模型的实验结果表明,在同一个城域网中不同的应用层流量表现出不同的行为特征,经ARIMA季节乘积混合模型(p,d,q)(P,D,Q)s预测的应用层流量趋势与实际曲线基本相似,平均绝对百分比误差在10%左右。 4.基于多变量故障诊断技术的网络异常检测与分析 借鉴控制领域中的多变量故障诊断技术,本文提出了一种新的网络异常检测方法。由于监测分析系统将数据流量指标按已知应用分解并存储,本文将应用层流量指标按一定的时间窗口建立一个流量数据矩阵,采用主成份等统计分析方法对这个高维相关变量空间进行降维,将其转化为相互独立的低维变量空间,实现对复杂过程数据的特征抽取,并建立相应的主成份模型。主成份模型舍弃了部分残差而保留体现数据变异的主要方向。由于变量间的相关关系,一个特定的异常会使测量值按照特定的规律变化,主成份模型则包含了异常在变量空间的变化方向。在反映过程主要变化的几个主成份中,异常表现了它们对系统的不同影响。实际异常的监测与分析可以依据基于主成份模型的平方预测误差(SPE)统计图法和主成份贡献图法来进行的。通过SPE统计图本文可以发现在哪个时间点出现异常,通过主成份贡献图可查出是哪一个分量对异常的贡献最大,从而可获知是哪一个应用层指标出现异常。这种方法简洁实用,进一步挖掘了监测分析系统指标数据的应用潜力,随着系统的进一步完善,对应用层流量的分解越来越细致,这种方法的精确性也会越来越高。
【学位授予单位】:湖南大学
【学位级别】:博士
【学位授予年份】:2010
【分类号】:TN915.06

手机知网App
【相似文献】
中国期刊全文数据库 前10条
1 李涛;;改进TCP拥塞控制算法的仿真及应用研究[J];计算机仿真;2011年06期
2 王磊;;数控加工中宏程序的应用[J];价值工程;2011年21期
3 张潇;;程序设计中静态变量和指针变量的应用探索[J];潍坊学院学报;2011年02期
4 李斌;;制约控制回路自控率的因素及解决方案[J];科技资讯;2011年16期
5 戴晓栋;宋飞;高德云;张宏科;;基于包对原理测量瓶颈带宽方法的实现与分析[J];计算机应用与软件;2011年07期
6 倪贵华;;SIEMENS 802D数控系统宏程序在曲线编程中的应用[J];煤矿机械;2011年09期
7 苏海波;金德鹏;曾烈光;;一种自底向上的推测链路延迟分布的快速算法[J];计算机应用研究;2011年09期
8 贺军;李喜梅;;Java语言中变量和方法的分析及其应用[J];计算机系统应用;2011年07期
9 朴相珍;;基于Authorware制作平时作业系统[J];农业网络信息;2011年08期
10 施文洁;;基于NetFlow的IPTV传输质量监控系统研究与实现[J];电脑知识与技术;2011年25期
中国重要会议论文全文数据库 前10条
1 黄光燕;李晓维;;软件的变量完整性测试方法[A];全国第13届计算机辅助设计与图形学(CAD/CG)学术会议论文集[C];2004年
2 陈春良;;刑罚威慑与犯罪治理:基于我国1979-1999省级面板数据的实证研究[A];2010年度(第八届)中国法经济学论坛论文集(上册)[C];2010年
3 陈鸣;吴才新;李兵;高屹;张涛;范霖;沙昆;;分布式网络性能管理系统:概念与实现[A];第六届全国计算机应用联合学术会议论文集[C];2002年
4 叶选;刘淑娟;李界家;;双变量查表程序设计[A];第六届全国信息获取与处理学术会议论文集(2)[C];2008年
5 蒋序平;陈鸣;;一种基于XML的网络测量信息描述方法[A];第一届全国Web信息系统及其应用会议(WISA2004)论文集[C];2004年
6 张冬艳;胡铭曾;张宏莉;王蕾;;一种基于概率的可用带宽测量方法研究[A];全国网络与信息安全技术研讨会'2005论文集(下册)[C];2005年
7 张波;罗素华;;WinCC在热风干燥炉中的应用[A];2005川渝地区自动化与电控技术学术年会论文集[C];2005年
8 许鑫;何泾沙;石恒华;;基于端到端丢包测量的网络瓶颈链路推断方法[A];中国通信学会通信软件技术委员会2009年学术会议论文集[C];2009年
9 杜建清;黄少君;杨家海;;网络测量协作柔性支撑平台[A];2009年全国开放式分布与并行计算机学术会议论文集(下册)[C];2009年
10 施金洋;林宇;金跃辉;;Tprobe:一种基于减法模型的端到端瓶颈带宽测量方法[A];中国通信学会信息通信网络技术委员会2003年年会论文集[C];2003年
中国重要报纸全文数据库 前10条
1 索寒雪;国际“变量”激增油价仍将持续走高[N];中国经营报;2005年
2 潘海声;可能的分化与变量 [N];期货日报;2004年
3 吕晓莉;美大选中的恐怖变量[N];华夏时报;2004年
4 中信证券研究部策略组;进一步上行需待三大变量明朗[N];中国证券报;2010年
5 卡玛·尤拉 译 刘恋;国民幸福指数的变量与计算[N];21世纪经济报道;2010年
6 周其仁;用三个变量看经济[N];21世纪经济报道;2004年
7 重庆 天爪;认识环境变量[N];电脑报;2001年
8 千弼 君毅;为智能手机市场投下变量[N];电子资讯时报;2003年
9 连于慧 DigiTimes;NAND Flash合约价再跌两成[N];电子资讯时报;2007年
10 张颐武;作为“变量”的民意[N];北京日报;2007年
中国博士学位论文全文数据库 前10条
1 张敏;基于应用层和传输层的网络测量分析研究[D];北京交通大学;2012年
2 张沛;网络测量数据隐私保护若干关键技术研究[D];北京邮电大学;2012年
3 袁小坊;IP网络测量数据存储与流量建模研究[D];湖南大学;2010年
4 王俊峰;高速互联网性能测量若干关键技术研究[D];电子科技大学;2004年
5 余杰;P2P网络测量与安全关键技术研究[D];国防科学技术大学;2010年
6 王晓路;煤矿瓦斯监测数据发展趋势的智能预测方法研究[D];西安科技大学;2011年
7 沈瑞英;西方中产阶级与社会稳定研究[D];上海大学;2008年
8 单娜;基于因果网的因果推断[D];东北师范大学;2010年
9 邓晓衡;有线/无线网络中基于网络测量的拥塞控制研究[D];中南大学;2005年
10 张海;分组抽样下网络测量可扩展性问题及其关键算法的研究[D];华南理工大学;2010年
中国硕士学位论文全文数据库 前10条
1 王旸旸;域间路由不稳定性监测分析技术研究[D];首都师范大学;2005年
2 郭雪莲;基于CORBA的网络测量技术研究[D];武汉科技大学;2005年
3 乔爱萍;网络行为研究[D];南京师范大学;2005年
4 魏勍颋;网络流量行为的测量分析与预测[D];南昌大学;2005年
5 陈敏;网络综合测量探针软件系统设计与实现[D];中国科学院研究生院(计算技术研究所);2006年
6 何涛;组播测量系统的设计与实现和相关网络行为的分析[D];清华大学;2004年
7 王佳旭;自组织网络介入式测量系统的研究与仿真实现[D];北京邮电大学;2009年
8 赵荣芳;基于校园网E2E时延测量研究[D];山东轻工业学院;2010年
9 李晟;宽带互联网流量测量与分析[D];郑州大学;2005年
10 吴丽;可用带宽测量方法研究[D];北京工业大学;2008年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026