收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于机器学习的流量识别关键技术研究

彭立志  
【摘要】:过去的二十年中,互联网浪潮一波接一波,新技术、新应用层出不穷,特别是进入21世纪以来,以P2P为代表的新应用在给互联网用户带来极大便利的同时,也出现了带宽的贪婪吞噬,以及恶意逃避监测等问题。这就给互联网工程技术界和学术界提出了一个新的挑战:如何对这些新应用的网络流量进行准确识别,进而加以有效管理,以确保网络的优质运营,为用户、企业提供良好的服务质量和可靠的安全保障。这一问题的提出直接催生了应用流量识别这一研究课题。机器学习作为人工智能领域的重要方法,近年来在流量识别研究中得到了广泛应用。由于其智能性、良好的泛化性以及高识别效率等特性,使其逐渐成为流量识别研究中的主流方向。然而机器学习应用到流量识别时,数项关键问题却亟待突破:(1)非平衡流量识别问题。互联网各类应用流量呈极不均衡分布,这给识别模型带来了新挑战,因为标准机器学习模型很难准确识别其中的劣势类样本;(2)基础数据获取困难。网络上的流量数据本身并不携带准确的原始应用信息,因而网络上采集的数据缺失目标类型信息,无法有效地用于构建识别模型;(3)流量特征提取与评估问题,尤其是早期识别的有效数据包数目界定以及特征的有效性评估。本文针对流量识别研究中上述关键问题开展研究工作,力图建立一套从基础数据获取到最终识别模型构建的流量识别技术方案。以这一核心研究目标为导向,本文系统地开展了以下研究工作:(1)针对非平衡分类问题,改进标准数据引力分类模型(DGC),提出了非平衡数据引力分类模型(IDGC),通过大量的实验验证了IDGC模型良好非平衡分类性能。在此基础上,针对互联网各类流量的非平衡分布问题,将IDGC应用到非平衡流量识别中,构建了高效的非平衡流量识别模型。实验证明,这一识别模型与标准分类模型和其他非平衡分类方法相比,在非平衡流量识别问题中可以获得非常高的灵敏度,并能在灵敏度和特异度之间实现很好的平衡。(2)针对流量识别的特征选择与高效识别模型构建的问题,应用柔性神经树(FNT)构建了高效的流量识别模型。充分利用FNT良好的分类性能和自动特征选择能力,在实现理想的识别精度同时,对流量特征进行自动选择,进而评估了不同特征的重要程度。(3)就流量识别中基础数据获取困难的问题,进行了具有准确应用背景信息的流量样本采集方法的研究。本文从互联网用户终端着手,采用IP报文标记技术对用户发送的IP报文进行应用标记,使得发送的IP报文携带其原始应用信息。这一方法有效解决了流量样本背景信息缺失的问题,从而使网络上采集的流量数据具有准确可靠的应用背景信息,而准确可靠的基础数据为流量识别研究提供了最基本的数据保证。(4)针对流量早期特征提取中数据包数目选取的经验性和随意性问题,结合信息理论分析、实验验证等多种研究方法,研究最有效的早期数据包数目,即流量早期粒度定义问题,为流量早期特征提取时数据包数目的选取提供可靠依据。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 杨铮;李国元;左敏;;一个嵌入式网络流量识别系统的设计与实现[J];计算机系统应用;2008年06期
2 辛峰;於建华;;互联网流量识别技术的研究及实现[J];广东通信技术;2008年03期
3 李晗;刘泷;;应用层流量识别方法的研究[J];广东通信技术;2008年04期
4 梁伟;李晗;;网络流量识别方法研究[J];通信技术;2008年11期
5 张玲;李君;孙雁飞;;快速应用层流量识别方法的研究与实现[J];电信快报;2009年10期
6 葛体富;;网络流量识别技术以及实现方案浅议[J];电脑知识与技术;2011年22期
7 侯艳;;基于深度包和流的流量识别系统设计[J];电子设计工程;2013年22期
8 马保雷;宋颖慧;刘亚维;;基于概念漂移检测的自适应流量识别的研究[J];智能计算机与应用;2013年06期
9 张众;杨建华;谢高岗;;高效可扩展的应用层流量识别架构[J];通信学报;2008年12期
10 吴震;刘兴彬;童晓民;;基于信息熵的流量识别方法[J];计算机工程;2009年20期
11 张秀英;王铮;;一种基于流量识别技术的网络信息审计模型[J];微处理机;2010年01期
12 时鸿涛;盖凌云;郭忠文;;一种基于小波谱的流量识别方法[J];计算机工程;2012年12期
13 张剑;钱宗珏;寿国础;胡怡红;;在线聚类的网络流量识别[J];北京邮电大学学报;2011年01期
14 毕夏安;张大方;赵姣姣;;一种高效的游戏流量识别与分类技术[J];计算机工程与应用;2011年23期
15 张剑;曹萍;寿国础;;网络汇聚点传输层拓扑的流量识别[J];计算机应用;2012年07期
16 关卿;秦宏伟;张文超;;基于流亲戚关系分组的流量识别算法[J];计算机与网络;2013年02期
17 王宇科;黎文伟;苏欣;;基于改进分簇算法的网络流量识别方法[J];计算机工程与科学;2011年11期
18 禹可;张馨予;狄佳玺;吴晓非;苏驷希;;互联网流量识别中的基于标签传播的重叠社团发现算法(英文)[J];中国通信;2012年12期
19 杜瑞颖;杨勇;陈晶;王持恒;;一种基于相似度的高效网络流量识别方案[J];山东大学学报(理学版);2014年09期
20 苏欣;杨建华;张大方;谢高岗;;面向流量识别系统的聚类算法的比较与分析[J];计算技术与自动化;2008年03期
中国重要会议论文全文数据库 前7条
1 马永立;寿国础;胡怡红;钱宗珏;区海平;;新型网络流量识别分析系统及其性能评估[A];第六届全国信息获取与处理学术会议论文集(2)[C];2008年
2 张娜娜;;P2P流量识别方法研究[A];江苏省电子学会2010年学术年会论文集[C];2010年
3 高长喜;辛阳;钮心忻;杨义先;;基于行为特征分析的P2P流量识别技术的研究[A];第一届中国高校通信类院系学术研讨会论文集[C];2007年
4 许刘兵;;基于人工神经网络的P2P流量识别模型的研究[A];中国电子学会第十五届信息论学术年会暨第一届全国网络编码学术年会论文集(上册)[C];2008年
5 贾波;邹园萍;;基于无监督学习的P2P流量识别[A];浙江省信号处理学会2011学术年会论文集[C];2011年
6 王波;周晓光;苏志远;;基于节点状态的P2P流量识别系统[A];中国电子学会第十五届信息论学术年会暨第一届全国网络编码学术年会论文集(下册)[C];2008年
7 王波;周晓光;苏志远;;基于节点状态的P2P流量识别系统[A];2008通信理论与技术新发展——第十三届全国青年通信学术会议论文集(下)[C];2008年
中国博士学位论文全文数据库 前6条
1 林冠洲;网络流量识别关键技术研究[D];北京邮电大学;2011年
2 田旭;互联网流量识别技术研究[D];北京邮电大学;2012年
3 彭建芬;P2P流量识别关键技术研究[D];北京邮电大学;2011年
4 张剑;宽带接入网流量识别关键技术研究[D];北京邮电大学;2011年
5 李冰;VoIP和P2P IPTV流量的识别与测量研究[D];天津大学;2010年
6 郭振滨;互联网测量与建模研究[D];北京交通大学;2012年
中国硕士学位论文全文数据库 前10条
1 王晓明;家庭网络流量识别与QoS控制[D];山东大学;2015年
2 石林;基于DPI的流量识别方法研究与应用[D];江西理工大学;2015年
3 练琪;基于聚类分析的应用层流量识别研究[D];湖南大学;2010年
4 朱欣;基于数据流挖掘技术的流量识别[D];苏州大学;2011年
5 张波;基于流特征的加密流量识别技术研究[D];哈尔滨工业大学;2012年
6 孙海霞;基于关联规则的流量识别方法研究[D];合肥工业大学;2009年
7 左建勋;网络流量识别技术研究及其应用[D];重庆大学;2007年
8 马保雷;基于概念漂移检测的自适应流量识别研究[D];哈尔滨工业大学;2013年
9 崔月婷;基于分类算法与聚类算法流量识别系统的研究[D];北京邮电大学;2010年
10 郭明亮;高速网络中实时流量识别系统的研究与设计[D];北京邮电大学;2010年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978