收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于机器学习的网络流量识别方法与实现

马衍庆  
【摘要】:随着计算机网络技术的飞速发展和信息时代的到来,网络使用频率的不断增加造成了互联网的数据流量爆发式增长;网络新应用的不断出现造成了网络通信协议使用更加灵活、混杂;网络病毒、窃听和恶意攻击等行为不断增多造成了网络安全成为社会和政府部门关注的热点。这些问题可以通过网络流量识别得到很好的解决。因此,网络流量识也越来越受到人们的重视。 已经有许多不同的流量识别方法,但从研究和应用角度人们越来越关注流量识别的可行性和有效性,即如何快速地处理海量的数据和如何正确地识别网络中的各种应用。面临不断变化的网络环境,本论文主要研究基于机器学习(Machine Learning, ML)的网络流量识别方法,重点采用了后向传播(Back Propagation, BP)神经网络和支持向量机(Support Vector Machine, SVM)两种监督学习算法。 BP神经网络采用分布、并行的网状结构进行训练学习,使其容错性更高,处理速度更快;BP神经网络具有很好的非线性映射能力,可以模拟输入与输出的非线性关系;同时,BP神经网络是通过全局寻优的方式进行训练的,因此BP网络也具有很高的泛化能力。SVM则是针对小样本的机器学习方法,并且通过内积核函数将低维样本空间非线性映射到高维空间,其具有比较完善的理论基础。SVM采用“转导推理”(Transductive Inference)方法可以很容易的解决非线性多分类问题。SVM的最优分类超平面只由边界上有限的支持向量构成,使得SVM方法不仅简单有效,而且具有很好的鲁棒性。这两种机器学习算法都能够适应网络环境中的大数据和多样性,都能够快速有效的识别网络流量的应用类型。 本论文的流量识别系统是以家庭中的网络流为识别对象,该系统从功能上分为家庭网关和后台服务器两部分。家庭网关实时抓取数据包、提取特征,并通过机器学习的方法进行流量识别,然后将识别结果传送给后台服务器;后台服务器将识别结果存入数据库,并显示当前网络中流量的应用类型,便于管理者进行监管。论文研究的主要贡献如下: 1、通过对网络流量识别和机器学习的研究与分析,BP神经网络能够适应互联网的大数据和多样性特点,在此基础上选择了基于BP神经网络的流量识别方法。即选择三层的BP神经网络作为实现方案,其分类能力满足流量识别的要求并且结构简单易于实现。选择S型函数作为BP神经网络隐含层的转移函数,实现对网络流特征等输入信息的非线性映射。虽然BP神经网络容易陷入误差曲面的局部极小,但是通过粒子群算法(Particle Swarm Optimization, PSO)寻找具有全局最优特性的初始化权值,保证BP神经网络训练时能够进入误差曲面的全局最小。实验结果表明,经过PSO算法优化的BP神经网络能够很快寻找到误差曲面的全局最小值,并准确识别流量的网络应用类型。 2、仔细研究SVM解决线性和非线性分类问题的原理,在此基础上提出了基于SVM的流量识别方法,将SVM应用于网络流量识别领域。选择径向基函数作为SVM的核函数,实现从低维的网络流特征空间向更高维空间的非线性映射。并通过一对一方法(One-Against-One)构造了SVM多值分类器,使SVM能够识别多种网络应用类型。SVM在高维空间中生成最优超平面,实现对空间的划分和多种网络应用的分类,这是一种全局寻优的方式因此SVM的识别方法具有很好的泛化能力。实验结果表明,SVM非常适合解决网络流量识别这种非线性多分类问题,而且所需训练样本少,计算复杂度低,能够进行实时识别。 3、在家庭局域网中设计和实现了流量识别系统。根据机器学习的系统模型和监督学习的实现方法,设计了网络流量识别的总体架构,将其分为实时在线流量识别和离线训练学习两部分,具体过程包含抓取网络流的数据包,生成网络流的特征,选择训练集和测试集,对机器学习算法进行训练,和测试两种流量识别算法的分类效果。在系统实现方面,将BP神经网络和SVM的流量识别算法编写为程序,并移植到家庭网关(家庭网关由路由器搭建)中。在后台服务器的Linux平台上搭建Web服务器和安装MySQL数据库,实现家庭网关与后台服务器之间的交互通信、信息处理和存储。管理员则可以通过Web浏览器登录后台服务器观察当前家庭网络中流量识别结果。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 戴强;张宏莉;叶麟;;基于行为特征的P2P流量快速识别[J];微计算机信息;2009年03期
2 徐周李;姜志宏;莫松海;樊鹏翼;;基于应用层签名的P2P流媒体流量识别[J];计算机应用研究;2009年06期
3 曾燕;李春蔚;;BT小包流量识别技术研究[J];四川理工学院学报(自然科学版);2010年06期
4 贾波;邹园萍;;基于无监督学习的P2P流量识别[J];杭州电子科技大学学报;2011年04期
5 刘洪涛;;校园网中P2P流量的识别及其控制[J];武汉船舶职业技术学院学报;2007年04期
6 蒋海明;张剑英;刘琼;王秀娟;何霁野;;PPLive协议分析及流量识别[J];电讯技术;2009年05期
7 张磊;;利用统计特征结合神经网络的P2P流量识别方法[J];计算机安全;2010年05期
8 孙立霞;;流量识别和QoS控制在IP/MPLS业务路由器的实现[J];科技传播;2011年04期
9 李金宝;;基于校园网的P2P流量识别技术研究[J];吉林化工学院学报;2011年05期
10 张晓燕;张浩;;因特网流量识别及管理方案设计[J];网络安全技术与应用;2008年03期
11 梁伟;李晗;;网络流量识别方法研究[J];通信技术;2008年11期
12 李润知;闫伟;王宗敏;;基于连接模式的P2P流量识别的研究与实现[J];计算机应用研究;2009年02期
13 马永立;钱宗珏;寿国础;胡怡红;;机器学习用于网络流量识别[J];北京邮电大学学报;2009年01期
14 殷晓丽;田端财;;P2P流量识别技术分析[J];科技资讯;2009年08期
15 欧阳广;;BT流量实时检测与控制技术研究[J];现代计算机(专业版);2009年07期
16 颜凯;;校园网P2P流量监控技术分析[J];电信快报;2010年01期
17 盘善荣;傅明;史长琼;;支持向量机在P2P流量识别中的应用[J];计算机工程与科学;2010年02期
18 徐鹤;王锁萍;王汝传;赵丹;;基于神经网络集成的P2P流量识别研究[J];南京邮电大学学报(自然科学版);2010年03期
19 王超;张白愚;;DVB-S中即时通信语音流量识别技术研究[J];电视技术;2010年09期
20 吴敏;王汝传;蔡涛涛;;机器学习在P2P流量检测中的研究[J];计算机技术与发展;2010年11期
中国重要会议论文全文数据库 前7条
1 谢延;孙知信;;网络游戏流量特征字发现技术[A];中国电子学会第十五届信息论学术年会暨第一届全国网络编码学术年会论文集(上册)[C];2008年
2 马永立;寿国础;胡怡红;钱宗珏;区海平;;新型网络流量识别分析系统及其性能评估[A];第六届全国信息获取与处理学术会议论文集(2)[C];2008年
3 杜建清;黄少君;杨家海;;网络测量协作柔性支撑平台[A];2009年全国开放式分布与并行计算机学术会议论文集(下册)[C];2009年
4 陈月;孙知信;;MMORPG流量监测与系统实现[A];中国电子学会第十五届信息论学术年会暨第一届全国网络编码学术年会论文集(上册)[C];2008年
5 高长喜;辛阳;钮心忻;杨义先;;基于行为特征分析的P2P流量识别技术的研究[A];第一届中国高校通信类院系学术研讨会论文集[C];2007年
6 许刘兵;;基于人工神经网络的P2P流量识别模型的研究[A];中国电子学会第十五届信息论学术年会暨第一届全国网络编码学术年会论文集(上册)[C];2008年
7 李明;贾波;;基于神经网络的P2P流量识别方法[A];浙江省信号处理学会2011学术年会论文集[C];2011年
中国博士学位论文全文数据库 前10条
1 陈贞翔;具有规模适应性的互联网流量识别方法研究[D];山东大学;2008年
2 周丽娟;P2P流媒体识别方法的研究[D];华中科技大学;2008年
3 刘国乐;P2P网络的资源优化与若干安全问题研究[D];北京邮电大学;2013年
4 蒋一波;现代分布式工业监控系统中网络测量与控制关键技术的研究与应用[D];浙江工业大学;2008年
5 李锐;IP网业务识别关键技术研究[D];北京邮电大学;2010年
6 郭振滨;互联网测量与建模研究[D];北京交通大学;2012年
7 王攀;IP网络业务识别关键技术研究[D];南京邮电大学;2013年
8 赵博;网络加密流量的协议不相关在线识别技术研究[D];解放军信息工程大学;2012年
9 彭建芬;P2P流量识别关键技术研究[D];北京邮电大学;2011年
10 李冰;VoIP和P2P IPTV流量的识别与测量研究[D];天津大学;2010年
中国硕士学位论文全文数据库 前10条
1 沈文旭;情报传输网络中流量识别技术研究与应用[D];吉林大学;2014年
2 马衍庆;基于机器学习的网络流量识别方法与实现[D];山东大学;2014年
3 王泽琪;基于菌群优化算法和小波SVM的P2P流量识别方法[D];湖北工业大学;2014年
4 李沁沄;融合杜鹃搜索的粒子群算法的P2P流量识别方法研究[D];湖北工业大学;2014年
5 陈敏;网络综合测量探针软件系统设计与实现[D];中国科学院研究生院(计算技术研究所);2006年
6 张海宁;流量属性选择在P2P流量识别中的应用研究[D];北京邮电大学;2008年
7 苏欣;基于聚类算法的流量识别方法研究及系统实现[D];湖南大学;2008年
8 汤昊;P2P流量控制系统的研究与实现[D];华中科技大学;2007年
9 周磊戈;基于P2P流特征的流量识别技术研究[D];中南大学;2009年
10 夏永俊;防火墙中P2P流量控制方案的研究与设计[D];西安电子科技大学;2008年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978