收藏本站
《北京邮电大学》 2011年
收藏 | 手机打开
二维码
手机客户端打开本文

网络流量识别关键技术研究

林冠洲  
【摘要】:随着网络基础设施的持续建设和网络终端技术的发展,国内网络用户数量和网络应用规模快速增长。国家对于第三代移动通信技术、三网融合工程和物联网等新兴技术领域的政策扶持进一步加速了网络信息化的发展。网络应用的发展加快了产业融合,提升了社会运行效率,丰富了人们的精神生活,但是也带来了网络流量急剧膨胀、网络信息安全隐患加大和网络传播内容监管困难等多方面的问题。网络运营商、企业和政府监管部门对于网络流量的监督管理需求不断加大,而精确快速的网络流量识别能力是解决这些问题的首要前提。 本文旨在应对使用加密传输、动态端口传输等新兴的反识别技术的挑战,在分析现有网络流量识别技术的优缺点和关键技术点的基础上,深入研究网络流量识别方法、识别特征自动提取方法和网络流量识别管理系统的关键技术,从而有助于合理控制网络带宽消耗,提供差异化网络服务,有助于有效监管网络传播内容,防范网络安全威胁。本文的主要内容包括: (1)基于深度报文检测的网络流量识别方法具有识别准确率高、识别效率快的优点,而识别规则的准确性直接影响到识别结果。针对现有依靠人工提取识别规则无法满足众多网络应用软件更新改版所带来的识别规则更新的需求,本文提出采用改进的基于PrefixSpan序列模式挖掘算法的网络流量识别特征自动提取方法,在序列连续属性和偏移属性的约束下,通过双层迭代方式从同一网络协议或网络应用软件生成的多组网络流量中自动提取出共有的网络流量识别特征。该算法挖掘出网络流量中存在的全部连续频繁子序列集合,并通过偏移约束有效控制频繁序列的规模。实验表明,通过合理设定算法参数,可以得到有效的高精度的网络流量识别特征。 (2)基于半监督学习的网络流量识别方法能够有效识别未知网络流量,并且易于将聚类生成结果与实际网络应用类型进行匹配。现有基于半监督学习的网络流量识别方法采用的基于K均值的聚类算法饱受初始簇中心选择结果的影响。本文改进了原有基于半监督学习的网络流量识别方法中随机选择K均值算法初始簇中心的模式,采用基于己标记数据对象和贪心算法的原理来选择初始簇中心,对聚类结果依据最大似然估计与实际的网络应用类型相匹配,从而加速了聚类算法的收敛速度。实验结果表明,相比于原有算法,改进的算法在识别结果的总体准确率和平方误差和指标上均具有优势。 (3)现有的网络流量识别控制系统架构大多采用单一的流量识别方法,在追求识别准确率和效率与识别未知网络流量两个方面存在矛盾。本文改进了已有的系统架构,提出基于深度报文检测识别方法和基于数据挖掘识别方法相结合的系统架构。架构采用独立识别、以优先级为标准统一判定的模式进行网络流量识别。同时,架构中加入了网络流量识别规则自动提取模块和网络流量识别模型训练模块,利用抽样算法选取部分网络流量识别结果进行自学习来自动更新维护识别规则库和基于数据挖掘算法的识别方法中使用的网络流量识别模型。架构支持多种流量控制手段和部署方式。 (4)对于网络流量进行识别的目的是为了对特殊流量进行管理控制,而限制传输速度是其中的主要需求之一。已有的网络流量旁路限速方法无论是采用发送伪造的干扰报文的手段还是网络设备联动控制的手段均存在局限性。本文提出基于TCP协议头部格式中滑动窗口字段的网络流量旁路限速方法。方法依照TCP协议规定的传输流程,通过发送带有伪造滑动窗口值的干扰数据包,使得旁路部署的网络流量识别控制设备可以精确控制采用TCP协议传输的数据流的传输速率。另外,本文提出网络流量自身成分比例因素对于流量识别控制系统吞吐量的影响评估模型,从数据流和数据字节数两个方面给出评估公式,用于量化得出系统在给定的网络流量构成比例下的实际解析能力,从而在进行系统性能评估时减少系统性能的设计冗余。
【学位授予单位】:北京邮电大学
【学位级别】:博士
【学位授予年份】:2011
【分类号】:TP393.06

【引证文献】
中国硕士学位论文全文数据库 前2条
1 顾贤;DPI Monitor系统的设计与实现[D];北京交通大学;2012年
2 路林;即时通信协议的特征与通联关系分析[D];解放军信息工程大学;2012年
【参考文献】
中国期刊全文数据库 前10条
1 赵艳厂,宋梅,谢帆,宋俊德;用于不同密度聚类的多阶段等密度线算法[J];北京邮电大学学报;2003年02期
2 牛琨;张舒博;陈俊亮;;融合网格密度的聚类中心初始化方案[J];北京邮电大学学报;2007年02期
3 韦安明;王洪波;程时端;林宇;;高速网络中P2P流量检测及控制方法[J];北京邮电大学学报;2007年05期
4 陈姝,方滨兴,周勇林;P2P技术的研究与应用[J];计算机工程与应用;2002年13期
5 王虎;丁世飞;;序列模式挖掘研究与发展[J];计算机科学;2009年12期
6 杨虎;张大方;谢鲲;雷渊明;何施茗;;Netfilter/Iptables框架下基于TCP滑动窗口的串行流量控制算法[J];计算机工程与科学;2009年10期
7 顾涛,张兴智;K均值聚类法结果的非确定性实验研究及其改进[J];计算机学报;1984年05期
8 沈富可;常潘;任肖丽;;基于BP神经网络的P2P流量识别研究[J];计算机应用;2007年S2期
9 刘颖秋;李巍;李云春;;网络流量分类与应用识别的研究[J];计算机应用研究;2008年05期
10 邹翔,张巍,刘洋,蔡庆生;分布式序列模式发现算法的研究[J];软件学报;2005年07期
中国博士学位论文全文数据库 前1条
1 李锐;IP网业务识别关键技术研究[D];北京邮电大学;2010年
【共引文献】
中国期刊全文数据库 前10条
1 王精明;;基于JXTA的分布式系统的研究和实现[J];安徽科技学院学报;2006年05期
2 马帅,唐世渭,杨冬青,王腾蛟,高军;移动环境中的最大移动序列模式挖掘(英文)[J];北京大学学报(自然科学版);2004年03期
3 牛琨;张舒博;陈俊亮;;融合网格密度的聚类中心初始化方案[J];北京邮电大学学报;2007年02期
4 夏英;孙冲武;;基于时空序列模式匹配的兴趣点推荐方法[J];重庆邮电大学学报(自然科学版);2011年03期
5 于晓鹏;张岩;李永丽;李巍;;基于IPv6对等网技术的资源共享方法[J];吉林大学学报(信息科学版);2010年03期
6 郑金彬;;一种基于m元树结构的序列模式挖掘[J];赤峰学院学报(自然科学版);2010年10期
7 董辉;方晓;方跃胜;;一种时序关联规则挖掘算法的研究与实现[J];长春工程学院学报(自然科学版);2012年01期
8 袁余民;傅鹂;葛玉森;;基于移动Agent的分布式安全审计系统的研究[J];重庆科技学院学报(自然科学版);2009年01期
9 黄金;;基于频繁模式的蛋白质序列分类[J];东北农业大学学报;2008年05期
10 任家东;宗俊省;;一种基于规则表达式约束的序列模式增量式挖掘算法[J];燕山大学学报;2007年05期
中国重要会议论文全文数据库 前10条
1 姚伟力;王锡禄;宋俊德;;基于序列模式挖掘的告警相关性分析算法[A];2005年信息与通信领域博士后学术会议论文集[C];2005年
2 于健;陈子军;李霞;李炜;;一种新的多密度聚类算法[A];2007北京地区高校研究生学术交流会通信与信息技术会议论文集(上册)[C];2008年
3 林燕;姚青;;P2P中基于移动Agent的信息发现技术的研究[A];第11届全国计算机在现代科学技术领域应用学术会议论文集[C];2003年
4 单莘;;一种网络告警的增量式情景规则挖掘方法[A];中国通信学会第五届学术年会论文集[C];2008年
5 赵锐;傅光轩;;一种基于IPv6的新型P2P网络模型的设计[A];中国通信学会第五届学术年会论文集[C];2008年
6 叶伟芳;;基于P2P的搜索技术和方法研究[A];第二届全国信息检索与内容安全学术会议(NCIRCS-2005)论文集[C];2005年
7 潘瑾;严勇;王晨;方晨;汪卫;施伯乐;;Chopper:一个高效的有序标号树频繁结构的挖掘算法[A];第二十届全国数据库学术会议论文集(研究报告篇)[C];2003年
8 吴先荣;杨冬青;唐世渭;王腾蛟;;基于序列树的告警相关性分析[A];第二十届全国数据库学术会议论文集(技术报告篇)[C];2003年
9 吕静;陈未如;刘俊;Osei Adjei;;并发分支模式挖掘[A];第二十一届中国数据库学术会议论文集(技术报告篇)[C];2004年
10 吴铁峰;彭宏;张东娜;;一种网络告警的增量挖掘算法[A];第二十一届中国数据库学术会议论文集(技术报告篇)[C];2004年
中国博士学位论文全文数据库 前10条
1 李彤岩;基于数据挖掘的通信网告警相关性分析研究[D];电子科技大学;2010年
2 程文聪;面向大规模网络安全态势分析的时序数据挖掘关键技术研究[D];国防科学技术大学;2010年
3 叶红云;面向金融营销问题的个性化推荐方法研究[D];合肥工业大学;2011年
4 朱辉生;基于情节规则匹配的数据流预测研究[D];复旦大学;2011年
5 李国波;认证与恢复统一的自嵌入水印算法及其拓展应用研究[D];复旦大学;2011年
6 冯博;基于半结构化数据的数据流挖掘算法研究[D];北京邮电大学;2011年
7 刘维;生物序列模式挖掘与识别算法的研究[D];南京航空航天大学;2010年
8 杨钤雯;序列模式挖掘方法及Web使用挖掘研究[D];天津大学;2010年
9 顾亦然;基于复杂网络理论的信息网络关键技术的研究[D];南京邮电大学;2010年
10 马超飞;基于关联规则的遥感数据挖掘与应用[D];中国科学院研究生院(遥感应用研究所);2002年
中国硕士学位论文全文数据库 前10条
1 王素云;基于特征进程的P2P流量识别方法研究[D];山东科技大学;2010年
2 史文财;省级政务网安全检测系统的设计与实现[D];哈尔滨工程大学;2010年
3 玄世昌;P2P数据流识别与监控技术研究[D];哈尔滨工程大学;2010年
4 任芳;时间序列数据挖掘研究[D];辽宁师范大学;2010年
5 冯兴祥;关联规则挖掘在高校招生录取中的应用[D];合肥工业大学;2010年
6 陈晶;基于序列模式挖掘算法的入侵检测研究[D];华东师范大学;2011年
7 王炜;移动协作环境下的自适应管理及推荐策略研究与实现[D];华东师范大学;2011年
8 马萌;基于云的协议识别模型与算法研究[D];北京邮电大学;2011年
9 白霜;DNA序列的最大频繁模式挖掘[D];南昌大学;2010年
10 江百林;基于P2P的流媒体远程教学系统的设计与实现[D];电子科技大学;2010年
【同被引文献】
中国期刊全文数据库 前10条
1 金婷;王攀;张顺颐;陆青莲;陈东;;基于DPI和会话关联技术的QQ语音业务识别模型和算法[J];重庆邮电学院学报(自然科学版);2006年06期
2 刘应平;;局域网异常数据包监控与处理系统的设计[J];电脑开发与应用;2010年12期
3 余飞;吴鑫;;基于网络数据包的即时通信协议信息还原技术的研究[J];电子测量技术;2010年06期
4 苏俊燕;孔令江;刘慕仁;;加权网络上的舆论演化模型研究[J];广西师范大学学报(自然科学版);2006年02期
5 梁理,黄樟钦,侯义斌;网络信息侦听系统的研究与实现[J];计算机工程与应用;2002年17期
6 张大兴;网络数据包分析系统的设计[J];计算机工程;2001年10期
7 缪嘉嘉;张瞩熹;贾焰;吴泉源;;一种基于数据流的网络威胁监控框架[J];计算机工程与科学;2009年12期
8 刘颖秋;李巍;李云春;;网络流量分类与应用识别的研究[J];计算机应用研究;2008年05期
9 谢慧;吴晓平;张志刚;王李民;;基于蚁群聚类的入侵检测技术研究[J];计算机应用研究;2010年08期
10 蒋建春,马恒太,任党恩,卿斯汉;网络安全入侵检测:研究综述[J];软件学报;2000年11期
中国重要会议论文全文数据库 前1条
1 叶颖;严毅;;UNIX的入侵检测及防范[A];广西计算机学会2004年学术年会论文集[C];2004年
中国博士学位论文全文数据库 前4条
1 柳斌;P2P流的测量与识别方法研究[D];华中科技大学;2008年
2 杨蓓;数据流top-K频繁模式挖掘算法研究[D];北京交通大学;2009年
3 李锐;IP网业务识别关键技术研究[D];北京邮电大学;2010年
4 赵远萍;即时通信系统拓扑建模及消息传播模型研究[D];北京邮电大学;2010年
中国硕士学位论文全文数据库 前7条
1 吴琼;即时通信信息检测监控技术的研究与实现[D];解放军信息工程大学;2010年
2 杨慧洁;邮件通联关系网络中重要节点及社团发现技术研究[D];解放军信息工程大学;2010年
3 刘楝;邮件通联网络变化检测关键技术研究[D];解放军信息工程大学;2011年
4 陈萍;网络入侵检测系统的研究与实现[D];山东大学;2008年
5 赵瑞;基于特征串的P2P流量识别研究与实现[D];电子科技大学;2009年
6 朱树永;协议识别技术研究[D];国防科学技术大学;2008年
7 胥清化;基于正则表达式的高速协议识别研究与实现[D];国防科学技术大学;2008年
【二级参考文献】
中国期刊全文数据库 前10条
1 赵艳厂,谢帆,宋俊德;一种新的聚类算法:等密度线算法[J];北京邮电大学学报;2002年02期
2 赵艳厂,宋梅,谢帆,宋俊德;用于不同密度聚类的多阶段等密度线算法[J];北京邮电大学学报;2003年02期
3 陆介平;刘月波;倪巍伟;陈耿;孙志挥;;基于投影数据库的序列模式挖掘增量式更新算法[J];东南大学学报(自然科学版);2006年03期
4 李江涛,姜永玲;P2P流量识别与管理技术[J];电信科学;2005年03期
5 马传香;张凌;;序列模式挖掘算法的分析与比较[J];湖北大学学报(自然科学版);2006年02期
6 张坤;朱扬勇;;无重复投影数据库扫描的序列模式挖掘算法[J];计算机研究与发展;2007年01期
7 肖仁财;薛安荣;;一种挖掘多维序列模式的有效方法[J];计算机工程与应用;2008年06期
8 吕静,王晓峰,Osei Adjei,Fiaz Hussain;序列模式图及其构造算法[J];计算机学报;2004年06期
9 俞研;黄皓;;一种半聚类的异常入侵检测算法[J];计算机应用;2006年07期
10 陈卓;杨炳儒;宋威;宋泽锋;;序列模式挖掘综述[J];计算机应用研究;2008年07期
【相似文献】
中国期刊全文数据库 前10条
1 任敬安,李建平,谢洪涛,陈飞,张敏;基于小波技术的校园网流量分形特性研究[J];后勤工程学院学报;2005年03期
2 马维旻,李忠诚;基于流的网络流量特征分析[J];小型微型计算机系统;2005年09期
3 张弢;使用MRTG监控并统计网络流量[J];信息通信;2005年05期
4 魏进武;汪斌强;邬江兴;;多重分形网络流量的单队列输入排队性能研究[J];电子学报;2006年04期
5 陈英;;解决校园网流量之痛[J];中国教育网络;2006年07期
6 杨哲;;基于SOM人工神经网络的网络流量聚类分析[J];计算机工程;2006年16期
7 林天峰;;基于最大熵原理的网络流量预测综合模型[J];微电子学与计算机;2006年08期
8 王琨月;;A10发布EX系列安全产品[J];每周电脑报;2006年44期
9 蔡忠闽;秦涛;;网络流的层次化分析及其在蠕虫早期检测中的应用[J];西安交通大学学报;2007年04期
10 冯怀成;;网络流量的单分形和多分形特性研究[J];中国高新技术企业;2007年03期
中国重要会议论文全文数据库 前10条
1 王维涛;安洪勇;;基于Sniffer技术的局域网网络流量分析[A];2008'中国信息技术与应用学术论坛论文集(二)[C];2008年
2 雷霆;余镇危;;网络流量行为分析的一维元胞自动机模型[A];2007年全国开放式分布与并行计算机学术会议论文集(下册)[C];2007年
3 周汝强;高军;胡光岷;姚兴苗;;基于层叠模型的网络流量异常检测[A];2006中国西部青年通信学术会议论文集[C];2006年
4 贺龙涛;隋杰;;网络内容检测中的串匹配算法实现研究[A];全国网络与信息安全技术研讨会论文集(下册)[C];2007年
5 齐法制;王彦明;崔涛;刘宝旭;;基于nProbe的网络流量采集与分析系统设计与实现[A];第十四届全国核电子学与核探测技术学术年会论文集(下册)[C];2008年
6 雷霆;余镇危;;网络流量的平均场模型及其动力学行为分析[A];2009中国控制与决策会议论文集(3)[C];2009年
7 吴明元;留凯;;网络信息安全问题及对策[A];中国水力发电工程学会信息化专委会2007年学术交流会论文集[C];2007年
8 齐法制;王彦明;崔涛;刘宝旭;;基于nProbe的网络流量采集与分析系统设计与实现[A];第十四届全国核电子学与核探测技术学术年会论文集(2)[C];2008年
9 马永立;寿国础;胡怡红;钱宗珏;区海平;;新型网络流量识别分析系统及其性能评估[A];第六届全国信息获取与处理学术会议论文集(2)[C];2008年
10 王风宇;云晓春;曹震中;;多时间尺度同步的高速网络流量异常检测[A];全国网络与信息安全技术研讨会论文集(上册)[C];2007年
中国重要报纸全文数据库 前10条
1 ;启明星辰天玥网络安全审计[N];中国计算机报;2007年
2 宫曙光;即墨网通优化城域网服务质量[N];人民邮电;2007年
3 本报记者 许泳;Wi—Fi定位 安全有术[N];计算机世界;2009年
4 王臻;应对中国P2P窘境[N];计算机世界;2005年
5 ;用压缩,出口不窄[N];网络世界;2004年
6 商报实习记者 魏蔚;微博将变革网络流量获取方式[N];北京商报;2011年
7 中国移动研究院 李洋 博士;网络流量尽在掌控[N];计算机世界;2009年
8 ;蓝波公司表示 网络过堵则封BT[N];人民邮电;2006年
9 中科院计算所 李洋;使用Webalizer进行网络流量日志分析[N];计算机世界;2006年
10 曹江华;部署网络分析仪EtherApe[N];计算机世界;2007年
中国博士学位论文全文数据库 前10条
1 林冠洲;网络流量识别关键技术研究[D];北京邮电大学;2011年
2 林平;网络流量的离线分析[D];北京邮电大学;2010年
3 马晓艳;网络流量模型化与拥塞控制研究[D];北京化工大学;2012年
4 杨越;基于超统计理论的网络流量异常检测方法研究[D];华中科技大学;2010年
5 夏正敏;基于分形的网络流量分析及异常检测技术研究[D];上海交通大学;2012年
6 蒋定德;大尺度IP流量矩阵估计关键技术研究[D];电子科技大学;2009年
7 苏广文;面向城域网的网络流量建模研究[D];西北工业大学;2007年
8 魏进武;基于分形的网络流量建模及排队性能研究[D];解放军信息工程大学;2006年
9 于华;网络流量监控中的若干基本问题研究与分析[D];北京邮电大学;2011年
10 王苏南;高速复杂网络环境下异常流量检测技术研究[D];解放军信息工程大学;2012年
中国硕士学位论文全文数据库 前10条
1 吴文清;基于系统动力学的网络业务研究[D];天津大学;2004年
2 周虹;网络信息流量测量仪设计与实现[D];中南大学;2008年
3 陆飞跃;网络流量控制系统的分析及实现[D];北京邮电大学;2010年
4 许辉;IP网络流量变权组合预测模型研究[D];南华大学;2010年
5 陈亚军;自相似网络流量的产生与研究[D];武汉科技大学;2005年
6 杜瑞峰;网络流量监测技术的研究及其在安全管理中的应用[D];中南大学;2005年
7 谭铣康;无线网络安全分析[D];江南大学;2011年
8 苗序娟;网络流量的检测与分析[D];天津工业大学;2005年
9 韩志杰;基于预测的WSN多路径路由算法研究[D];河南大学;2006年
10 龙洋;DCS系统网络流量监测的研究[D];华北电力大学(河北);2009年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026