收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

具有规模适应性的互联网流量识别方法研究

陈贞翔  
【摘要】: 互联网流量识别是互联网流量测量领域的研究热点问题之一。以P2P流量为主要对象的流量识别、管理已经成为学术界、网络工程界、国家有关部门普遍关心的问题。高效、准确地识别互联网流量对于分析网络发展趋势、提供服务质量保证、动态访问控制、网络合法管理、异常行为检测等都有很重要的现实意义。 传统的以知名端口和应用层载荷特征码为基础的流量识别方法难以应对端口伪装、端口随机选择和应用层数据加密等反监测技术趋势。基于应用行为和流特征的方法已经受到研究人员关注,但识别准确率、实时处理能力、自动学习能力和新应用发现能力等都是需要面对的挑战。 具有规模适应性的互联网流量识别方法的研究目标是面向不同网络规模、不同宏观程度以及不同识别粒度的分析需求,研究在不同层次和不同范围内对互联网传输的内容进行区分,对互联网应用行为进行分析的有效方法和组织方式。并从智能学习特性、在线实时处理能力、混合分类实施方式以及不同范围内的分布式处理方法等方面提出了新的目标。 论文基于此研究面向单点、有限网络规模和互联网范围的流量识别和行为分析方法。针对上述关键性问题展开研究,主要贡献和创新包括以下几点: (1)提出基于数据引力和细分识别空间理论的半监督学习(DGFDRS-SSL)模型,在此基础上研究基于流统计特征的机器学习流量识别方法。 把样本空间的数据点视为质量点,定义数据点之间的欧式距离为样本距离,借用万有引力定律提出数据空间中的数据引力(DG)理论,基于数据引力实施样本聚类。提出细分识别空间(FDRS)理论,对分类识别空间进行不同维度和细度的划分,采用染色的方法对划分后的识别空间进行区分,形成一个具有细分特征的识别空间。数据样本聚类后把聚类结果映射到细分识别空间,在染色原则指导下根据有“标记”样本对识别空间染色得到半监督学习分类训练模型。把模型用于面向单点的流统计特征流量识别,克服了传统有导师学习方法需要大量有分类“标记”样本缺点,具有较高的性能和新应用发现的能力。 (2)定义了互联网应用群体模型,提出面向有限网络规模的互联网应用群体发现和流量识别方法。 分析互联网应用的特性,定义互联网中不同应用行为的主机连接特征图。结合社会群体概念和有限网络范围内的行为主机之间聚集、共享和连接特征,研究基于行为特征图的动态互联网应用群体生成和发现方法。从不同层次和位置收集具有不同方向属性的节点行为信息用于分析有限规模的网络行为。借助宏观的群体特征发现实施微观粒度的流量识别、端口伪装和跨协议传输行为发现。适于有限规模内具有分布式和协同特征的应用行为分析,不受易变易伪装特征的影响。 (3)提出了面向互联网规模的自组织流量识别联盟模型。 结合DHT(分布式哈希表)的优点,研究利用虚拟存储和相同前缀Hash技术实现索引资源本地存储的方法,设计改进的Chord覆盖网络路由算法,并基于此设计无中心的自组织互联网流量识别和行为分析联盟模型。具有本地流量识别和行为分析功能的节点在遵守联盟协议的条件下可以加入联盟,并在联盟成员之间协助流量识别和行为分析,共享流量特征、数据样本和识别经验。克服了传统方法只能在有限组织机构之间通过固定设备和协议的协助,可扩展性差和开放性不足等缺点。 (4)提出并设计了一种获取有分类“标记”的真实网络流量数据样本的方法,结合网络处理器实现了流量样本采集平台。 设计客户端,利用静态过滤监测机制,采用Hook方式监视本地应用程序的网络调用。根据发起网络流量的应用程序或进程识别应用,并把对应程序分类信息标签嵌入相应数据包的TOS标志位,实现互联网流量的真实分类“标记”,同时具有流量分类验证功能。在网关出口利用网络处理器的快速硬件匹配能力检测数据包TOS标志位,采集带分类“标记”的流量样本,预处理后发布使用,实用有效。 (5)提出了一种基于机器学习的在线流量识别方法,并结合网络处理器实现1000Mbps有限线速处理目标。 研究互联网流量的时序相关性特征,获取行为节点之间的前序流量信息后进行分类识别,随后利用得到的前序流的识别结果指导后续流识别和分类,并随时根据获取流特征的变化进行调整和修正。发挥IXP-2400网络处理器的高速并行处理特性和软计算理论的智能特性,实现基于网络处理器和服务器相结合的软、硬件混合的流量识别平台,具备1000Mbps的有限线速处理能力。使基于机器学习的流量识别方法具有一定的在线实时识别能力。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 正华;网络处理器研发动态[J];电子产品世界;2001年01期
2 张人杰,蔡华,余少华;现代高速网络设备核心部件——网络处理器技术分析[J];数据通信;2002年03期
3 Editorial;Powerful的网络搜寻引擎协助指点迷津——IDT兼容性佳的NSE力求整体支持并重战略生态[J];电子与电脑;2005年11期
4 朱永庆;邹洁;;移动互联网流量管理相关问题探讨[J];电信科学;2009年06期
5 罗华,张思东,张宏科;基于IXP2400网络处理器的网络防护系统设计和实现[J];电信快报;2004年11期
6 陈军;基于IXP2400网络处理器的MPLS转发实现技术分析[J];福建电脑;2005年03期
7 高磊,张德运,李金库,李庆海;网络处理器平台下基于角色的分片审计研究[J];西安交通大学学报;2005年06期
8 ;NetLogic Microsystems与台积电就40nm技术展开合作[J];电子工业专用设备;2009年07期
9 赵国锋;吉朝明;徐川;;Internet流量识别技术研究[J];小型微型计算机系统;2010年08期
10 张钢钢,白英杰,徐媛;网络处理器Intel IXP1200应用[J];电子产品世界;2001年14期
11 谭章熹,林闯,任丰源,周文江;网络处理器的分析与研究[J];软件学报;2003年02期
12 Jeff Munch;网络处理器与CompactPCI[J];通讯世界;2003年04期
13 李秋江,韦卫,贺志强;网络处理器体系结构分析[J];计算机工程与应用;2004年05期
14 许建宏;;多核Router在Intranet中的应用[J];才智;2010年10期
15 ;TI具有嵌入式ZigBee PRO协议栈的最新ZigBee网络处理器[J];单片机与嵌入式系统应用;2011年03期
16 李洪杰,张宏科;用网络处理器构建核心路由器方案的研究[J];北方交通大学学报;2002年03期
17 张诗超,罗汉文;下一代网络的核心技术——网络处理器[J];通信技术;2002年05期
18 田勇 ,李立新 ,徐开勇 ,李福林;网络处理器IXP2400及应用[J];电子产品世界;2004年04期
19 田勇,李立新,徐开勇,李福林;网络处理器IXP2400及应用[J];电子产品世界;2004年07期
20 范华春,王颖,杨彬,李雪莹,陈宇,许榕生;基于网络处理器及协处理器的高速网IDS的研究[J];计算机工程与应用;2005年01期
中国重要会议论文全文数据库 前10条
1 马思瑶;尹佳斌;孙志刚;;网络处理器设计中的存储瓶颈问题[A];第15届全国信息存储技术学术会议论文集[C];2008年
2 张治洲;郑康锋;;一种高效的网络处理器资源访问算法[A];第十三届中国科协年会第11分会场-中国智慧城市论坛论文集[C];2011年
3 邵荣平;孙志刚;张晓明;;基于SOPC的网络处理器原型设计[A];2003中国通信专用集成电路技术及产业发展研讨会论文集[C];2003年
4 谷方明;刘大有;王新颖;;基于半监督学习的加权支持向量域数据描述方法[A];NDBC2010第27届中国数据库学术会议论文集(B辑)[C];2010年
5 许榕生;;网络安全与网络处理器[A];第11届全国计算机在现代科学技术领域应用学术会议论文集[C];2003年
6 杨源;马云龙;林鸿飞;;基于权重标准化SimRank与半监督学习的产品属性归类[A];中国计算语言学研究前沿进展(2009-2011)[C];2011年
7 胡淮杨;郑康锋;;一种基于网络处理器的IPTV负载均衡方案[A];2010通信理论与技术新发展——第十五届全国青年通信学术会议论文集(上册)[C];2010年
8 周鹏;郑康锋;;基于网络处理器高速深度检测防火墙的研究与设计[A];第十三届中国科协年会第11分会场-中国智慧城市论坛论文集[C];2011年
9 周卫华;倪县乐;丁炜;;基于IXP1200网络处理器的安全路由器的设计和实现[A];第六届全国计算机应用联合学术会议论文集[C];2002年
10 程胜;张勖;窦忠辉;丁炜;;基于IXP1200网络处理器的IP路由器的设计和分析[A];第六届全国计算机应用联合学术会议论文集[C];2002年
中国博士学位论文全文数据库 前10条
1 陈贞翔;具有规模适应性的互联网流量识别方法研究[D];山东大学;2008年
2 王健;中国外贸企业国际互联网应用研究[D];对外经济贸易大学;2005年
3 孔怡青;半监督学习及其应用研究[D];江南大学;2009年
4 单征;基于分层架构的网络处理器系统性能分析方法研究[D];解放军信息工程大学;2007年
5 王娇;多视图的半监督学习研究[D];北京交通大学;2010年
6 兰远东;基于图的半监督学习理论、算法及应用研究[D];华南理工大学;2012年
7 徐雪;样本的几何信息在半监督学习中的应用研究[D];中国科学技术大学;2010年
8 李韬;粗粒度数据流网络处理器设计关键技术研究[D];国防科学技术大学;2010年
9 许宪成;基于网络处理器的入侵检测系统设计与性能优化研究[D];华南理工大学;2010年
10 桂杰;基于图的半监督学习和维数约简方法及其应用研究[D];中国科学技术大学;2010年
中国硕士学位论文全文数据库 前10条
1 王晓华;面向网络处理器的编程模型研究[D];西北工业大学;2005年
2 王毅;网络处理器包传输结构的研究[D];西北工业大学;2004年
3 邵荣平;网络处理器并行处理技术研究[D];国防科学技术大学;2003年
4 廖杨;基于多核网络处理器的IP转发系统的设计与实现[D];电子科技大学;2010年
5 薛卫东;基于网络处理器IXP2350的网络流量控制研究与实现[D];西安科技大学;2010年
6 吴霖;基于多核网络处理器的P2P高速流量识别系统的设计与实现[D];苏州大学;2010年
7 文成玉;基于IXA的IP交换技术的研究与分析[D];电子科技大学;2004年
8 董明峰;面向网络处理器的软件开发平台的研究[D];西北工业大学;2005年
9 杜敏;基于IXP2400的防火墙应用设计与实现[D];电子科技大学;2004年
10 潘胜刚;网络处理器在全息存储数据通道中的应用研究[D];华中科技大学;2004年
中国重要报纸全文数据库 前10条
1 勤誉;网络处理器击退ASIC 成市场主流[N];电子资讯时报;2004年
2 胡成臣 王元元 刘斌;网络处理器的应用之道[N];计算机世界;2006年
3 杜荣华;网络处理器灵活应变[N];中国计算机报;2003年
4 记者 李淼;腾讯QQ 同时在线用户数过亿[N];中国新闻出版报;2010年
5 本报记者 王硕;网购已成互联网应用之首[N];人民政协报;2011年
6 记者 肖扬;探索模式 规范市场 保障安全[N];金融时报;2006年
7 本报记者 许泳;IP的尴尬[N];计算机世界;2007年
8 周晓慷 周宏伟;无锡电信开发系列互联网应用“大餐”[N];人民邮电;2006年
9 冯晓芳万一;全面渗透经济社会[N];市场报;2007年
10 记者 周敢普;走中国特色的互联网应用服务之路[N];科技日报;2000年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978