收藏本站
《北京邮电大学》 2013年
收藏 | 手机打开
二维码
手机客户端打开本文

基于网络流量监测的移动互联网特征研究

董超  
【摘要】:随着移动通信技术的发展,移动互联网用户逐年增多,多种移动网络应用已经成为人们生活的一部分。移动互联网因其场景的复杂性,流量的众多特征还未被学术界所认识。网络流量监测技术可以对移动网络流量进行保存,再借助数据挖掘等技术可以分析移动互联网的流量特征并对网络的特征值构建模型,从而为移动网络的设计和优化提供参考。本文的主要研究内容和创新点如下: (1)将云计算技术引入网络流量监测领域,创新性的利用云计算平台实现移动网络流量的存储和分析,构建了基于Hadoop云计算的海量网络流量分析平台。该平台可以实现对网络流量数据的分布式存储,用户通过提交脚本的方式实现分布式运算,极大的便利了海量网络流量的存储和处理。相关实验也证明本文基于Hadoop云计算的海量网络流量分析平台具有非常高的效率。 平台由数据导入模块、脚本解析模块、作业执行模块三大部分构成。数据导入模块是整个系统的基础,主要负责原始网络流记录的导入,清洗和索引的建立。脚本解析模块对用户编写的脚本进行检查后转换成MapReduce任务,由作业执行模块提交到Hadoop平台进行执行。本文对各模块的流程进行了说明,并对本文设计的网络流量分析脚本Log-QL语言的设计及解析方案进行详细说明。文中还对实验室的云计算平台进行了简要说明,并利用国内真实互联网采集的流量数据进行性能测试,证明了基于Hadoop云计算的海量网络流量分析平台的高效性。 (2)采用从国内某大城市骨干节点采集的CDMA移动互联网流量和ADSL固定互联网流量,对两种网络流量特征进行对比研究。首先对根据采集自真实网络流量的流量数据进行ARIMA模型建模,选取了较为合理的网络流量样本。并进行流量特征分析研究,内容包括协议分布,网络流长分布,流持续时间分布,两种网络的业务分布等。并对P2P流媒体协议特征进行研究及建模。 研究发现,监测的CDMA网络和ADSL网络流量分布都符合ARIMA模型。CDMA网络的传输协议以TCP为主,ADSL网络UDP协议流量占比更大。CDMA网络流的平均报文长度小于ADSL网络,且CDMA网络流的流持续时间小于ADSL网络,反映了移动网络的不稳定性。此外,在CDMA网络中的流下行/上行的比例要大于ADSL网络网络。基于两种网络的不同应用的流量分布,可以看到在CDMA网络中,网页浏览类应用占主导的地位,而新媒体类的应用逐渐占据了ADSL网络中的大部分流量。最后本文对网络中重点业务P2P流媒体的节点数分布进行了研究,发现CDMA网络和ADSL网络的P2P流媒体业务节点数符合不同的分布模型。 (3)利用云计算平台对彩信业务的流量分布规律及统计特性进行研究分析,基于国内某省采集的时长为1年的彩信流量。研究内容包括移动用户维度以及不同时间维度的彩信业务流量分布规律等。通过长时间粒度和短时间粒度对监测省份的彩信业务发送量、发送时间及发送速率等内容进行分析,并对短时间粒度的2G/3G彩信、个人与非个人彩信进行分析,最后对个人彩信到达间隔构建了模型。 本文使用在现网骨干网节点部署的10G速率的流量监测设备,采集南方某省时长为1年的彩信流量。文中对彩信的服务架构及数据采集过程进行了说明。流量特征分析分为长时间粒度和短时间粒度的分析。长时间粒度包含全年彩信发送量、彩信协议类型与端口号分布、全年彩信的成功率与失败率、彩信内容长度分布、接收时长分布以及传输速率分布。发现监测网络主要使用WAP2.0协议发送彩信,彩信长度集中在30至70KB,彩信接收时间通常为10秒,彩信发送速率集中在20至40Kbps。在进行短时间粒度的分析时,选取一周的彩信流量作为分析样本,主要研究了个人彩信与非个人彩信的流量特征,2G和3G彩信流量特征。发现监测网络中97%的彩信由2G网络进行发送,3G彩信的平均传输速度是2G彩信的三倍。最后对个人彩信的到达间隔进行了建模,发现Weibull分布可以较好的对个人彩信到达间隔进行拟合。 (4)针对网络的服务质量分析的需要,本文提出了一种基于K均值算法和C4.5算法的级联式的网络质量分析算法。该算法可以适用于不同种类的网络质量监测数据,通过现网采集的网络质量测量数据进行实验,验证了该算法的有效性和高效性。 算法处理对象为本研究团队研发的“面向用户的主动网络测量系统”采集的移动网络测量数据。该系统部署在国内南方某省的多个城市的移动网络节点,进行网络质量测量。网络质量分析算法分为训练模块和分析判别模块两个模块,训练模块对历史数据进行建模,分析判别模块利用建模数据对新的测量数据进行综合判定。在进行算法效果验证时,本文进行了大量的实验选取合理的K值和C4.5算法的等距离散值,并利用KKZ算法来进行聚类中心点的初始化选取。利用多个监测数据,证明了本文提出的级联算法的高效性。且该算法适用于不同的监测数据,它可以有效的调节单一算法的缺陷,总体提升判别指标的性能。
【学位授予单位】:北京邮电大学
【学位级别】:博士
【学位授予年份】:2013
【分类号】:TN915.06

手机知网App
【相似文献】
中国期刊全文数据库 前10条
1 包东智;移动互联网信息业务及市场发展[J];当代通信;2003年09期
2 大卫;移动互联网业务逻辑──互联网正向无线世界演进,运营商受益无穷[J];电信建设;2001年03期
3 苏菁,徐乔鹏;移动互联:未来信息社会新时尚[J];中国无线电管理;2001年05期
4 心怡;移动互联:渐入佳境[J];信息系统工程;2001年03期
5 梁英 ,李昆;移动互联网平台的构建[J];通信世界;2002年29期
6 吴德本;蔡晓红;;IPv6任重道远前景光明(上)[J];有线电视技术;2006年01期
7 ;新一代移动互联网测试 良好性能将大幅提升[J];办公自动化;2008年15期
8 许翠苹;;融合中的移动互联网[J];通讯世界;2008年05期
9 古月华;;移动互联网得终端者得天下[J];互联网天地;2008年09期
10 冯华;;向移动互联网转型——爱可视新品Archos IMT登陆中国[J];微电脑世界;2008年11期
中国重要会议论文全文数据库 前10条
1 赵川江;;浅析移动互联网时代电子渠道的作用[A];中国通信学会信息通信网络技术委员会2011年年会论文集(上册)[C];2011年
2 徐小雷;;面向下一代网络的移动互联网策略思考[A];2011年通信与信息技术新进展——第八届中国通信学会学术年会论文集[C];2011年
3 黄明科;王少杰;;移动互联网发展研究[A];四川省通信学会2011年学术年会论文集[C];2011年
4 郑宏剑;郑大永;;经营好移动互联网 助运营商转型——创新引领移动互联网发展的举措[A];四川省通信学会2010年学术年会论文集[C];2010年
5 王红梅;;移动互联网现状与趋势浅析[A];中国通信学会信息通信网络技术委员会2011年年会论文集(上册)[C];2011年
6 孙泽锋;;移动互联网发展技术与安全分析[A];中国通信学会信息通信网络技术委员会2011年年会论文集(上册)[C];2011年
7 闫彦;;移动互联网发展模式探讨[A];中国通信学会信息通信网络技术委员会2011年年会论文集(上册)[C];2011年
8 李慧;李华;;移动互联网在快递服务中的应用[A];2012中国快递论坛论文集[C];2012年
9 赵艳梅;朱晓燕;;转变运维模式,迎接移动互联网新挑战[A];中国通信学会信息通信网络技术委员会2011年年会论文集(上册)[C];2011年
10 汪军;梁亮;;面向移动互联网的业务路由叠加网络[A];中国通信学会信息通信网络技术委员会2011年年会论文集(上册)[C];2011年
中国重要报纸全文数据库 前10条
1 本报记者 洪黎明 谷歌中国工程研究院副院长 林斌 优视科技CEO 俞永福 139移动互联网首席运营官 罗川 无限讯奇副总裁 杨保宁;移动互联网:聚人气,更聚商机[N];人民邮电;2009年
2 本报记者 那罡;“手机僵尸病毒”成为移动互联网巨大隐患[N];中国计算机报;2010年
3 计育青;移动互联网剑指百万企业[N];中国电子报;2005年
4 本报记者 李传涛;掌讯的“细分梦想”[N];通信产业报;2009年
5 周晓娟;视频:TD与互联网的结合点[N];通信产业报;2009年
6 综合;雷军再度出山 转战移动互联网[N];经理日报;2008年
7 本报记者 翁佳焰;雷军东山再起订五年规划 能否争得移动互联网桂冠?[N];通信信息报;2008年
8 新华社记者 张忠霞;移动互联网产业蓬勃兴起[N];经济日报;2008年
9 ;英特尔中国大区移动互联网事业部总监郭京申:更多商务应用将推出[N];中国电子报;2009年
10 本报记者 张韬;移动互联网“冬天里的一把火”[N];上海证券报;2009年
中国博士学位论文全文数据库 前10条
1 董超;基于网络流量监测的移动互联网特征研究[D];北京邮电大学;2013年
2 何进;基于FLUTE协议的移动互联网高效传输问题的研究[D];吉林大学;2012年
3 陈晓天;基于软计算的IP网络流量监测和控制关键技术研究[D];南京邮电大学;2013年
4 蒋红艳;基于流量监控的网络性能优化关键技术研究[D];湖南大学;2010年
5 陈锋;面向用户体验的移动互联网资源管理研究[D];中国科学技术大学;2013年
6 苏伟;移动互联网路由理论与关键技术的研究[D];北京交通大学;2008年
7 李高广;电信运营商移动互联网商业模式研究[D];北京邮电大学;2009年
8 窦伊男;根据多维特征的网络用户分类研究[D];北京邮电大学;2010年
9 裴珂;移动计算网络中IP移动性研究[D];西安电子科技大学;2001年
10 王艳;基于生态学的运营商移动互联网商业模式研究[D];北京邮电大学;2008年
中国硕士学位论文全文数据库 前10条
1 温泉;WAP页面转换的实现技术研究[D];河海大学;2004年
2 张艺熙;创毅视讯公司营销战略研究[D];吉林大学;2011年
3 王宏星;移动互联网技术在旅游业中的应用研究[D];浙江大学;2004年
4 闫亚伟;基于移动互联网的大容量党建信息服务平台研究[D];北京邮电大学;2011年
5 张路菡;消费者选择移动互联网手机终端的影响因素研究[D];北京邮电大学;2011年
6 魏平洋;移动互联网中组播技术的研究[D];北京邮电大学;2011年
7 程安科;基于行动者网络理论的移动互联网产业盈利及利益协调研究[D];北京邮电大学;2010年
8 周晓燕;移动IP协议的研究与实现[D];电子科技大学;2001年
9 郑桂凤;移动互联网的用户行为分析系统的设计与实现[D];北京邮电大学;2010年
10 车文;移动互联网盈利模式研究[D];北京交通大学;2011年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026