收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于Flume/Spark的DPI数据处理的设计与实现

杨素伟  
【摘要】:伴随中国互联网战略的实施和移动智能终端的快速发展,移动互联网已经渗透到了经济社会的各个领域。近年来移动社交O2O、移动游戏媒体、餐饮O2O、交通O2O、旅游O2O、移动阅读视听等热点呈百家齐放趋势[1]。移动互联网的蓬勃发展,为改变人们的交往方式、有效提高生活质量发挥了重要作用的同时,企业面临的竞争环境也发生了巨大变化。企业拥有的知识技能和其他数据资产的数量及其应用效能已成为企业能否取得市场竞争优势的重要因素之一。为此,国内电信运营商的集团公司和很多省分公司将大数据作为其在移动互联网时代企业转型的战略性工作,开始试点了大数据系统的建设与应用,以充分挖掘企业的数据资产价值,创造新的利润增长点[2]。同时,随着移动用户数量的激增,移动应用类型日渐复杂,对互联网上的用户流量监测、行为分析与控制势在必行,进行全网移动互联网应用流量及类型分析和用户行为分析变得越来越重要。但是,随着移动互联网进一步发展,目前还没有全网统一的DPI数据采集和基于全网的应用分析,所以建设面向全网的基于DPI数据的移动互联网分析系统显得更为必要。本文针对电信集团智能网管系统建设的发展需要,首先开展了对DPI数据的下载,DPI数据采集及数据分析的流程调研,熟悉了 DPI数据处理功能及性能上的业务需求,明确了要运用的技术并进行了相关技术及数据的准备。在此基础上对业务需求进行了分析并建立了合理的需求模型和数据模型,对配置资源的进行了合理的规划分配,对系统的总体架构、流程、各个功能模块以及相关数据库结合UML图表进行了详细的设计分析与实现。本文将系统划分为DPI数据下载、DPI数据采集、DPI数据分析三大功能模块,其中DPI数据下载模块分为接口元数据管理、环境元数据管理、下载任务管理;DPI数据采集模块分为Flume组件管理、Flume元数据管理、Flume采集任务管理;DPI数据分析模块分为Spark任务管理、用户分析(2G、3G、4G及总活跃用户数;连接次数;连接时长;访问次数;请求总次数;HTTP请求成功率)、流量分析(用户区间流量;用户2G、3G、4G及总流量使用情况;移动应用占比)及业务分析(上网类型应用关系;移动终端占比;终端操作系统占比及漫游用户分布)等十三个功能。在整个系统中,DPI数据下载、DPI数据采集及DPI数据分析模块中的Spark任务管理是基于IDCP综合数据采集平台实现的,本文也对IDCP系统在DPI数据处理中的应用的相关功能进行了详细的阐述。系统设计与实现完成后进行了 DPI数据处理的功能测试和性能测试,编写测试用例,执行用例步骤,得出测试结果。通过对测试结果的分析,该DPI数据处理系统的实时性、准确性和有效性基本达到了设计要求,实现了预期建设目标,有效提升了电信集团智能网管系统运行的业务监督与管理水平。


知网文化
【相似文献】
中国期刊全文数据库 前19条
1 童威;黄启萍;;大数据时代教育的新图景与挑战[J];黑龙江科学;2018年07期
2 刘飞;;浅谈市政府12345热线政情民意分析系统建设[J];数码世界;2018年12期
3 范家杰;田熙清;郑博;;基于流式计算的DPI数据处理方案及实践[J];移动通信;2018年01期
4 王轩;;面向业务的企业元数据管理[J];金融电子化;2016年12期
5 赵士洁;;关于启用国家卫生数据字典与元数据管理系统[J];中国数字医学;2010年02期
6 滕光进;;元数据管理的探索与实践[J];金融电子化;2014年04期
7 魏光辉;李杰斌;王程玉;何震瀛;汪卫;;一种分布式系统上的元数据管理系统[J];计算机研究与发展;2013年S1期
8 张颖;;理论与实践相结合 构建企业级元数据管理体系[J];中国金融电脑;2013年07期
9 ;构建企业级元数据管理体系[J];金融电子化;2013年05期
10 黄展辉;项颖;;数据仓库元数据管理研究[J];福建电脑;2010年01期
11 姚晓辉;;企业数据仓库元数据管理孤岛困境的解决方案探讨[J];电信科学;2009年09期
12 牛晓琳;季民;赵志刚;;基于元数据管理的数据共享研究[J];舰船电子工程;2006年01期
13 向浩翔;宁洪;;元数据管理解决方案中查询检索部件的设计与实现[J];计算机应用;2006年11期
14 张秀坤;;基于知识的元数据管理系统的研究[J];长春工程学院学报(自然科学版);2006年04期
15 王炜;李建林;;一种基于元数据仓库的元数据管理模型设计[J];计算技术与自动化;2005年04期
16 王建芬,曹元大;数据仓库中元数据管理模型的研究[J];电脑开发与应用;2002年04期
17 张宁丹;;基于模型驱动的元数据管理[J];湘南学院学报;2009年02期
18 于千城;;商务智能系统中的元数据管理策略研究[J];电脑知识与技术;2008年28期
19 彭丹;;分布式元数据管理[J];现代计算机(专业版);2007年08期
中国重要会议论文全文数据库 前10条
1 孙立君;仇道霞;方竣峰;宋楠;;浅谈数据仓库中的元数据管理技术[A];中国烟草学会2009年年会论文集[C];2009年
2 李天印;;元数据管理在烟草商业数据中心建设中的应用浅析[A];河南省烟草学会2008年学术交流获奖论文集(上)[C];2008年
3 徐财江;陈和平;陈志荣;;土地利用现状数据元数据管理系统的设计与实现[A];2006年中国土地学会学术年会论文集[C];2006年
4 张继红;陈小全;;海量交通安全数据的元数据管理研究[A];2010年第16届全国信息存储技术大会(IST2010)论文集[C];2010年
5 郧文聚;王志刚;彭茹燕;周勇;戴维彬;谭斌;郭畅;;农用地分等定级估价元数据管理系统的设计与实现[A];节约集约用地 促进可持续发展[C];2005年
6 吴杰;谢昆青;蔡颖琨;;空间数据库中的元数据管理[A];第十九届全国数据库学术会议论文集(技术报告篇)[C];2002年
7 梁昌洪;;近代数据处理中的几个问题[A];1991年全国微波会议论文集(卷Ⅱ)[C];1991年
8 董静梅;陈佩杰;;过度训练对大鼠中性粒细胞呼吸爆发及吞噬功能的影响及DPI的干预作用[A];第九届全国体育科学大会论文摘要汇编(4)[C];2011年
9 刘莉;张定祥;黄思红;耿冲;;基于元数据管理的土地数据资料库服务系统建设[A];2006年中国土地学会学术年会论文集[C];2006年
10 张大中;;虚拟仪器在“测试技术与数据处理”教学中的应用[A];高等学校土木工程专业建设的研究与实践——第九届全国高校土木工程学院(系)院长(主任)工作研讨会论文集[C];2008年
中国博士学位论文全文数据库 前6条
1 朱琛刚;基于用户行为的流媒体服务质量优化方法[D];东南大学;2017年
2 陈靖;重磁数据处理及反演软件系统设计[D];长安大学;2017年
3 延皓;基于流量监测的网络用户行为分析[D];北京邮电大学;2011年
4 任崇广;面向海量数据处理领域的云计算及其关键技术研究[D];南京理工大学;2013年
5 李冰;云计算环境下动态资源管理关键技术研究[D];北京邮电大学;2012年
6 卫守林;分布式天文海量数据处理与控制研究[D];中国科学院大学(中国科学院云南天文台);2017年
中国硕士学位论文全文数据库 前10条
1 杨素伟;基于Flume/Spark的DPI数据处理的设计与实现[D];西安电子科技大学;2016年
2 秦菊;闭环KPI管理在绩效管理系统中的应用和实现[D];山东师范大学;2018年
3 李子森;基于电信DPI数据的电商用户行为分析[D];北京邮电大学;2017年
4 王坤;面向Hadoop的小文件存储机制研究[D];北京邮电大学;2018年
5 林焱;我国政府数据开放的元数据管理研究[D];武汉大学;2018年
6 常思源;海量网络数据环境下的元数据管理及应用[D];北京邮电大学;2017年
7 朱双涛;网格数据库中元数据管理机制的研究[D];华中科技大学;2007年
8 于千城;商务智能系统中元数据管理和应用研究[D];北方民族大学;2008年
9 魏光辉;分布式系统上的元数据管理系统査询模块的实现[D];复旦大学;2013年
10 王炜;一种数据仓库元数据管理模型及其公安综合应用[D];湖南大学;2005年
中国重要报纸全文数据库 前10条
1 ;元数据管理—控制BI之源[N];网络世界;2006年
2 特约记者 赵琳;我国元数据管理系统被CCOP采纳[N];中国矿业报;2011年
3 赵旭;元数据管理的五种成熟度[N];计算机世界;2006年
4 俞春霞;电子文件元数据管理实践取得新进展[N];中国档案报;2010年
5 ;元数据管理:构建BI第一步[N];人民邮电;2006年
6 刘庆;高屋建瓴,而非空中楼阁[N];网络世界;2006年
7 记者  李琼燕 通讯员  张未来;我省第二次全国残疾人抽样调查进入数据处理阶段[N];陕西日报;2006年
8 肖升初;经普数据处理不可忽视[N];中国信息报;2005年
9 刘荣梅 高振记 赵林林 杨燕;匠心独运,让“数据大餐”完美呈现[N];中国矿业报;2018年
10 邝宁华;ASG:实施SOX很简单[N];中国计算机报;2006年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978