收藏本站
《上海交通大学》 2014年
收藏 | 手机打开
二维码
手机客户端打开本文

基于Hadoop技术的电信大数据分析平台的设计和实现

张国栋  
【摘要】:目前运营商的网络建设的逐步成熟,3G业务的快速发展,网络质量的好坏已成为电信运营商关注的重要课题,如何保证网络的高质量,已成为最重要的运营商网络优化工作。要满足这些需求就需要分析大量的数据,电信的无线PCMD话单和业务话单每天的数据量上TB级,原来的网络优化平台由于架构上的限制对如此大的数据量越来越力不从心。为了对海量的数据进行分析处理,快速查询统计达到对网络情况精确了解,进行精准网络优化,因此建立一个大数据分析平台势在必行。Hadoop[1]架构是业内公认的处理海量数据的高性价比解决方案。这个方案提供了一种可以构建在普通PC服务器上的高可用性、高性能的分布式计算和存储的方法。尤其适合于日志分析。因此开发一套基于Hadoop技术的电信大数据分析平台是电信网络优化部门的很好的选择。本文首先介绍了当前的Hadoop技术的发展现状,介绍了Hadoop技术及相关组件。重点对HDFS[2],YARN[3],Mapreduce[4],Hive[5],HBase[6]的工作原理进行的介绍,描述了电信大数据分析时运用hadoop技术的优势。也为电信大数据分析平台的设计和实现中运用这些技术打下一个基础。然后认真分析电信的用户投诉快速处理,小区负荷分析,业务质量分析,故障排查,重大场景保障,业务占比分析,全网指标统计,用户行为分析,主流业务分析等需求,以及分析电信大数据分析平台所处的位置后,进行了系统总体设计。通过对需求的分类,利用Hadoop中不同组件的特性,发挥各自优势,用Hbase实现了快速查询功能,用Hive实现了快速统计分析功能。另外实现中间件为外部系统提供一系列API接口,使其可以使用数据平台中的计算资源以及已经实现的数据分析算法等。在各个功能的实现过程中根据电信数据的特性对Hbase数据库的使用以及Hive表的使用进行了仔细规划和设计。在已实现的功能的使用中发现有数据倾斜等情况,没能完全发挥Hadoop的高并发的分布式系统的全部威力,根据各个任务情况和数据特性进行优化和调整,最终得到了性能上的提升。最后实现了电信大数据分析平台,其中包括实现了业务负荷,用户感知,实时监控,网络质量分析,安全问题分析,投诉处理等功能,并对电信大数据分析平台进行了展示。
【学位授予单位】:上海交通大学
【学位级别】:硕士
【学位授予年份】:2014
【分类号】:TP311.13

【相似文献】
中国期刊全文数据库 前10条
1 黄哲学;陈小军;李俊杰;王强;;面向服务的大数据分析平台解决方案[J];科技促进发展;2014年01期
2 王得燕;;以计算机专业为分析平台指导毕业生正确就业[J];科教文汇(上旬刊);2008年02期
3 成静静;喻朝新;;基于云计算的大数据统一分析平台研究与设计[J];广东通信技术;2013年01期
4 李伟坚;李溢杰;张正峰;李星南;仝晓明;;导向性场景分析平台的研究与实现[J];电信技术;2013年10期
5 师彪,于新花;企业分析系统——智能分析平台研究和新算法模型综述[J];计算机应用研究;2004年01期
6 廖琼明;银行数据统计分析平台的实现[J];中国金融电脑;2003年11期
7 黄震;黄云;;网络学习行为分析平台学习模式的设计与研究[J];软件导刊;2010年03期
8 ;Hadoop必将风靡2012年的六个理由[J];硅谷;2011年23期
9 ;智慧发现 不让大数据与我们擦肩而过[J];图书情报工作;2013年22期
10 卢彦卿;李君;赵振东;张顺颐;;网络业务流统计分析平台的设计与实现[J];电信快报;2007年07期
中国重要会议论文全文数据库 前4条
1 陈林;程登发;田喆;孙京瑞;;有害生物潜在分布预测分析平台研发[A];植物保护与现代农业——中国植物保护学会2007年学术年会论文集[C];2007年
2 何礼富;王鹏;;煤矿综合决策分析平台的功能设计及关键技术探讨[A];第九届全国采矿学术会议暨矿山技术设备展示会论文集[C];2012年
3 郭晓楠;钱磊;;基于外置式PXI构架的制导舱测试与分析平台设计[A];2010航空试验测试技术学术交流会论文集[C];2010年
4 黄涛;张国新;刘毅;贺光明;赵丽娜;;重力坝设计与分析平台系统开发[A];北京力学会第20届学术年会论文集[C];2014年
中国重要报纸全文数据库 前10条
1 刘霞;用友签约信地置业提供数据分析平台[N];中国质量报;2010年
2 YMG记者;加强监管 依法行政[N];烟台日报;2011年
3 江景叨 吴国宗;海宁市推出审计数据智能分析平台[N];中国审计报;2011年
4 《网络世界》记者 于翔;惠普推出大数据分析平台HAVEn[N];网络世界;2013年
5 本报记者 王博;比目云携手Actian推大数据分析平台[N];计算机世界;2014年
6 福禄克网络公司市场部总监 蔡昌信;全方位提升网络优化与维护[N];网络世界;2008年
7 本报记者 许继楠;解读IBM InfoSphere大数据分析平台[N];中国计算机报;2012年
8 本报记者 霍娜;2011年软件 大数据时代下走向软硬一体化[N];中国计算机报;2011年
9 通讯员 陈进 记者 朱敏丽;春兰建成新版仿真设计平台[N];泰州日报;2009年
10 本报记者 李国敏;新一代企业数据管理分析平台横空出世[N];科技日报;2005年
中国硕士学位论文全文数据库 前10条
1 康皓;基于模糊回归的模糊决策数据分析平台的设计与实现[D];东北师范大学;2005年
2 房柯池;构建基于约束的微生物代谢模型的计算分析平台[D];吉林大学;2008年
3 孙宽;局部应变远程分析平台的研究与开发[D];大连理工大学;2015年
4 李兰英;课堂教学语言行为分析平台的开发与应用[D];浙江师范大学;2013年
5 芦雪鹏;供电网分析平台客户端的设计与实现[D];西安科技大学;2013年
6 袁鹏;基于角色的水电站设备远程分析平台设计与开发[D];华中科技大学;2013年
7 刘国平;基金研究分析平台的设计与实现[D];对外经济贸易大学;2006年
8 陈昊;第三方物流运输综合分析平台的研究与设计[D];天津理工大学;2007年
9 张津实;毕业生就业情况分析平台的设计与实现[D];电子科技大学;2012年
10 刘雨娜;大用户能效分析平台的设计与实现[D];华北电力大学;2013年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026