收藏本站
《中国科学院大学(中国科学院沈阳计算技术研究所)》 2018年
收藏 | 手机打开
二维码
手机客户端打开本文

基于Spark的融合通信大数据分析关键技术的设计与实现

王培培  
【摘要】:当前的融合通信系统是以满足用户的多媒体通信及协同的业务需求为主要目标,注重于消息、音视频、数据传输等基本交互功能的开发与应用,但是没能够将传统通信业务与前沿数据挖掘技术进行有效融合。在海量数据的背景下,传统的单机处理能力已经无法满足信息处理的要求。对于融合通信领域内的数据挖掘技术在大数据场景中面临数据量过大的问题,所以通信领域的数据挖掘与机器学习算法也需要进行大规模并行化。为了探索融合通信领域数据的更多价值,本文通过对融合通信系统数据建立了社交网络关系挖掘模型,提出融合标签的用户影响力评价模型并将其并行化来适应大规模数据的需要。该模型将用户网络拓扑结构、用户交互行为和用户基本信息数据融合到模型中,避免了传统用户影响力分析模型仅从单一角度进行挖掘的问题,充分利用融合通信领域数据价值提升了预测结果的准确性。同时利用Spark的并行化接口将模型并行化实现,并将模型结果在融合通信智能分析平台上进行可视化展示。依据融合通信大数据分析的具体应用场景,需要大数据分析平台予以支撑。利用开源的大数据工具,本文对融合通信相关的背景进行分析,设计了以Spark为核心的融合通信智能分析平台的整体架构方案,并对该架构中的各个模块予以实现。在平台上完成对于大规模通信数据的采集与整合、分析与挖掘、结果可视化的工作。同时,在平台上对融合通信系统用户的影响力分析模型进行研究。
【学位授予单位】:中国科学院大学(中国科学院沈阳计算技术研究所)
【学位级别】:硕士
【学位授予年份】:2018
【分类号】:TP311.13

【参考文献】
中国期刊全文数据库 前10条
1 周飞;高茂庭;;基于PageRank的网络社区意见领袖发现算法[J];计算机工程;2018年02期
2 顾瑞春;王静宇;;SARank:一种学术社交网络用户影响力分析模型[J];计算机技术与发展;2018年03期
3 毛国君;谢松燕;胡殿军;;PageRank模型的改进及微博用户影响力挖掘算法[J];计算机应用与软件;2017年05期
4 郁启麟;;K-means算法初始聚类中心选择的优化[J];计算机系统应用;2017年05期
5 徐杰;王菊韵;张海云;;基于复杂网络的社交网络用户影响力研究[J];中国传媒大学学报(自然科学版);2017年02期
6 孙海;;Spark的图计算框架:GraphX[J];现代计算机(专业版);2017年09期
7 文馨;陈能成;肖长江;;基于Spark GraphX和社交网络大数据的用户影响力分析[J];计算机应用研究;2018年03期
8 许为;林柏钢;林思娟;杨旸;;基于多标签传播的社交网络用户影响力评估[J];计算机科学;2016年10期
9 韩忠明;陈炎;刘雯;原碧鸿;李梦琪;段大高;;社会网络节点影响力分析研究[J];软件学报;2017年01期
10 张俊豪;顾益军;张士豪;;基于PageRank和用户行为的微博用户影响力评估[J];信息网络安全;2015年06期
中国硕士学位论文全文数据库 前10条
1 徐文涛;社交网络中用户影响力及个性化排名相关技术研究[D];安徽大学;2017年
2 马志亨;基于Spark的日志分析工具的设计与实现[D];西安电子科技大学;2017年
3 林艺君;基于Spark平台的网络数据分析系统的设计与实现[D];北京邮电大学;2017年
4 崔印昌;基于Spark的社会网络分析系统的设计与实现[D];北京邮电大学;2017年
5 解书亮;基于Spark的分布式ETL研究与应用[D];东华大学;2017年
6 蒿翠玲;基于Spark框架的分布式ETL设计与实现[D];华中科技大学;2016年
7 任留名;基于社会特性的社交网络影响力分析[D];合肥工业大学;2016年
8 牛倩;基于Spark的数据分析建模工具的设计与实现[D];华北电力大学(北京);2016年
9 邓凯;社交网络大数据分析平台及用户转发行为分析[D];西安电子科技大学;2015年
10 王鹏;云平台下日志分析系统的设计与实现[D];北京邮电大学;2013年
【共引文献】
中国期刊全文数据库 前10条
1 刘少华;徐超;许金林;许胜强;元沐南;;基于柔性力敏传感器的便携式坐姿监测与提醒系统[J];计算机系统应用;2018年07期
2 王仁武;周威;张文慧;;融合用户情感评分的节点专业影响力分析[J];现代情报;2018年07期
3 顾洪博;张继怀;;基于偏离度的孤立点检测算法在聚类分析的应用[J];佳木斯大学学报(自然科学版);2018年04期
4 顾洪博;;一种MDHD-K-means算法的研究[J];牡丹江大学学报;2018年06期
5 孙涛;吴琳;王飞;王琪;陈昭;徐勇军;;大规模航运数据下“一带一路”国家和地区贸易网络分析[J];地球信息科学学报;2018年05期
6 王顶;徐军;段存玉;吴玥瑶;孙静;;基于PageRank的用户影响力评价改进算法[J];哈尔滨工业大学学报;2018年05期
7 郭博;赵隽瑞;孙宇;;社会化问答社区用户行为统计特性及其动力学分析:以知乎网为例[J];数据分析与知识发现;2018年04期
8 杨长春;王睿;;基于H指数的政务微博影响力研究[J];现代情报;2018年03期
9 杨文杰;周志刚;雷欢;杨慧莉;;基于GraphX的社交网络用户推荐算法研究[J];自动化与信息工程;2018年01期
10 刘海涛;樊重俊;;复杂网络视角下的社交网络用户影响力研究[J];科技和产业;2017年11期
中国硕士学位论文全文数据库 前10条
1 鲁帅帅;大数据环境下油气钻井信息分布式数据仓库系统研究[D];西安石油大学;2018年
2 张策;基于Spark平台的电信运行商收入分摊系统的设计与实现[D];北京交通大学;2018年
3 王培培;基于Spark的融合通信大数据分析关键技术的设计与实现[D];中国科学院大学(中国科学院沈阳计算技术研究所);2018年
4 任岱榕;非法集资数据集成与共享平台的设计与实现[D];北京交通大学;2018年
5 夏灯城;分布式环境下数字地形分析并行化算法研究[D];中国地质大学;2018年
6 孙乐;分布式技术在发酵房可视化系统中的应用[D];电子科技大学;2018年
7 杨洋;DataStudio平台算法实验室的设计与实现[D];南京大学;2017年
8 潘英豪;娱乐消费大数据分析系统的研究与实现[D];内蒙古大学;2017年
9 周亮彪;IT运维大数据平台日志分析系统研究[D];中南林业科技大学;2016年
10 苏蓉;基于Hadoop平台的安全日志聚类挖掘算法研究与应用[D];西北大学;2015年
【二级参考文献】
中国期刊全文数据库 前10条
1 王晨旭;管晓宏;秦涛;周亚东;;微博消息传播中意见领袖影响力建模研究[J];软件学报;2015年06期
2 吴渝;马璐璐;林茂;刘洪涛;;基于用户影响力的意见领袖发现算法[J];小型微型计算机系统;2015年03期
3 黎文阳;;大数据处理模型Apache Spark研究[J];现代计算机(专业版);2015年08期
4 韩忠明;吴杨;谭旭升;段大高;杨伟杰;;面向结构洞的复杂网络关键节点排序[J];物理学报;2015年05期
5 闵磊;刘智;唐向阳;陈矛;刘三(女牙);;基于扩展度的复杂网络传播影响力评估算法[J];物理学报;2015年08期
6 杨凯;张宁;苏树清;;个人微博用户网络的节点中心性研究[J];上海理工大学学报;2015年01期
7 陈虹君;;Spark框架的Graphx算法研究[J];电脑知识与技术;2015年01期
8 苏晓萍;宋玉蓉;;利用邻域“结构洞”寻找社会网络中最具影响力节点[J];物理学报;2015年02期
9 吴岘辉;张晖;杨春明;李波;赵旭剑;;一种话题相关的微博意见领袖挖掘算法[J];小型微型计算机系统;2014年10期
10 段松青;吴斌;王柏;;TTRank:基于倾向性转变的用户影响力排序[J];计算机研究与发展;2014年10期
中国硕士学位论文全文数据库 前10条
1 杨宁;基于Spark的云化报表系统的设计与实现[D];南京邮电大学;2016年
2 张贤德;基于Spark平台的实时流计算推荐系统的研究与实现[D];江苏大学;2016年
3 陈英芝;Spark Shuffle的内存调度算法分析及优化[D];浙江大学;2016年
4 刘鹏;基于Spark的数据管理平台的设计与实现[D];浙江大学;2016年
5 张彬;基于Spark大数据平台日志审计系统的设计与实现[D];山东大学;2015年
6 周思伟;Spark大表等值连接的优化及其在网络流量数据分析的应用研究[D];华南理工大学;2015年
7 吴雯祺;Spark性能数据收集分析系统的设计与实现[D];哈尔滨工业大学;2015年
8 杨志伟;基于Spark平台推荐系统研究[D];中国科学技术大学;2015年
9 张波;基于Spark的K-means算法的并行化实现与优化[D];华中科技大学;2015年
10 王华;基于YARN的数据挖掘系统的设计与实现[D];北京邮电大学;2015年
【相似文献】
中国期刊全文数据库 前10条
1 王炫中;邓伟;;融合通信技术在电力行业的应用探讨[J];中国新通信;2017年02期
2 许丽萍;;2017新融合通信时代展望[J];上海信息化;2017年03期
3 祝成功;;融合通信在应急指挥调度领域的应用[J];中国安防;2017年08期
4 邝江林;;运营商在融合通信市场的定位探讨[J];电脑迷;2017年11期
5 胡桅菁;;融合通信业务管理运营模式及实现方案研究[J];信息通信;2017年08期
6 梁既白;;融合通信的机遇与挑战[J];通信世界;2014年32期
7 谢剑超;;融合通信服务是迟来还是早到?[J];通信企业管理;2015年04期
8 赵怡;;融合通信来了![J];通信企业管理;2015年04期
9 杨林;于富东;李宝岩;;融合通信应用方案的研究[J];电信工程技术与标准化;2014年10期
10 李跃;;“三新”融合通信2015年商用[J];通信世界;2014年16期
中国重要会议论文全文数据库 前10条
1 于兵;王骁勇;汪江波;;对构建军队NGN融合通信网络的思考[A];2008通信理论与技术新发展——第十三届全国青年通信学术会议论文集(下)[C];2008年
2 甘小勇;;全IP融合通信行业应用方案研究[A];四川省通信学会Ip应用与增值电信技术会议论文集[C];2011年
3 勇辉;涂兴子;向阳;陶建平;;煤矿五网融合通信平台技术的研究与实施[A];煤炭开采智能化、信息化新技术及应用2016年学术年会论文集[C];2016年
4 汪波;蒋渝;;智慧城市如何实现城市之智慧[A];第十三届中国科协年会第11分会场-中国智慧城市论坛论文集[C];2011年
5 姚群峰;张玉莹;;抢占融合通信高地,领先移动互联网时代——电信运营商发展融合通信的战略思考[A];中国通信学会信息通信网络技术委员会2011年年会论文集(上册)[C];2011年
6 王梦潇;许桂明;;岸海显控计算服务平台的通信接入方法研究[A];中国造船工程学会电子技术学术委员会2017年装备技术发展论坛论文集[C];2017年
7 张禹;张习国;郭鸿飞;;探析WLAN技术在应急通信报道中的应用[A];中国新闻技术工作者联合会2012年学术年会、五届四次理事会暨第六届“王选新闻科学技术奖”的“人才奖”和“优秀论文奖”颁奖大会论文集[C];2012年
8 杨君中;宋彦斌;苑佳楠;甄冲;郑宝;潘轲;;面向主动配用电网的电力线多模式融合通信技术研究[A];2016智能电网发展研讨会论文集[C];2016年
9 ;中国云通信行业发展白皮书 2017年[A];艾瑞咨询系列研究报告(2017年第10期)[C];2017年
10 金涛;;软交换通信技术及其网络安全浅谈[A];第七届中国通信学会学术年会论文集[C];2010年
中国重要报纸全文数据库 前10条
1 本报记者 赵妍;山东茌平:融合通信进小城[N];通信产业报;2017年
2 本报记者 谭伦;星网锐捷智慧通信:“融合”通信有大作为[N];通信产业报;2017年
3 记者 江南鸾;海能达与海油信科战略合作[N];深圳商报;2017年
4 本报记者 唐婷;融合通信:电信行业的下一个风口?[N];科技日报;2016年
5 本报记者 郑梅云;中移动融合通信战略落地 实现目标现三大阻碍[N];通信信息报;2014年
6 本报记者 向劲静;中移动“融合通信”还不具备颠覆作用[N];中国商报;2014年
7 陈翔;SIP让融合通信 更深入[N];中国计算机报;2004年
8 刘海舰;融合通信之路[N];中国计算机报;2004年
9 陈翔;融合通信有三重境界[N];中国计算机报;2004年
10 本报记者 张珺;走出“融合通信”的六大误区[N];通信信息报;2004年
中国博士学位论文全文数据库 前1条
1 于金刚;基于IMS的融合通信关键技术研究[D];中国科学院大学(中国科学院沈阳计算技术研究所);2018年
中国硕士学位论文全文数据库 前10条
1 王培培;基于Spark的融合通信大数据分析关键技术的设计与实现[D];中国科学院大学(中国科学院沈阳计算技术研究所);2018年
2 史坤鹏;融合通信系统中分布式存储引擎的设计与实现[D];中国科学院大学(中国科学院沈阳计算技术研究所);2017年
3 邓森泉;融合通信系统中轻应用模块的设计与实现[D];中国科学院大学(中国科学院沈阳计算技术研究所);2017年
4 陈婉莹;基于安卓平台的融合通信系统的设计与实现[D];北京邮电大学;2016年
5 缪红娣;基于WebRTC技术的融合通信前端系统的设计与实现[D];中国科学院大学(中国科学院沈阳计算技术研究所);2017年
6 王雨辰;融合通信中SIP服务器的设计与实现[D];中国科学院大学(中国科学院沈阳计算技术研究所);2017年
7 武俊利;企业融合通信系统方案设计与实践[D];北京邮电大学;2012年
8 袁博;低压电力线多模式融合通信技术研究[D];华北电力大学;2015年
9 白兆宁;基于LDAP协议的企业融合通信服务器的设计与实现[D];华中科技大学;2015年
10 李金闪;融合通信业务性能评估体系的研究与设计[D];北京邮电大学;2016年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026