收藏本站
《中国科学院大学(中国科学院沈阳计算技术研究所)》 2018年
收藏 | 手机打开
二维码
手机客户端打开本文

基于Spark的融合通信大数据分析关键技术的设计与实现

王培培  
【摘要】:当前的融合通信系统是以满足用户的多媒体通信及协同的业务需求为主要目标,注重于消息、音视频、数据传输等基本交互功能的开发与应用,但是没能够将传统通信业务与前沿数据挖掘技术进行有效融合。在海量数据的背景下,传统的单机处理能力已经无法满足信息处理的要求。对于融合通信领域内的数据挖掘技术在大数据场景中面临数据量过大的问题,所以通信领域的数据挖掘与机器学习算法也需要进行大规模并行化。为了探索融合通信领域数据的更多价值,本文通过对融合通信系统数据建立了社交网络关系挖掘模型,提出融合标签的用户影响力评价模型并将其并行化来适应大规模数据的需要。该模型将用户网络拓扑结构、用户交互行为和用户基本信息数据融合到模型中,避免了传统用户影响力分析模型仅从单一角度进行挖掘的问题,充分利用融合通信领域数据价值提升了预测结果的准确性。同时利用Spark的并行化接口将模型并行化实现,并将模型结果在融合通信智能分析平台上进行可视化展示。依据融合通信大数据分析的具体应用场景,需要大数据分析平台予以支撑。利用开源的大数据工具,本文对融合通信相关的背景进行分析,设计了以Spark为核心的融合通信智能分析平台的整体架构方案,并对该架构中的各个模块予以实现。在平台上完成对于大规模通信数据的采集与整合、分析与挖掘、结果可视化的工作。同时,在平台上对融合通信系统用户的影响力分析模型进行研究。
【学位授予单位】:中国科学院大学(中国科学院沈阳计算技术研究所)
【学位级别】:硕士
【学位授予年份】:2018
【分类号】:TP311.13

【参考文献】
中国期刊全文数据库 前8条
1 张俊豪;顾益军;张士豪;;基于PageRank和用户行为的微博用户影响力评估[J];信息网络安全;2015年06期
2 贾冲冲;王名扬;车鑫;;基于HRank的微博用户影响力评价[J];计算机应用;2015年04期
3 吴渝;马璐璐;林茂;刘洪涛;;基于用户影响力的意见领袖发现算法[J];小型微型计算机系统;2015年03期
4 王虹旭;吴斌;刘旸;;基于Spark的并行图数据分析系统[J];计算机科学与探索;2015年09期
5 陈虹君;;Spark框架的Graphx算法研究[J];电脑知识与技术;2015年01期
6 段松青;吴斌;王柏;;TTRank:基于倾向性转变的用户影响力排序[J];计算机研究与发展;2014年10期
7 王琛;陈庶樵;;一种改进的微博用户影响力评价算法[J];信息工程大学学报;2013年03期
8 郭浩;陆余良;王宇;张亮;;基于信息传播的微博用户影响力度量[J];山东大学学报(理学版);2012年05期
中国硕士学位论文全文数据库 前10条
1 徐文涛;社交网络中用户影响力及个性化排名相关技术研究[D];安徽大学;2017年
2 马志亨;基于Spark的日志分析工具的设计与实现[D];西安电子科技大学;2017年
3 林艺君;基于Spark平台的网络数据分析系统的设计与实现[D];北京邮电大学;2017年
4 崔印昌;基于Spark的社会网络分析系统的设计与实现[D];北京邮电大学;2017年
5 解书亮;基于Spark的分布式ETL研究与应用[D];东华大学;2017年
6 蒿翠玲;基于Spark框架的分布式ETL设计与实现[D];华中科技大学;2016年
7 任留名;基于社会特性的社交网络影响力分析[D];合肥工业大学;2016年
8 牛倩;基于Spark的数据分析建模工具的设计与实现[D];华北电力大学(北京);2016年
9 邓凯;社交网络大数据分析平台及用户转发行为分析[D];西安电子科技大学;2015年
10 王鹏;云平台下日志分析系统的设计与实现[D];北京邮电大学;2013年
【共引文献】
中国期刊全文数据库 前10条
1 毕秋敏;李世辉;曾志勇;;基于改进PageRank算法的微博影响力模型研究[J];价值工程;2015年29期
2 王东升;;基于PageRank改进算法的微博影响力排名[J];现代计算机(专业版);2015年29期
3 张俊豪;顾益军;张士豪;;基于距离模型的用户关系强度评估[J];信息网络安全;2015年10期
4 杨扬;王鸯雨;;一种基于用户影响力的社交网络传播代价模型设计[J];现代计算机(专业版);2015年26期
5 曹云忠;邵培基;李良强;;微博网络中用户关注行为预测[J];系统工程;2015年07期
6 张州;;网页及网站制作优化探讨[J];科技创新与应用;2015年18期
7 卢伟胜;郭躬德;;基于特定话题的微博意见领袖在线检测方法[J];计算机应用与软件;2015年05期
8 李富健;;微博意见领袖话语影响力计算方法研究——基于区间直觉模糊理论[J];现代经济信息;2015年08期
9 崔金栋;于圆美;王新媛;孙遥遥;;信息管理技术视角下微博研究综述与趋势分析[J];图书馆论坛;2015年04期
10 姬建新;;捕鱼算法优化核极限学习机的微博热点话题预测[J];激光杂志;2015年01期
中国硕士学位论文全文数据库 前10条
1 鲁帅帅;大数据环境下油气钻井信息分布式数据仓库系统研究[D];西安石油大学;2018年
2 任岱榕;非法集资数据集成与共享平台的设计与实现[D];北京交通大学;2018年
3 张策;基于Spark平台的电信运行商收入分摊系统的设计与实现[D];北京交通大学;2018年
4 王培培;基于Spark的融合通信大数据分析关键技术的设计与实现[D];中国科学院大学(中国科学院沈阳计算技术研究所);2018年
5 王伟;Spark环境下的微博网络关键用户挖掘研究[D];西北大学;2018年
6 夏灯城;分布式环境下数字地形分析并行化算法研究[D];中国地质大学;2018年
7 乔宇;基于数学知识管理方法的线性代数教科书系统研究与实施[D];广西民族大学;2018年
8 孙乐;分布式技术在发酵房可视化系统中的应用[D];电子科技大学;2018年
9 杨洋;DataStudio平台算法实验室的设计与实现[D];南京大学;2017年
10 潘英豪;娱乐消费大数据分析系统的研究与实现[D];内蒙古大学;2017年
【二级参考文献】
中国期刊全文数据库 前10条
1 黎明;文海英;杨杰;陈旭日;;基于行为权值的微博用户影响力度量算法[J];计算机工程与应用;2014年17期
2 齐超;陈鸿昶;于洪涛;;基于用户行为综合分析的微博用户影响力评价方法[J];计算机应用研究;2014年07期
3 曹玖新;吴江林;石伟;刘波;郑啸;罗军舟;;新浪微博网信息传播分析与预测[J];计算机学报;2014年04期
4 朱郭峰;杨彦;周竹荣;应中运;韩凤娇;;基于领域的微博用户影响力计算方法[J];西南大学学报(自然科学版);2014年03期
5 平宇;向阳;张波;黄寅飞;;基于MapReduce的并行PageRank算法实现[J];计算机工程;2014年02期
6 张玥;张宏莉;张伟哲;卢珺珈;;识别网络论坛中有影响力用户[J];计算机研究与发展;2013年10期
7 吴凯;季新生;郭进时;刘彩霞;;基于微博网络的影响力最大化算法[J];计算机应用;2013年08期
8 樊兴华;赵静;方滨兴;李欲晓;;影响力扩散概率模型及其用于意见领袖发现研究[J];计算机学报;2013年02期
9 舒琰;向阳;张骐;张熊熊;张君瑛;;基于PageRank的微博排名MapReduce算法研究[J];计算机技术与发展;2013年02期
10 何静;郭进利;;基于改进PageRank算法的微博用户影响力研究[J];中国报业;2013年02期
中国硕士学位论文全文数据库 前10条
1 杨宁;基于Spark的云化报表系统的设计与实现[D];南京邮电大学;2016年
2 张贤德;基于Spark平台的实时流计算推荐系统的研究与实现[D];江苏大学;2016年
3 陈英芝;Spark Shuffle的内存调度算法分析及优化[D];浙江大学;2016年
4 刘鹏;基于Spark的数据管理平台的设计与实现[D];浙江大学;2016年
5 张彬;基于Spark大数据平台日志审计系统的设计与实现[D];山东大学;2015年
6 周思伟;Spark大表等值连接的优化及其在网络流量数据分析的应用研究[D];华南理工大学;2015年
7 吴雯祺;Spark性能数据收集分析系统的设计与实现[D];哈尔滨工业大学;2015年
8 杨志伟;基于Spark平台推荐系统研究[D];中国科学技术大学;2015年
9 张波;基于Spark的K-means算法的并行化实现与优化[D];华中科技大学;2015年
10 王华;基于YARN的数据挖掘系统的设计与实现[D];北京邮电大学;2015年
【相似文献】
中国期刊全文数据库 前10条
1 王炫中;邓伟;;融合通信技术在电力行业的应用探讨[J];中国新通信;2017年02期
2 许丽萍;;2017新融合通信时代展望[J];上海信息化;2017年03期
3 祝成功;;融合通信在应急指挥调度领域的应用[J];中国安防;2017年08期
4 邝江林;;运营商在融合通信市场的定位探讨[J];电脑迷;2017年11期
5 胡桅菁;;融合通信业务管理运营模式及实现方案研究[J];信息通信;2017年08期
6 梁既白;;融合通信的机遇与挑战[J];通信世界;2014年32期
7 谢剑超;;融合通信服务是迟来还是早到?[J];通信企业管理;2015年04期
8 赵怡;;融合通信来了![J];通信企业管理;2015年04期
9 杨林;于富东;李宝岩;;融合通信应用方案的研究[J];电信工程技术与标准化;2014年10期
10 李跃;;“三新”融合通信2015年商用[J];通信世界;2014年16期
中国重要会议论文全文数据库 前10条
1 于兵;王骁勇;汪江波;;对构建军队NGN融合通信网络的思考[A];2008通信理论与技术新发展——第十三届全国青年通信学术会议论文集(下)[C];2008年
2 甘小勇;;全IP融合通信行业应用方案研究[A];四川省通信学会Ip应用与增值电信技术会议论文集[C];2011年
3 勇辉;涂兴子;向阳;陶建平;;煤矿五网融合通信平台技术的研究与实施[A];煤炭开采智能化、信息化新技术及应用2016年学术年会论文集[C];2016年
4 汪波;蒋渝;;智慧城市如何实现城市之智慧[A];第十三届中国科协年会第11分会场-中国智慧城市论坛论文集[C];2011年
5 姚群峰;张玉莹;;抢占融合通信高地,领先移动互联网时代——电信运营商发展融合通信的战略思考[A];中国通信学会信息通信网络技术委员会2011年年会论文集(上册)[C];2011年
6 王梦潇;许桂明;;岸海显控计算服务平台的通信接入方法研究[A];中国造船工程学会电子技术学术委员会2017年装备技术发展论坛论文集[C];2017年
7 张禹;张习国;郭鸿飞;;探析WLAN技术在应急通信报道中的应用[A];中国新闻技术工作者联合会2012年学术年会、五届四次理事会暨第六届“王选新闻科学技术奖”的“人才奖”和“优秀论文奖”颁奖大会论文集[C];2012年
8 杨君中;宋彦斌;苑佳楠;甄冲;郑宝;潘轲;;面向主动配用电网的电力线多模式融合通信技术研究[A];2016智能电网发展研讨会论文集[C];2016年
9 ;中国云通信行业发展白皮书 2017年[A];艾瑞咨询系列研究报告(2017年第10期)[C];2017年
10 金涛;;软交换通信技术及其网络安全浅谈[A];第七届中国通信学会学术年会论文集[C];2010年
中国重要报纸全文数据库 前10条
1 本报记者 赵妍;山东茌平:融合通信进小城[N];通信产业报;2017年
2 本报记者 谭伦;星网锐捷智慧通信:“融合”通信有大作为[N];通信产业报;2017年
3 记者 江南鸾;海能达与海油信科战略合作[N];深圳商报;2017年
4 本报记者 唐婷;融合通信:电信行业的下一个风口?[N];科技日报;2016年
5 本报记者 郑梅云;中移动融合通信战略落地 实现目标现三大阻碍[N];通信信息报;2014年
6 本报记者 向劲静;中移动“融合通信”还不具备颠覆作用[N];中国商报;2014年
7 陈翔;SIP让融合通信 更深入[N];中国计算机报;2004年
8 刘海舰;融合通信之路[N];中国计算机报;2004年
9 陈翔;融合通信有三重境界[N];中国计算机报;2004年
10 本报记者 张珺;走出“融合通信”的六大误区[N];通信信息报;2004年
中国博士学位论文全文数据库 前1条
1 于金刚;基于IMS的融合通信关键技术研究[D];中国科学院大学(中国科学院沈阳计算技术研究所);2018年
中国硕士学位论文全文数据库 前10条
1 王培培;基于Spark的融合通信大数据分析关键技术的设计与实现[D];中国科学院大学(中国科学院沈阳计算技术研究所);2018年
2 史坤鹏;融合通信系统中分布式存储引擎的设计与实现[D];中国科学院大学(中国科学院沈阳计算技术研究所);2017年
3 邓森泉;融合通信系统中轻应用模块的设计与实现[D];中国科学院大学(中国科学院沈阳计算技术研究所);2017年
4 陈婉莹;基于安卓平台的融合通信系统的设计与实现[D];北京邮电大学;2016年
5 缪红娣;基于WebRTC技术的融合通信前端系统的设计与实现[D];中国科学院大学(中国科学院沈阳计算技术研究所);2017年
6 王雨辰;融合通信中SIP服务器的设计与实现[D];中国科学院大学(中国科学院沈阳计算技术研究所);2017年
7 武俊利;企业融合通信系统方案设计与实践[D];北京邮电大学;2012年
8 袁博;低压电力线多模式融合通信技术研究[D];华北电力大学;2015年
9 白兆宁;基于LDAP协议的企业融合通信服务器的设计与实现[D];华中科技大学;2015年
10 李金闪;融合通信业务性能评估体系的研究与设计[D];北京邮电大学;2016年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026