收藏本站
《太原理工大学》 2017年
收藏 | 手机打开
二维码
手机客户端打开本文

基于通信负载均衡的社交网络图分割算法研究与实现

刘康  
【摘要】:海量社交网络数据中蕴含着丰富的信息,图论是挖掘这些信息的重要方法之一。面对日益增多的图数据,分布式计算成为处理大规模图数据的有效手段。在分布式图计算中,通信所消耗的时间占有很大的比例,通过图分割算法的设计可以有效地降低通信量并实现负载均衡,从而提高分布式图计算的效率,典型的例子包括Metis图分割算法。但是,用现有的图分割算法处理非均衡图数据会造成各个子图之间通信量不均衡,从而影响了计算效率。为解决这一问题,本文针对社交网络图数据特点进行了深入研究,并以传统图分割模型为基础,建立了实现通信负载和存储负载双重平衡的图分割模型。以通信负载均衡图分割方法为理论依据,设计并实现了通信均衡标签交换算法(Communication Balanced Lable Exchanging method),同时为进一步减小贪婪算法模型带来的局部优化影响,本文使用模拟退火算法对CBLE算法进行深入优化。本文最后使用Hash方法,Metis方法与本文中的CBLE算法进行实验分析,分别在通信边数量,顶点规模均衡度,通信边分布均衡度指标对三个算法进行比较,CBLE算法整体具有明显优势。为更加有力证明本文算法在提升分布式图计算框架处理社交网络数据的效率方面的优势,本文最后将CBLE算法应用于Apache开源图计算框架Hama中,使用Twitter大规模社交网络数据集进行测试。其结果表明分割子图的通信负载均衡对分布式图计算框架处理社交网络数据的效率提升有一定的效果,并且随着集群资源利用率的提高,本文算法的分割结果对图计算效率有10%到15%的提升。
【学位授予单位】:太原理工大学
【学位级别】:硕士
【学位授予年份】:2017
【分类号】:O157.5

【参考文献】
中国期刊全文数据库 前6条
1 唐德权;吴绍兵;凌志刚;;一种新的图聚类算法研究[J];计算机应用与软件;2014年06期
2 吴信东;李毅;李磊;;在线社交网络影响力分析[J];计算机学报;2014年04期
3 周爽;鲍玉斌;王志刚;冷芳玲;于戈;邓超;郭磊涛;;BHP:面向BSP模型的负载均衡Hash图数据划分[J];计算机科学与探索;2014年01期
4 王浩成;马静;;高效的大型图聚类方法研究[J];小型微型计算机系统;2013年06期
5 于戈;谷峪;鲍玉斌;王志刚;;云计算环境下的大规模图数据处理技术[J];计算机学报;2011年10期
6 马永刚;谭国真;杨际祥;潘东;;一种改进的并行计算图划分模型[J];小型微型计算机系统;2011年03期
【共引文献】
中国期刊全文数据库 前10条
1 柴然;郭彦颖;;改进的最大频繁子图挖掘算法[J];信息与电脑(理论版);2017年18期
2 张德阳;韩益亮;李晓龙;潘峰;周宜兴;;基于用户相对影响权重的热点事件传播阈值模型[J];网络与信息安全学报;2017年09期
3 王金喆;;社交网络用户影响力分析[J];电子技术与软件工程;2017年17期
4 王佳宁;;基于社交网络的用户行为分析[J];数码世界;2017年09期
5 傅湘萍;吴国丽;;基于ItemCF算法的个性化菜谱软件设计与实现[J];福建电脑;2017年08期
6 曾小青;张若欣;欧阳文光;王琪;;大数据环境下精准客户定位的社交网络分析[J];计算机工程与应用;2017年15期
7 张心越;;大规模关系图数据存储框架研究[J];自动化与仪器仪表;2017年07期
8 史艳翠;杨巨成;陈亚瑞;王建;;基于移动数据的用户间影响力计算方法[J];华中科技大学学报(自然科学版);2017年07期
9 范磊;张远;;社交网络分析中的图布局算法综述[J];信息与电脑(理论版);2017年13期
10 张伟;;基于抽样的不确定图k最近邻搜索算法[J];计算机应用与软件;2017年06期
【二级参考文献】
中国期刊全文数据库 前9条
1 WANG Yue;HUANG WeiJing;ZONG Lang;WANG TengJiao;YANG DongQing;;Influence maximization with limit cost in social network[J];Science China(Information Sciences);2013年07期
2 樊兴华;赵静;方滨兴;李欲晓;;影响力扩散概率模型及其用于意见领袖发现研究[J];计算机学报;2013年02期
3 周涛;陆惠玲;;数据挖掘中聚类算法研究进展[J];计算机工程与应用;2012年12期
4 唐德权;谢文君;;一种新的频繁子树挖掘算法研究与实现[J];计算机应用与软件;2012年04期
5 唐德权;谭阳;;一种频繁子图挖掘算法[J];计算机工程;2012年07期
6 田家堂;王轶彤;冯小军;;一种新型的社会网络影响最大化算法[J];计算机学报;2011年10期
7 左黎明;汤鹏志;徐保根;;图的最大公共连通子图问题研究[J];计算机应用;2010年03期
8 唐德权;朱林立;;频繁子图挖掘算法研究[J];计算机工程;2009年09期
9 孙吉贵;刘杰;赵连宇;;聚类算法研究[J];软件学报;2008年01期
【相似文献】
中国期刊全文数据库 前10条
1 任健;;SNS享食免费大餐[J];科技创业;2011年07期
2 任健;;社交网络的力量[J];科技创业;2011年12期
3 武会;;浅谈社交网络对高校大学生的影响及若干建议[J];科技致富向导;2013年05期
4 余剑来;;社交网络化的发展方向[J];世界科学;2011年01期
5 余家驹;;电视网络将成为社交网络[J];世界科学;2011年01期
6 邓宇燕;;浅谈故事型广告在社交网络时代的传播[J];科技信息;2011年24期
7 劳伦·考克斯;;请在工作时更新你的状态[J];科技创业;2011年05期
8 斯蒂芬·卡斯;;在线社区能否解决隐私问题[J];科技创业;2011年08期
9 罗伯特·D·霍夫;;广告主云集社交网络[J];科技创业;2011年08期
10 吕经纬;李轩昂;;社交网络对大学生成长影响及其对策[J];科技信息;2013年05期
中国重要会议论文全文数据库 前10条
1 赵云龙;李艳兵;;社交网络用户的人格预测与关系强度研究[A];第七届(2012)中国管理学年会商务智能分会场论文集(选编)[C];2012年
2 宫广宇;李开军;;对社交网络中信息传播的分析和思考——以人人网为例[A];首届华中地区新闻与传播学科研究生学术论坛获奖论文[C];2010年
3 杨子鹏;乔丽娟;王梦思;杨雪迎;孟子冰;张禹;;社交网络与大学生焦虑缓解[A];心理学与创新能力提升——第十六届全国心理学学术会议论文集[C];2013年
4 毕雪梅;;体育虚拟社区中的体育社交网络解析[A];第九届全国体育科学大会论文摘要汇编(4)[C];2011年
5 杜炤;刘婷;刘奇峰;;基于社交网络服务的个人知识管理系统研究[A];中国高等教育学会教育信息化分会第十二次学术年会论文集[C];2014年
6 ;我们从未如此热闹,却又从未如此孤独——论社交网络中的自我呈现[A];第三届华中地区新闻与传播学科研究生学术论坛获奖论文[C];2012年
7 颜艳春;;电子商务的下一个浪潮:社交购物[A];第四届(2011)中国商业信息化行业大会暨第四届中国商业信息化技术展览会会刊[C];2011年
8 仲玮;刘敏;范轶;代成琴;;以社交网络为核心的校园信息系统架构[A];中国高等教育学会教育信息化分会第十二次学术年会论文集[C];2014年
9 侯映红;吕勇强;吴强;杨正文;;基于瞬时社交网络服务的位置敏感模型[A];第八届和谐人机环境联合学术会议(HHME2012)论文集PCC[C];2012年
10 刘恕;;试论传统媒体与社交网络的交互融合——从新华社电视进驻开心网说起[A];第十一届中国科协年会第33分会场新媒体与科技传播研讨会论文集[C];2009年
中国重要报纸全文数据库 前10条
1 本报驻堪培拉记者 陈小方;社交网络让人焦虑不安[N];光明日报;2010年
2 彭敏;社交网络分析异军突起成新宠[N];电脑商报;2011年
3 VAR记者 彭敏;企业拥抱社交网络的步骤及工具[N];电脑商报;2011年
4 中国电信广东公司员工 谭拯;社交网络:挖掘“连接”与“发现”的价值[N];人民邮电;2011年
5 周虎城;管理社交网络需要政治智慧[N];南方日报;2011年
6 刘一冰;方案商的社交网络[N];电脑商报;2011年
7 钟声;社交网络管理是各国共同课题[N];人民日报;2011年
8 ;企业如何创建内部社交网络[N];网络世界;2012年
9 宋平 编译;如何优化社交网络营销[N];中华读书报;2013年
10 本报记者 王娟;企业社交网络盈利未“水起”[N];中国计算机报;2013年
中国博士学位论文全文数据库 前10条
1 吕加国;在线社交网络社会影响传播与影响最大化问题研究[D];燕山大学;2015年
2 李鑫;基于位置社交网络的地点推荐方法及应用研究[D];中国科学技术大学;2015年
3 王婷;异构社交网络中社区发现算法研究[D];中国矿业大学(北京);2016年
4 张君;用户行为驱动的社交网络演化分析[D];清华大学;2015年
5 梁斌;社交网络人物搜索的研究[D];清华大学;2015年
6 冯勰;面向协作学习的社会网络结构分析与用户行为建模[D];吉林大学;2016年
7 付浩;基于社交网络结构的用户建模[D];中国科学技术大学;2016年
8 张明玉;科研社交网络中的导师推荐研究[D];中国科学技术大学;2016年
9 韩少春;社交网络信息传播特征及数据研究[D];北京交通大学;2016年
10 樊波;移动社交网络中的信息投递和资源管理技术研究[D];电子科技大学;2016年
中国硕士学位论文全文数据库 前10条
1 叶嘉颖;社交网络文化探析[D];华南理工大学;2010年
2 范海涛;社交网络在企业中的应用研究[D];河南大学;2014年
3 翟伯荫;社交网络中领域专家的识别研究[D];华东师范大学;2015年
4 张德林;老年人社交网络、社会支持与主观幸福感的关系研究[D];上海师范大学;2015年
5 张艳颖;社交网络平台广告传播的动力机制与强化策略研究[D];河北大学;2014年
6 孙绪彬;传播学视域下的SNS用户信息分享研究[D];西南大学;2015年
7 贾冲冲;基于MapReduce的微博好友推荐研究[D];东北林业大学;2015年
8 吕家琦;分布式环境下基于语义的社团发现算法研究[D];辽宁大学;2015年
9 张宁;基于用户行为的社交网络用户动态影响力模型研究[D];辽宁大学;2015年
10 孙海龙;聚美优品有限公司社交网络营销策略研究[D];哈尔滨理工大学;2014年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026