收藏本站
收藏 | 论文排版

Louvain算法在社区挖掘中的研究与实现

李沐南  
【摘要】:日新月异的互联网、云计算等网络信息技术给人们的生活带来了翻天覆地的变化,人们已经逐渐踏入了大数据时代。呈指数级增长的海量数据不仅为新兴的互联网企业,更为传统行业带来了机遇与挑战。网络的复杂度与规模不仅考验着现有的IT架构,也为计算机的计算能力提出了严峻的挑战。在网络社交平台盛行的今天,各大社交网站每天都会产生上TB级别的数据。传统的单机运算难以满足海量大数据处理,随着分布式计算框架的发展,并行计算技术逐渐成熟,已经能够有效解决计算瓶颈,为海量大数据挖掘提供技术支持。从社会网络方面研究入手,社会网络的研究关键在于节点间的关系与社会属性。现实表明,真实的社会网络都呈现具有社区结构的特性,社区发现就是通过网络中节点间的连接关系挖掘社区结构的过程。Louvain算法是一种基于模块度优化的高效算法,除了时间上的优势,还能探测到层次的社区结构,不会遗漏一些小型的社区。在研究Louvain算法的基础上,针对算法耗时问题,提出了并行化的改进思想进一步对算法效率进行优化,同时保证算法的精度不变。分布式计算框架的发展推动了分布式计算的应用,但是社区发现算法在分布式计算方面的应用却很少。面对具有海量数据的大规模复杂社交网络,利用分布式计算框架能进一步提高算法的运行效率,社区发现算法与分布式计算框架的结合必是社区发现未来的研究热点。Spark分布式计算框架对社区发现算法这类需要大量迭代计算的算法有着很好的适应能力。将改进后的算法在Spark分布式平台上实现,进一步提高了运行效率。针对分布式计算中不同计算节点之间消息传递滞后产生的社区互换等问题,提出了连通图的方法加以改进。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 程彩娟;“八后问题”的算法与程序设计[J];天津职业技术师范学院学报;1991年02期
2 葛磊;武芳;王鹏波;张冬林;;3维建筑综合中基于最小特征的面平移算法[J];测绘科学技术学报;2009年02期
3 骆雯,孙延明,陈振威,陈锦昌;判断点与封闭多边形相对关系的改进算法[J];机械;1999年03期
4 李林;卢显良;;一种基于切割映射的规则冲突消除算法[J];电子学报;2008年02期
5 刘巧玲;张红英;林茂松;;一种简单快速的图像去雾算法[J];计算机应用与软件;2013年07期
6 林亚平,杨小林;快速概率分析进化算法及其性能研究[J];电子学报;2001年02期
7 章郡锋;吴晓红;黄晓强;何小海;;基于暗原色先验去雾的改进算法[J];电视技术;2013年23期
8 杨铁军;靳婷;;一种动态整周模糊值求解算法及其仿真分析[J];系统工程与电子技术;2007年01期
9 周秀玲;郭平;陈宝维;王静;;几种计算超体积算法的比较研究[J];计算机工程;2011年03期
10 吴一戎,胡东辉,彭海良;Chirp Scaling SAR成象算法及其实现[J];电子科学学刊;1995年03期
11 王贵竹;一种产生单向分解值的算法[J];安徽大学学报(自然科学版);2001年03期
12 张鹏;刘弘;王爱霖;;基于人工蜂群算法的疏散运动仿真[J];计算机工程;2013年07期
13 高广尚;蒋泰;;ISO 18000-6 Type C中的防冲突机制分析[J];广西科学院学报;2008年04期
14 凌卫新,凌玲;关于图像色彩压缩的一种新聚类算法[J];计算机工程;1996年04期
15 孟玉明;张修如;刘玲霞;;一种基于主动复制的动态容错算法[J];计算机技术与发展;2007年12期
16 邵晓东,孙文焕,卫荣平,詹海生;有向环边界自动生成的算法研究[J];西安电子科技大学学报;1996年04期
17 王琢;鲍玉斌;;一种快速生成最小浓缩数据立方的算法[J];小型微型计算机系统;2005年12期
18 韩丽,唐棣;一个快速有效的直线反走样算法[J];小型微型计算机系统;2005年03期
19 罗可;张学茂;;一种高效的频集挖掘算法[J];长沙理工大学学报(自然科学版);2006年03期
20 龚斌;一种基于磨光的图像分色算法[J];计算机工程与应用;1996年06期
中国重要会议论文全文数据库 前10条
1 尹冀锋;;一种新的图象自适应增强算法[A];四川省通信学会一九九二年学术年会论文集[C];1992年
2 宁春平;田家玮;郭延辉;王影;张英涛;郑桂霞;刘研;;计算机辅助增强、分割算法在鉴别乳腺良、恶性肿块中的应用价值[A];中华医学会第十次全国超声医学学术会议论文汇编[C];2009年
3 谢丽聪;;SVB查询改写算法的改进[A];第二十一届中国数据库学术会议论文集(研究报告篇)[C];2004年
4 郑存红;;复杂背景下相关跟踪算法研究及DSP实现[A];中国光学学会2010年光学大会论文集[C];2010年
5 杨文杰;吴军;;RFID抗冲突算法研究[A];2008通信理论与技术新进展——第十三届全国青年通信学术会议论文集(上)[C];2008年
6 高山;毕笃彦;魏娜;;一种基于UPF的小目标TBD算法[A];第十四届全国图象图形学学术会议论文集[C];2008年
7 周磊;张卫华;王晓奇;张军;;基于流水算法的智能路障机器人设计[A];2011年全国电子信息技术与应用学术会议论文集[C];2011年
8 潘巍;李战怀;陈群;索博;李卫榜;;面向MapReduce的非对称分片复制连接算法优化技术研究[A];第29届中国数据库学术会议论文集(B辑)(NDBC2012)[C];2012年
9 李伟伟;蔡康颖;郑新;王文成;;3D模型中重复结构的多尺度快速检测算法[A];第六届和谐人机环境联合学术会议(HHME2010)、第19届全国多媒体学术会议(NCMT2010)、第6届全国人机交互学术会议(CHCI2010)、第5届全国普适计算学术会议(PCC2010)论文集[C];2010年
10 杨任尔;陈恳;励金祥;;基于棱边方向检测的运动自适应去隔行算法[A];Proceedings of 2010 Chinese Control and Decision Conference[C];2010年
中国博士学位论文全文数据库 前10条
1 冯辉;网络化的并行与分布式优化算法研究及应用[D];复旦大学;2013年
2 许玉杰;云计算环境下海量数据的并行聚类算法研究[D];大连海事大学;2014年
3 李琰;基于猫群算法的高光谱遥感森林类型识别研究[D];东北林业大学;2015年
4 陈加顺;海洋环境下聚类算法的研究[D];南京航空航天大学;2014年
5 王洋;基于群体智能的通信网络告警关联规则挖掘算法研究[D];太原理工大学;2015年
6 雷雨;面向考试时间表问题的启发式进化算法研究[D];西安电子科技大学;2015年
7 熊霖;大数据下的数据选择与学习算法研究[D];西安电子科技大学;2015年
8 周雷;基于图结构的目标检测与分割算法研究[D];上海交通大学;2014年
9 王冰;人工蜂群算法的改进及相关应用的研究[D];北京理工大学;2015年
10 周旭;复杂网络中社区发现算法研究[D];吉林大学;2016年
中国硕士学位论文全文数据库 前10条
1 李沐南;Louvain算法在社区挖掘中的研究与实现[D];中国石油大学(北京);2016年
2 梅凯;并行人工蜂群算法的研究与应用[D];兰州交通大学;2017年
3 姚鑫宇;EMD去噪与MUSIC算法在DOA估计中的联合应用[D];昆明理工大学;2015年
4 陆进;面向含噪数据聚类相关算法的研究[D];复旦大学;2014年
5 李家昌;基于能量约束的超声图像自动分割算法[D];华南理工大学;2015年
6 陈坚;基于密度和约束的数据流聚类算法研究[D];兰州大学;2015年
7 高健;基于Zynq7000平台的去雾算法研究及实现[D];南京理工大学;2015年
8 顾磊;基于Hadoop的聚类算法的数据优化及其应用研究[D];南京信息工程大学;2015年
9 杨燕霞;基于Hadoop平台的并行关联规则挖掘算法研究[D];四川师范大学;2015年
10 王羽;基于MapReduce的社区发现算法的设计与实现[D];南京理工大学;2015年
中国重要报纸全文数据库 前1条
1 国泰君安资产管理部;“算法交易”是道指暴跌罪魁祸首?[N];上海证券报;2010年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978