收藏本站
《北京邮电大学》 2017年
收藏 | 手机打开
二维码
手机客户端打开本文

基于Spark的大规模复杂网络社区发现算法的设计与实现

尹丁艺  
【摘要】:现实生活存在着许多复杂系统,这些系统往往以一种复杂网络的形式展现或者可以转换为复杂网络形式。这些网络大多呈现出大小不一的社团结构(社区),所谓社团结构就是社团内部的点之间联系紧密,社团之间联系较为稀疏的一种图的节点归属划分。目前,现实中的社交网络的用户量早已达到亿级别,并且每天呈现爆炸式的数量增长。因此,在大规模复杂网络中发现社团结果在网络结构的理论研究和网络分析实际应用中具有重要意义。本课题基于Spark分布式计算框架进行大规模复杂网络的研究,主要有以下几方面工作:本课题通过对社团发现算法SHRINK研究,结合边图概念提出了一种新的重叠社团发现算法LinkSRHINK算法。该算法结合了基于密度社团发现算法,基于模块度优化算法和基于层次划分算法,拥有社团发现结果唯一确定、可以准确发现网络结构中的中心点和孤立点和社团结构避免过度重叠的优点。此外,L inkSHRINK算法还提出一个新颖概念:社团重叠度,从而可以发现具有不同重叠度的社团结构。实验表明,该算法在真实网络和人工生成网络上表现都优于经典的重叠社团发现算法。由于LinkSHRINK算法无法在大规模网络中正常运行,本课题通过采用图抽样和基于Spark分布式计算框架并行化LinkSHRINK从而提出新算法PLinkSHRINK算法较好地解决该问题。作为对比算法,本课题还实现了基于Hadoop平台并行LinkSRHINK的算法:MLinnkSRHINK算法。实验证明PLinkSHRINK算法的性能优于MLinkSRHINK算法和单机版的LinkSHRINK算法。最后,本课题基于分布式计算框架设计提出了一个高效便捷的大规模图挖掘系统BDAP。该系统集成了相应的图属性计算和社团发现算法,采用工作流模式与用户交互,方便用户使用。
【学位授予单位】:北京邮电大学
【学位级别】:硕士
【学位授予年份】:2017
【分类号】:O157.5;TP301.6

【相似文献】
中国期刊全文数据库 前10条
1 冯成进;;0—1规划新算法的改进[J];曲阜师范大学学报(自然科学版);1988年02期
2 邹汪平;;一种基于网络安全控制的蜂群算法应用研究[J];吉林师范大学学报(自然科学版);2013年04期
3 郭毅可;韩锐;;云计算中的弹性算法:概要和展望[J];上海大学学报(自然科学版);2013年01期
4 刘江华;戴新喜;白似雪;;基于模式矩阵的P_Matrix算法[J];南昌大学学报(理科版);2007年05期
5 胡俊鹏;;基于双向选择的蚁群相遇算法的优化[J];湖北民族学院学报(自然科学版);2013年01期
6 张丽;;关联规则挖掘算法的研究[J];赤峰学院学报(自然科学版);2013年02期
7 吴秋峰;尹海东;孟翔燕;;基于和积和最大积的信念传播算法的收敛性分析[J];数学的实践与认识;2011年09期
8 赵吉东;;蚁群算法的改进策略研究[J];中国科技信息;2012年12期
9 胡森森;周贤善;;一种改进蚁群算法的研究[J];长江大学学报(自科版);2006年10期
10 王恒娜;赵晓静;;基于属性覆盖的关联规则挖掘算法[J];安庆师范学院学报(自然科学版);2007年03期
中国重要会议论文全文数据库 前10条
1 黄纪武;毛泽华;李松涛;张锦雄;;SPMD并行查找算法的MPI实现[A];广西计算机学会——2004年学术年会论文集[C];2004年
2 黄纪武;毛泽华;李松涛;张锦雄;;SPMD并行查找算法的MPI实现[A];广西计算机学会2004年学术年会论文集[C];2004年
3 符丽锦;覃华;邓海;孙欣;;一种改进的Apriori算法的研究[A];广西计算机学会2012年学术年会论文集[C];2012年
4 王东锋;王军民;陈英武;;模糊定性仿真理论研究与算法实现[A];'2000系统仿真技术及其应用学术交流会论文集[C];2000年
5 ;Study on the spark discharge plasma jet driven by nanosecond pulses[A];第十五届全国等离子体科学技术会议会议摘要集[C];2011年
6 赵唯;;晶粒度评级的改进算法[A];中国图象图形科学技术新进展——第九届全国图象图形科技大会论文集[C];1998年
7 刘启文;;可扩展的图形学算法演示系统的研究[A];’2004计算机应用技术交流会议论文集[C];2004年
8 Osamu Fujiwara;;Effect of Approaching Contact Speed of Hand-Held Metal Piece on Characteristics of Discharge Current from Charged Human Body[A];第二届贵州省自然科学优秀学术论文评选获奖论文集(2007年)[C];2007年
9 佘智;蒋泰;朱延生;;基于Type C协议的防冲突改进算法[A];广西计算机学会25周年纪念会暨2011年学术年会论文集[C];2011年
10 ;β_1- but not β_2-adrenergic signaling accelerates the ryanodine receptor response to a single L-type Ca~(2+) channel in heart ceils[A];中国生理学会第23届全国会员代表大会暨生理学学术大会论文摘要文集[C];2010年
中国重要报纸全文数据库 前8条
1 杨娜;雪佛兰SPARK诠释微车[N];中国工业报;2003年
2 ;雪佛兰SPARK技术参数表[N];中国商报;2003年
3 若冰;雪佛兰Spark小车中的精灵[N];中国商报;2003年
4 记者 姬旺芳;天水星火SPARK商标获“中国驰名商标”[N];天水日报;2010年
5 记者 晓瑗;新西兰电信将更名为Spark[N];人民邮电;2014年
6 本报记者 那罡;微软Spark计划再添新成员[N];中国计算机报;2009年
7 ;上汽通用五菱SPARK引发微车新热浪[N];中国质量报;2003年
8 黄静洁;08款SPARK乐驰上市 能否突围微轿市场?[N];东方早报;2008年
中国博士学位论文全文数据库 前10条
1 钟永腾;基于近场MUSIC算法的复合材料结构健康监测研究[D];南京航空航天大学;2014年
2 刘燕;入侵杂草优化算法在阵列天线综合中的应用[D];西安电子科技大学;2015年
3 苗义烽;突发事件下的列车运行调度模型与算法研究[D];中国铁道科学研究院;2015年
4 杨玉婷;头脑风暴优化算法与基于视频的非接触式运动定量分析方法研究[D];浙江大学;2015年
5 刘杰;全局优化问题的几类新算法[D];西安电子科技大学;2015年
6 柏静;基于多种混合策略的人工蜂群算法改进研究[D];山东师范大学;2016年
7 孔翔宇;几类优化问题的人工蜂群算法[D];西安电子科技大学;2016年
8 匡立;分形网络的理论、算法及应用研究[D];武汉大学;2015年
9 孙磊磊;AP聚类算法研究及其在电子病历挖掘中的应用[D];大连理工大学;2017年
10 单美静;求解非线性实代数系统的混合算法研究[D];华东师范大学;2008年
中国硕士学位论文全文数据库 前10条
1 尹丁艺;基于Spark的大规模复杂网络社区发现算法的设计与实现[D];北京邮电大学;2017年
2 安世勇;命题逻辑中随机3-SAT问题算法研究[D];西南交通大学;2015年
3 毕晓庆;油气探矿权竞争性出让系统设计与实现[D];中国地质大学(北京);2015年
4 王明明;铁路大机与线路固定设施间距检测算法研究[D];西南交通大学;2015年
5 李静;基于视频图像序列的运动目标检测与跟踪算法研究[D];宁夏大学;2015年
6 刘贝玲;基于天地图的租房平台开发及其关键技术研究[D];西南交通大学;2015年
7 曹海锋;IDS中串匹配臭算法并行优化研究[D];西安建筑科技大学;2015年
8 周攀;基于蚁群算法的山区高速铁路隧道火灾应急疏散最优路径研究[D];西南交通大学;2015年
9 张路奇;基于改进蚁群算法的WSN路由协议的研究[D];中国地质大学(北京);2015年
10 王晓晨;入侵杂草优化算法的应用与改进[D];长安大学;2015年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026