收藏本站
《南京信息工程大学》 2019年
收藏 | 手机打开
二维码
手机客户端打开本文

基于种子扩展的社区发现算法及其并行化

刘琴  
【摘要】:社区发现是数据挖掘领域针对复杂网络的一个热门研究话题。随着网络的不断复杂化,传统的社区发现算法早已无法满足人们对网络更深层次的要求,因此,基于种子扩展的社区发现算法成为近年来社区发现算法研究的一个热点,它在种子选择和社区扩展等方面发挥着很大的优势。如何选择最合适、最准确的种子,如何制定社区扩展的策略,最大限度的提高社区划分的准确性和效率是重中之重。结合上述问题,本文从种子选择和社区扩展两方面,提出了一种新的基于种子扩展的社区发现算法,并对其改进和并行化处理,其具体工作如下:(1)针对大多数重要节点衡量方法的片面性和不准确性等问题,本文提出了一种基于局部信息和全局信息的节点影响力计算方法(LGI,Local and Global Information based Node Influence Method),利用节点在网络中的局部信息和全局信息,衡量每个节点的综合影响力,挑选前k个影响力大的节点作为种子。实验表明,LGI方法不仅能发现影响力高的节点,而且与其他节点影响力计算方法相比,节点影响力排序结果更加准确。随后,本文提出了一种基于种子扩展的社区发现算法(SELCDA,Seed Expansion and LDA based Community Detection Algorithm)。种子和邻居节点共同组成初始社区。引入基于Gibbs采样的LDA主题模型,根据未分配节点到各个主题的概率,获得到各个社区的概率,将未分配节点划分到概率大的社区,从而获得网络的社区结构。实验表明,与其他社区发现算法相比,SELCDA算法发现的网络社区结构更加精确。(2)针对SELCDA算法初始社区重叠率过高,社区扩展策略不稳定等问题,本文提出一种基于相似性和距离的社区发现算法(SDCDA,Similarity and Distance based Community Detection Algorithm)算法。在种子选择阶段,加入过滤操作,防止种子相邻,初始社区过度重叠;在社区扩展阶段,根据未分配节点与社区的相似性和到社区的距离倒数之和,计算未分配节点到各个社区的优先级,将其划分到优先级较高的社区。对社区融合归并,获得网络社区结构。实验证明,与SELCDA算法相比,SDCDA算法进一步提高了社区发现的准确性。最后,基于Spark并行化计算框架,实现SDCDA算法的并行化(PSDCDA)。实验证明,随着CPU核数的增加,PSDCDA执行时间不断减少,且与其他并行化社区发现算法相比,PSDCDA算法在大规模数据集上表现出高准确性。
【学位授予单位】:

知网文化
【相似文献】
中国期刊全文数据库 前20条
1 蒋少丙;刘书刚;;面向过程的任务并行化设计方法[J];计算机系统应用;2015年09期
2 本刊编辑部;;“地理计算并行化”专辑征稿[J];地球信息科学学报;2014年06期
3 齐书阳;;迎接并行化的明天[J];软件世界;2009年06期
4 金国华,陈福接;并行化技术与工具[J];计算机研究与发展;1996年07期
5 杨桃栏;程序并行化的有力工具——介绍Kuck公司的KAP[J];计算机工程与科学;1989年04期
6 本刊编辑部;;“地理计算并行化”专辑导言[J];地球信息科学学报;2015年05期
7 张妮娜;窦衡;;并行化改进遗传算法的FPGA高速实现方法[J];信息与电子工程;2012年01期
8 蔡砥,滕丽,王铮;一种禁忌搜索算法在计算网格中的并行化策略[J];微电子学与计算机;2004年06期
9 陈水福,孙炳楠,唐锦春;建筑风压数值模拟的几种并行化策略[J];计算力学学报;1998年02期
10 曹琳,杨学军,金国华;两种并行化机制的分析[J];计算机研究与发展;1993年09期
11 倪安宁;高林杰;肖光年;;交通网络微观仿真并行化实现方法[J];系统管理学报;2014年04期
12 王伟;潘建伟;;有限差分法的并行化计算实现[J];电脑知识与技术;2008年07期
13 王伟;潘建伟;;有限差分法的并行化计算实现[J];微型电脑应用;2008年05期
14 马立;孔宇航;周典;贾建东;;设计结合建造——我国建筑运作模式的“并行化”操作研究[J];建筑学报;2019年04期
15 杨兆程;;图染色算法的并行化[J];电脑编程技巧与维护;2018年03期
16 高嵩,崔西宁;并行化高级语言的实现[J];西安工业学院学报;1997年02期
17 姚益平,靳远宠,杨桃栏;多机环境下系统程序并行化的实现方法[J];国防科技大学学报;1992年04期
18 张蕾;;装箱问题近似算法的并行化研究[J];中国科技信息;2009年17期
19 郭克榕,唐新春;基于多层循环并行化的负载平衡优化[J];国防科技大学学报;1997年05期
20 康继昌,于跃,洪远麟;流场计算程序并行化方法的研究[J];航空学报;1993年08期
中国重要会议论文全文数据库 前10条
1 范存群;林曼筠;赵现纲;谢利子;卫兰;国鹏;;风云卫星降水估计日收工产品算法并行化研究[A];第35届中国气象学会年会 S21 卫星气象与生态遥感[C];2018年
2 王卉;屈强;;挖掘最大频繁项集的并行化策略[A];2007年全国开放式分布与并行计算机学术会议论文集(上册)[C];2007年
3 兰彤;冯玉才;肖伟器;;空间连接处理的并行化研究[A];数据库研究进展97——第十四届全国数据库学术会议论文集(上)[C];1997年
4 王本龙;龚凯;刘桦;;自由表面流动问题的并行化SPH方法求解[A];中国力学学会学术大会'2009论文摘要集[C];2009年
5 王峰;杨建俊;张天爵;许淑艳;;不同操作平台上的MCNP并行化计算[A];中国原子能科学研究院年报 2009[C];2010年
6 郑巢生;;基于OpenFOAM大规模并行化计算方法研究[A];第二十七届全国水动力学研讨会文集(上册)[C];2015年
7 王韶娟;曾国荪;;分形维数的一个并行算法[A];2005年全国开放式分布与并行计算学术会议论文集[C];2005年
8 杨林;杨天枭;徐慧;;基于流水线并行化的纠删码恢复研究[A];中国计算机用户协会网络应用分会2017年第二十一届网络新技术与应用年会论文集[C];2017年
9 徐金秀;张天刚;;NCC区域气候模式算法分析及并行化实现[A];2006年全国开放式分布与并行计算学术会议论文集(一)[C];2006年
10 常兴华;马戎;王年华;张来平;;非结构重叠网格并行化隐式装配技术研究[A];第四届全国非定常空气动力学学术会议论文集[C];2018年
中国重要报纸全文数据库 前10条
1 ;服务器软件的并行化革命[N];网络世界;2006年
2 谢涛;英特尔:忽视并行化软件后果很危险[N];电脑商报;2008年
3 宁雷;联想携手Intel启动服务器大型巡展[N];中国电脑教育报;2007年
4 刘洪宇;释放多核潜能 挑战仍在并行软件[N];中国计算机报;2008年
5 孙永杰;应用为先:高性能计算较量“软”实力[N];中国电子报;2008年
6 记者 鲁媛媛;英特尔软件进入并行时代[N];网络世界;2009年
7 宋家雨;集群撑不起全部天空[N];网络世界;2006年
8 吴亚飙;“并行”焕发IPS力量[N];网络世界;2008年
9 英特尔公司首席工程师 吴甘沙;大数据引发“撞墙”效应 编程效率还待提高[N];中国电子报;2012年
10 木斯;高性能计算 提起应用有点难[N];中国计算机报;2002年
中国博士学位论文全文数据库 前10条
1 张平;并行化编译器中并行程序自动生成和性能优化技术研究[D];解放军信息工程大学;2006年
2 董春丽;并行化编译中数据和计算的自动划分及优化技术研究[D];解放军信息工程大学;2007年
3 程兴国;仿生算法的动态反馈机制及其并行化实现方法研究[D];华南理工大学;2013年
4 赵岩;复杂机电系统仿真的并行化方法研究[D];华中科技大学;2017年
5 傅游;稀薄气体Monte Carlo数值仿真并行化技术研究与实现[D];西北工业大学;2002年
6 耿光超;电力系统稳定约束最优潮流:模型、算法与并行化[D];浙江大学;2014年
7 丁晓宁;面向CFD的交互式并行化技术研究[D];西北工业大学;2002年
8 高放;面向片上异构多核系统的机器学习算法并行化技术研究[D];北京工业大学;2017年
9 周纯葆;基因岛预测与隔离迁移模型并行化[D];吉林大学;2012年
10 郭琦;异构多核可重构平台指令并行化关键问题研究[D];中国科学技术大学;2015年
中国硕士学位论文全文数据库 前10条
1 徐熙豪;基于FUSE的MBR编码的并行化研究[D];华中科技大学;2019年
2 周芯宇;基于元启发式算法的VNF部署及其并行化[D];西南交通大学;2019年
3 刘琴;基于种子扩展的社区发现算法及其并行化[D];南京信息工程大学;2019年
4 刘振羽;基于Spark的基因组学数据比对算法的并行化研究与比对平台构建[D];内蒙古农业大学;2019年
5 倪宁;一种簇存储结构中GPU加速并行化R-tree的方法[D];上海交通大学;2017年
6 罗钰敏;事件知识图谱并行化研究及应用[D];电子科技大学;2019年
7 何宗浩;基于Spark的Top-k高效用项目集挖掘研究[D];重庆邮电大学;2019年
8 许德心;关联规则挖掘算法的并行化及应用研究[D];南京邮电大学;2019年
9 陆俊尧;协同过滤算法的设计及并行化实现与应用[D];南京邮电大学;2019年
10 陶飞;基于姿态的属性学习并行化方法在行人再识别中的研究[D];江苏大学;2019年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978