收藏本站
《辽宁大学》 2015年
收藏 | 手机打开
二维码
手机客户端打开本文

分布式环境下基于语义的社团发现算法研究

吕家琦  
【摘要】:近年来,随着互联网的迅猛发展,社交网络的发展引人关注,致使社团发现成为了一项重要的研究课题。在当今数据规模爆炸式增长的背景下,社交网络中个体间的关系也变得日益复杂,如何在复杂的社交网络中找到关系紧密的个体并将它们划分为一个社团是现阶段社团发现的重要任务。对于大规模数据来说,以传统的集中方式进行社团发现耗费时间较长,不能实现实时性反馈。鉴于分布式系统具有的高并发、高内聚、低延迟等特点,可满足现阶段社交网络处理需求,因此,分布式处理方式得到了研究者的关注。本文重点研究了基于分布式计算平台Hadoop的社团发现方法,提高了大规模社团发现的时间效率。本文的研究内容主要有以下三个方面:首先,本文研究了社交网络数据在HDFS中的存储方法,重点研究了HDFS中网络图数据分片算法,提出了一种分布式协同聚类算法进行社交网络分片。该算法可对社交网络数据高效的分片和分布式存储,将具有紧密关系的用户节点放在同一个datanode上,从而提高后续社团发现效率。其次,针对在datanode上分布式存储的社交网络数据分片,设计了基于Map Reduce计算模型的分布式社团发现算法。该算法采用模块度衡量社团,并引入语义模型,对社团发现进行预处理,提高划分的准确性。最后,本文对所提方法在实际数据集上进行实验以验证其有效性。实验表明,本文提出的分布式协同聚类算法能够处理大规模社团数据存储,并在时间效率上高于传统集中式的协同聚类算法。本文改进的分布式模块度算法在保证了社团划分准确性的前提下,提高了传统模块度算法的时间效率。
【学位授予单位】:辽宁大学
【学位级别】:硕士
【学位授予年份】:2015
【分类号】:TP311.13

【参考文献】
中国期刊全文数据库 前1条
1 于戈;谷峪;鲍玉斌;王志刚;;云计算环境下的大规模图数据处理技术[J];计算机学报;2011年10期
【共引文献】
中国期刊全文数据库 前10条
1 王晟;赵壁芳;;面向云计算的数据管理技术研究[J];电脑知识与技术;2012年13期
2 宋亚奇;刘树仁;朱永利;王德文;李莉;;电力设备状态高速采样数据的云存储技术研究[J];电力自动化设备;2013年10期
3 李晓飞;;基于云计算技术的大数据处理系统的研究[J];长春工程学院学报(自然科学版);2014年01期
4 任梁;;试论云计算技术下的大数据处理系统[J];电子技术与软件工程;2014年16期
5 刘法明;王红;;一种适用于多维数据范围查询的辅助索引机制[J];广西大学学报(自然科学版);2014年05期
6 于成龙;王梓涵;;面向云存储的非结构化数据存储研究[J];计算机光盘软件与应用;2014年19期
7 刘丽娇;陶俊才;肖晓军;卢宇;;电信大规模社交关系网络图数据挖掘研究[J];电信科学;2015年01期
8 方少亮;;基于高性能计算的网络化安全生产应急演练系统的研究[J];电子技术与软件工程;2015年14期
9 谢华成;范黎林;;云环境下海量非结构化信息存储技术探究[J];制造业自动化;2012年16期
10 戴炳荣;宋俊典;钱俊玲;;云计算环境下海量分布式数据处理协同机制的研究[J];计算机应用与软件;2013年01期
中国博士学位论文全文数据库 前9条
1 郭红方;视频点播内容分发关键技术研究[D];郑州大学;2012年
2 王锋;基于粒化机理的粗糙特征选择高效算法研究[D];山西大学;2013年
3 杨雅君;动态图数据挖掘与查询算法的研究[D];哈尔滨工业大学;2013年
4 王金宝;云计算系统中索引与查询处理技术研究[D];哈尔滨工业大学;2013年
5 刘晓东;虚拟计算环境下性能可预测编程模型及其支撑技术研究[D];上海大学;2014年
6 张莹光;云计算环境下保护隐私的图状数据处理技术研究[D];北京邮电大学;2014年
7 于乐;社会网络中社团发现及网络演化分析[D];北京邮电大学;2014年
8 王宁;云计算环境下数据管理与任务调度优化策略研究[D];北京科技大学;2015年
9 孙大为;云计算环境中高质量资源管理及高可信安全策略研究[D];东北大学;2012年
【相似文献】
中国期刊全文数据库 前10条
1 ;基于位置的手机社交网络“贝多”正式发布[J];中国新通信;2008年06期
2 曹增辉;;社交网络更偏向于用户工具[J];信息网络;2009年11期
3 ;美国:印刷企业青睐社交网络营销新方式[J];中国包装工业;2010年Z1期
4 李智惠;柳承烨;;韩国移动社交网络服务的类型分析与促进方案[J];现代传播(中国传媒大学学报);2010年08期
5 贾富;;改变一切的社交网络[J];互联网天地;2011年04期
6 谭拯;;社交网络:连接与发现[J];广东通信技术;2011年07期
7 陈一舟;;社交网络的发展趋势[J];传媒;2011年12期
8 殷乐;;全球社交网络新态势及文化影响[J];新闻与写作;2012年01期
9 许丽;;社交网络:孤独年代的集体狂欢[J];上海信息化;2012年09期
10 李玲丽;吴新年;;科研社交网络的发展现状及趋势分析[J];图书馆学研究;2013年01期
中国重要会议论文全文数据库 前10条
1 赵云龙;李艳兵;;社交网络用户的人格预测与关系强度研究[A];第七届(2012)中国管理学年会商务智能分会场论文集(选编)[C];2012年
2 宫广宇;李开军;;对社交网络中信息传播的分析和思考——以人人网为例[A];首届华中地区新闻与传播学科研究生学术论坛获奖论文[C];2010年
3 杨子鹏;乔丽娟;王梦思;杨雪迎;孟子冰;张禹;;社交网络与大学生焦虑缓解[A];心理学与创新能力提升——第十六届全国心理学学术会议论文集[C];2013年
4 毕雪梅;;体育虚拟社区中的体育社交网络解析[A];第九届全国体育科学大会论文摘要汇编(4)[C];2011年
5 杜炤;刘婷;刘奇峰;;基于社交网络服务的个人知识管理系统研究[A];中国高等教育学会教育信息化分会第十二次学术年会论文集[C];2014年
6 ;我们从未如此热闹,却又从未如此孤独——论社交网络中的自我呈现[A];第三届华中地区新闻与传播学科研究生学术论坛获奖论文[C];2012年
7 颜艳春;;电子商务的下一个浪潮:社交购物[A];第四届(2011)中国商业信息化行业大会暨第四届中国商业信息化技术展览会会刊[C];2011年
8 仲玮;刘敏;范轶;代成琴;;以社交网络为核心的校园信息系统架构[A];中国高等教育学会教育信息化分会第十二次学术年会论文集[C];2014年
9 侯映红;吕勇强;吴强;杨正文;;基于瞬时社交网络服务的位置敏感模型[A];第八届和谐人机环境联合学术会议(HHME2012)论文集PCC[C];2012年
10 刘恕;;试论传统媒体与社交网络的交互融合——从新华社电视进驻开心网说起[A];第十一届中国科协年会第33分会场新媒体与科技传播研讨会论文集[C];2009年
中国重要报纸全文数据库 前10条
1 本报驻堪培拉记者 陈小方;社交网络让人焦虑不安[N];光明日报;2010年
2 彭敏;社交网络分析异军突起成新宠[N];电脑商报;2011年
3 VAR记者 彭敏;企业拥抱社交网络的步骤及工具[N];电脑商报;2011年
4 中国电信广东公司员工 谭拯;社交网络:挖掘“连接”与“发现”的价值[N];人民邮电;2011年
5 周虎城;管理社交网络需要政治智慧[N];南方日报;2011年
6 刘一冰;方案商的社交网络[N];电脑商报;2011年
7 钟声;社交网络管理是各国共同课题[N];人民日报;2011年
8 ;企业如何创建内部社交网络[N];网络世界;2012年
9 宋平 编译;如何优化社交网络营销[N];中华读书报;2013年
10 本报记者 王娟;企业社交网络盈利未“水起”[N];中国计算机报;2013年
中国博士学位论文全文数据库 前10条
1 吕加国;在线社交网络社会影响传播与影响最大化问题研究[D];燕山大学;2015年
2 尹红军;大规模社交网络中局部兴趣社区发现研究[D];中国科学技术大学;2014年
3 郭静;社交网络影响力传播的分析与挖掘研究[D];北京邮电大学;2014年
4 丁旋;社交网络分析中的隐私保护问题:去匿名化与无缝隐私[D];清华大学;2014年
5 孙见山;科研社交网络中的论文推荐[D];中国科学技术大学;2014年
6 张彦超;社交网络服务中信息传播模式与舆论演进过程研究[D];北京交通大学;2012年
7 杨辰;科研社交网络平台中的合作者推荐[D];中国科学技术大学;2015年
8 刘海峰;社交网络用户交互模型及行为偏好预测研究[D];北京邮电大学;2014年
9 程军军;社交网络中信息传播模式及话题趋势预测研究[D];北京交通大学;2013年
10 张志军;社交网络中个性化推荐模型及算法研究[D];山东师范大学;2015年
中国硕士学位论文全文数据库 前10条
1 叶嘉颖;社交网络文化探析[D];华南理工大学;2010年
2 范海涛;社交网络在企业中的应用研究[D];河南大学;2014年
3 翟伯荫;社交网络中领域专家的识别研究[D];华东师范大学;2015年
4 张德林;老年人社交网络、社会支持与主观幸福感的关系研究[D];上海师范大学;2015年
5 张艳颖;社交网络平台广告传播的动力机制与强化策略研究[D];河北大学;2014年
6 孙绪彬;传播学视域下的SNS用户信息分享研究[D];西南大学;2015年
7 贾冲冲;基于MapReduce的微博好友推荐研究[D];东北林业大学;2015年
8 吕家琦;分布式环境下基于语义的社团发现算法研究[D];辽宁大学;2015年
9 张宁;基于用户行为的社交网络用户动态影响力模型研究[D];辽宁大学;2015年
10 孙海龙;聚美优品有限公司社交网络营销策略研究[D];哈尔滨理工大学;2014年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026