收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

分布式社会网络分析支撑系统研究与应用

何忠育  
【摘要】:随着互联网的快速发展,SNS网站的兴起,人们越来越多地通过网络进行沟通、交流以及形成人际关系,由此产生了大量的用户数据。如何从海量的用户数据中取得更深层次的有用信息,进而挖掘其中的潜在内容,如网络舆论扩散模型、网络用户群体属性及商业价值等,是当前的重要研究方向和挑战。传统的社会网络分析工具和算法通常都是基于单机的,在处理大规模数据集的时候往往会面临存储和处理能力不足等的问题。而且,原始输入数据和社会网络结构描述都是无结构或半结构化的数据,传统关系数据库并不善于处理此种类型的数据,从而在利用传统社会网络分析工具和算法处理大规模数据集时变得更加困难。 本文提出了基于HBase的分布式社会网络分析支撑系统的解决方案,用于帮助用户在对海量数据进行社会网络分析时,收集萃取数据,构建可分析的社会网络,对网络内的个体或个体间关系进行分析,以得出这个社会网络的一些特征数据。系统主要功能包括获取社会网络分析所需的数据,从数据中抽取网络关系,分布式社会网络构建,网络图存储和分布式社会网络分析算法的设计,完整实现了进行社会网络分析的过程。 该解决方案通过融合HBase分布式体系结构和社会网络分析流程,建立了基于模块的多层次体系结构。系统模块间采用松耦合设计,不同模块完成不同的功能,在不改变系统功能前提下对任意模块的内部修改不影响其他模块的工作。在构建社会网络时,系统通过开源爬虫从互联网,特别是社会化网站中获取构建社会网络相关的数据,并从非结构或半结构化的原始输入数据中抽取出相关的社会网络关系,然后利用MapReduce分布式构建社会网络,包括网络合并、边属性计算等。在支撑系统的存储层设计了基于HBase的图存储系统,并针对社会网络结构的特性设计了图存储结构,负责存储构建完成的社会网络,向上层应用提供各种所需图数据。在进行社会网络分析时,通过图表述系统将社会网络抽象为一幅图,然后对图中的节点和边进行处理,图表述系统向分布式社会网络分析算法提供图数据接口和预处理功能。最后,在支撑系统的基础上,本文以节点度、节点强度及聚类系数分析为例介绍了基于MapReduce的分布式社会网络分析算法的设计与实现过程,并进行实验和结果分析。 本文提出的基于HBase的分布式社会网络分析支撑系统经过实验验证,运行良好,适用于支撑对大规模社会网络数据集进行社会网络分析。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 王运锋;夏德宏;颜尧妹;;社会网络分析与可视化工具NetDraw的应用案例分析[J];现代教育技术;2008年04期
2 邓中华;;社会网络、引文网络和链接网络之比较[J];图书馆杂志;2008年09期
3 袁辉;;文献提供协作网合理构建研究[J];现代情报;2008年08期
4 党洪莉;孙红霞;;图书情报学博客的社会网络分析[J];情报杂志;2009年01期
5 陈淑洁;叶新东;邹文才;;社会网络分析在网络课程评价中的应用研究[J];现代教育技术;2009年03期
6 邱峰;叶新东;;网络学习社区的社会网络研究[J];现代教育技术;2010年02期
7 魏顺平;;社会网络分析及其应用案例[J];现代教育技术;2010年03期
8 张丽;张际平;;非正式学习虚拟社区的个案研究——以Sybase交流群为例[J];电化教育研究;2011年01期
9 程慧平;余凡;;基于语义web的社会网络分析应用模型研究[J];情报科学;2011年04期
10 邱均平;许丽敏;陈瑞;;社会网络视角下企业内部知识共享机制研究[J];图书情报工作;2011年10期
11 黎加厚;赵怡;王珏;;网络时代教育传播学研究的新方法:社会网络分析——以苏州教育博客学习发展共同体为例[J];电化教育研究;2007年08期
12 王知津;樊振佳;;基于社会网络分析的企业竞争情报战略[J];图书情报知识;2007年06期
13 洪秋兰;;在外经商农民信息交流的社会网络分析——以辽宁省某木材经营社区为例[J];图书情报工作;2008年05期
14 唐伦;陈前斌;曾孝平;李云;;基于社会网络分析的泛在网络仿真平台[J];计算机工程;2008年22期
15 曹超;盛小平;;社会网络在竞争情报源挖掘中的应用研究[J];情报理论与实践;2009年03期
16 王陆;;虚拟学习社区的社会网络分析[J];中国电化教育;2009年02期
17 王翼;吴斌;杨胜琦;;CommTracker:一种基于核心的社区演化跟踪算法(英文)[J];计算机科学与探索;2009年03期
18 张星;夏火松;蔡淑琴;;企业内部社会网络的市场机遇信息角色研究[J];情报杂志;2009年12期
19 胡贵强;张自力;;一种基于Agent模拟的反犯罪网络分析方法[J];西南师范大学学报(自然科学版);2009年06期
20 纪雪梅;李长玲;许海云;;基于权力指数的引文网络分析方法探讨[J];图书情报工作;2009年24期
中国重要会议论文全文数据库 前10条
1 赵燕平;孙铁铮;;基于多重社会网络分析理论的风险发现与监测[A];第12届全国信息管理与工业工程学术会议论文汇编[C];2008年
2 郝志运;钟佳桂;莫云生;;基于社会网络分析的知识权力中心研究[A];2007年全国第十一届企业信息化与工业工程学术会议论文集[C];2007年
3 陈捷;;云计算在电信IT支撑系统应用的研究[A];中国通信学会信息通信网络技术委员会2011年年会论文集(上册)[C];2011年
4 詹义;段伟希;胡晓彦;;云计算在电信IT支撑系统中的应用[A];中国通信学会信息通信网络技术委员会2011年年会论文集(上册)[C];2011年
5 张晓鸣;李思伟;李小菊;;基于网络计量学的项目管理知识体系分析[A];经济、技术与环境——全国经济管理院校工业技术学研究会第九届学术年会论文集[C];2008年
6 方晓义;郑宇;林丹华;;友伴团体与中学生吸烟行为的关系:社会网络分析[A];第九届全国心理学学术会议文摘选集[C];2001年
7 刘存福;侯光明;;社会网络战略:战略理论研究的新视角[A];管理科学与系统科学研究新进展——第8届全国青年管理科学与系统科学学术会议论文集[C];2005年
8 聂锟;唐锡晋;顾基发;;科学合作网络分析和应用[A];管理科学与系统科学研究新进展——第8届全国青年管理科学与系统科学学术会议论文集[C];2005年
9 刘祖斌;;区域系统决策分析中的依存属性准则研究[A];第八届中国青年运筹信息管理学者大会论文集[C];2006年
10 郭岚;;浅析通过话务分析遏制话务流失,支撑市场前端[A];2007中国科协年会——通信与信息发展高层论坛论文集[C];2007年
中国博士学位论文全文数据库 前10条
1 廖丽平;模糊社会网络分析(FSNA)及企业技术创新影响因素研究[D];广东工业大学;2012年
2 侯海燕;基于知识图谱的科学计量学进展研究[D];大连理工大学;2006年
3 赵永耀;面向3G移动数据业务管理研究[D];电子科技大学;2009年
4 张星;市场机遇信息搜索的社会网络模式及其系统的研究[D];华中科技大学;2009年
5 王陆;虚拟学习社区的社会网络结构研究[D];西北师范大学;2009年
6 钟琦;企业内部知识流动网络分析[D];大连理工大学;2009年
7 朱亚丽;基于社会网络视角的企业间知识转移影响因素实证研究[D];浙江大学;2009年
8 薛飞;基坑支护系统控制及三维可视化研究[D];同济大学;2006年
9 申长江;基于企业面向批量化生产的技术整合(TIM)机理研究[D];华中科技大学;2008年
10 高嵩;非对称战略联盟网络中的机会主义研究[D];北京邮电大学;2009年
中国硕士学位论文全文数据库 前10条
1 何忠育;分布式社会网络分析支撑系统研究与应用[D];广东工业大学;2011年
2 徐红彩;基于资源的学习过程设计模式[D];河北大学;2003年
3 赵东杰;门式刚架轻钢结构支撑研究及动力性能分析[D];郑州大学;2005年
4 杨华;ZY-220型旋挖钻机钻挖支撑系统动力分析[D];吉林大学;2007年
5 车松岩;钢结构门式刚架施工过程中的安全与稳定[D];上海交通大学;2006年
6 杨锐;电站计算机监控系统操作员站的仿真实现[D];哈尔滨工程大学;2006年
7 顾亮;电信领域专题分析支撑系统研究和设计[D];北京邮电大学;2006年
8 黄邦启;湖南汽车城有限公司发展战略研究[D];湖南大学;2006年
9 张宪军;基于VxWorks的通信支撑系统设计[D];电子科技大学;2007年
10 贡金涛;社会网络分析在学科评估中的应用[D];辽宁师范大学;2010年
中国重要报纸全文数据库 前10条
1 李昕 IT支撑版主笔;云计算重塑IT支撑系统[N];通信产业报;2010年
2 特约撰稿 高艳;移动、联创共商移动业务支撑系统前景[N];通信信息报;2004年
3 赵立君;构建完善的3G业务支撑系统[N];人民邮电;2005年
4 王宁;支撑系统筑就坚实业务平台[N];人民邮电;2003年
5 林燕舞;佳都集成助力西北通信运营支撑系统[N];通信产业报;2003年
6 中国社会科学院经济研究所 剧锦文;新型产业体系初露端倪 相关支撑系统尚不匹配[N];中国工业报;2005年
7 张雪琳;通信展“诉说”支撑系统将来时[N];通信产业报;2004年
8 邵云飞;如何为支撑系统选配服务器?[N];通信产业报;2003年
9 然;综合业务支撑系统前景广阔[N];人民邮电;2001年
10 秦蓉 王辉;2005,支撑系统的“倾城之恋”[N];通信产业报;2005年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978