收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

实时社交媒体分析系统的设计与实现

司同  
【摘要】:随着国际互联网络的进一步普及以及网络之上所承载的信息量的进一步丰富,互联网成为新的媒体已经是不争的事实,众多社交网站的访问量已不亚于传统媒体,以脸谱网和推特网为代表的社交网站已经成为了互联网信息传播的新势力,它们散发出的巨大能量使得传播领域出现了一个新的名词社交媒体。同时,由社交媒体产生的社交媒体数据也蕴含着巨大的信息。本文构建了一个以Twitter网站数据为基础,对用户的社交媒体数据进行统计分析的实时社交媒体分析系统。该分析系统以Twitter Storm流计算系统为平台,利用TwitterAPI和Python NLTK等技术,实现对社交媒体数据的关键字提取和情感分析等任务,为用户提供数据推荐。 首先,根据系统的应用场景和需求定义确定技术方案,选择Twitter Storm流计算系统实现对社交媒体数据的快速处理,保证系统持续计算和实时性;并选择Python NLTK解决关键字抽取和情感分析任务。 然后根据需求定义将系统划分为Twitter Streaming API适配模块、流计算和短文本分析模块、数据维护模块、网络结构分析模块、内容推送模块以及配置和日志模块,前五个模块主要用于实现系统功能目标,而配置和日志模块提高了系统的可用性。流计算和短文本分析模块包括Twitter Storm系统执行逻辑和PythonNLTK文本分析逻辑,利用Twitter Storm系统对流数据的处理优势实现对社交媒体流数据的快速处理,利用Python NLTK抽取Twitter数据的关键字,使用朴素贝叶斯分离器实现对社交媒体数据的情感分析,朴素贝叶斯分类器以其简单高效的计算模式和相对合理的计算结果,能够提高系统的计算质量和响应时间;网络结构分析模块利用节点相似度和Q值算法实现对用户群的社群划分工作,节点相似度计算利用矩阵运算得到所有节点的相似度拓扑序列,而Q值算法利用相似度计算结果分析得到相对合理的社群划分方案;系统配置利用Zookeeper提供的锁机制保证配置完整性。 最后,进行模块和系统测试,对系统各个模块和整体工作效果进行功能测试和性能测试。测试结果表明各模块满足需求定义的要求,系统响应速度和运行效果满足设计目标。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 ;模糊图像处理与分析系统[J];警察技术;2007年03期
2 侯勇;;IDS分析系统[J];商场现代化;2007年35期
3 甘信建;;推进网站安全管理 四川管局开发建设全省网站分析系统[J];通信与信息技术;2008年02期
4 陈勇;张佳骥;吴立德;刘海娟;;基于开源信息的情报分析系统[J];无线电工程;2009年05期
5 蒋悟生;曹进军;杨志芹;王天虹;陈巍;;多功能学位论文数据库的研究——基于天津师范大学的模型分析[J];农业图书情报学刊;2010年04期
6 张克宏;潘安俊;;新型高精度快速高炉煤气取样机分析系统[J];冶金设备;2010年02期
7 钱永生;;多功能质谱分析系统及其在电真空工艺研究中的实验技术[J];真空科学与技术学报;1982年06期
8 黄理胜;;从质谱图特征判断漏气的经验[J];真空电子技术;1983年05期
9 李庆祝;;我校研制成功“多功能微机图象处理与分析系统”[J];武汉大学学报(理学版);1985年04期
10 巴志刚 ,刘红;《短期天气预报资料处理与分析系统》软件简介[J];河南大学学报(自然科学版);1990年01期
11 ;“外资银行非现场监测分析系统”通过技术鉴定[J];中国金融电脑;2000年10期
12 王月莉,于立国,王贺艳;人事信息分析系统的设计与开发[J];承德石油高等专科学校学报;2004年03期
13 蔡煜琦;;“多元地学空间数据管理与分析系统GeoExpl”培训班在西安举办[J];世界核地质科学;2006年02期
14 宋豪杰;;一种基于SIS平台的火电厂生产过程回放和分析系统[J];山西电力;2006年06期
15 黄明策;;混合编程技术在台风资料图形化分析中的应用[J];成都信息工程学院学报;2007年03期
16 叶庆红;廖明潮;;昆虫鸣声数字化信号处理系统的构建[J];计算机与数字工程;2007年06期
17 蓝荣杨;;电量分析系统的应用[J];自动化仪表;2007年S1期
18 朱海鹏;阎运安;赵瑞功;;济宁电网实时信息智能分析系统开发应用[J];山东电力技术;2007年06期
19 李晓慧;;中医——怎一个悟字了得[J];中国计算机用户;2007年47期
20 佟敏;;中国移动省级经营分析系统建设[J];电信技术;2008年01期
中国重要会议论文全文数据库 前10条
1 闫琪;郭晓军;陈德康;龙凤雨;;Dartfish团队分析系统在女子曲棍球比赛中的实际应用[A];第十一届全国运动生物力学学术交流大会论文汇编(摘要)[C];2006年
2 ;数字化电厂热效率优化分析系统[A];电子信息节能技术与产品推广应用专集[C];2009年
3 张斯亮;;Vague智能信息分析系统[A];2005年中国智能自动化会议论文集[C];2005年
4 黄枫;申洪;;基于LEADTOOLS的生物体视学分析系统[A];第六届全国生物医学体视学学术会议暨第九届全军军事病理学学术会议、第五届全军定量病理学学术会议论文汇编[C];2005年
5 唐宁;曹文静;夏汛生;张碧玉;田磊;;ACL TOP全自动血凝分析系统的建立与性能评价[A];第五次全国中青年检验医学学术会议论文汇编[C];2006年
6 周开邻;马琳;胡志华;胡问国;吴永强;;多功能图像处理和分析系统[A];第八次全国电子显微学会议论文摘要集(Ⅱ)[C];1994年
7 倪邦发;黄东辉;肖才锦;孙洪超;王平生;刘存兄;张贵英;;中国先进研究堆中子活化分析设施建设介绍[A];第十二届全国活化分析学术交流会论文摘要汇编[C];2010年
8 霍科林;;我国优秀女子链球运动员动作技术分析及分析系统的初步建立[A];第十一届全国运动生物力学学术交流大会论文汇编(摘要)[C];2006年
9 郝永强;焦维新;;效应分析系统[A];第十届全国日地空间物理学术讨论会论文摘要集[C];2003年
10 万年红;高金刚;史懿;徐家倬;;生产过程信息综合分析系统的研制[A];第十二届全国设备故障诊断学术会议论文集[C];2010年
中国博士学位论文全文数据库 前10条
1 杨贤;面向智能水电站的远程监测与分析系统[D];华中科技大学;2012年
2 王建军;中药质量控制规范化及光谱相关色谱分析系统研究[D];第二军医大学;2005年
3 霍科林;女子链球项目生物力学研究[D];北京体育大学;2007年
4 魏向军;全反射相关的X射线荧光分析技术及其应用[D];兰州大学;2006年
5 夏萍;基于虚拟仪器和图像处理技术的树木年轮微密度研究及其应用[D];安徽农业大学;2007年
6 张文炬;汽车产品验证信息化管理与分析系统的开发研究[D];合肥工业大学;2004年
7 王于杰;SPR生化分析系统在SARS病毒检测中的应用研究[D];中国科学院研究生院(电子学研究所);2007年
8 王彩霞;嵌入式激光光束质量分析系统的研究[D];长春理工大学;2009年
9 吴婷;微分析系统在环境监测中的应用研究[D];华东师范大学;2010年
10 刘建华;唇缺损皮瓣修复设计中量化优选分析法的应用及唇颊滑行组织瓣计算机预测分析系统的建立[D];浙江大学;2002年
中国硕士学位论文全文数据库 前10条
1 司同;实时社交媒体分析系统的设计与实现[D];哈尔滨工业大学;2013年
2 周伟;企业成本分析系统的设计与实现[D];北京邮电大学;2013年
3 崔国辉;百度音乐商务分析系统的设计与实现[D];北京交通大学;2012年
4 任燕;股票技术分析系统的设计与实现[D];电子科技大学;2012年
5 冯伟;基于云计算的海量数据分析系统的研究与实现[D];上海交通大学;2012年
6 王力志;监狱综合信息智能分析系统[D];北方工业大学;2010年
7 李同喜;故障录波器后台分析系统的设计与实现[D];华中科技大学;2011年
8 边启顺;电信结算分析系统的分析、设计与应用[D];北京邮电大学;2010年
9 贾利娟;企业舆情分析系统的设计与实现[D];西安电子科技大学;2010年
10 薛瑜;财政收入分析系统的设计与实现[D];电子科技大学;2009年
中国重要报纸全文数据库 前10条
1 刘庆;定位“经分”[N];网络世界;2006年
2 赵云波 记者  孙小和;常州移动开发出无线网质量智能分析系统[N];人民邮电;2007年
3 王慧斌李春瑜 黄晓姝;分析系统给纳税评估安上“眼睛”[N];中国税务报;2007年
4 ;古浪税收综合分析系统高效运转[N];武威日报;2007年
5 老添;哈工大研制出电脑舌象病症分析系统[N];医药经济报;2006年
6 殷雯李程;安徽电信域名分析系统为互联网安全护航[N];人民邮电;2007年
7 本版编辑 王辉 郑强;新疆电信借经营分析系统算细账[N];通信产业报;2006年
8 ;安徽:域名分析系统成管理利器[N];人民邮电;2007年
9 北京中创信测科技股份有限公司;中创信测打造宽带网络业务分析系统[N];通信产业报;2005年
10 权莉 陈浩;“马克威”软件填补我国自主产权空白[N];中国贸易报;2006年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978