收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于企业营业日志的大数据分析与辅助决策研究

陈任飞  
【摘要】:随着传统行业中的企业日志数据急剧增加,企业挖掘日志价值的需求也日益增长。传统的日志处理技术在日志的收集、分析、存储环节面临越来越多的困难,无法满足对海量日志的灵活收集、快速读写以及多维分析等需求,也无法有效地为企业的营销活动进行辅助决策。企业需要借助更为先进的技术和方法进行日志大数据分析与营销辅助决策,从而提升市场竞争力。本文针对目前企业日志分析系统的现状和不足,基于大型连锁购物中心营业日志处理的应用场景,从日志处理的不同环节和模块入手,进行了营业日志大数据分析关键技术的研究,分析对比了在该应用场景下不同技术方案的优劣情况。从客户人群消费类别、商场实时交易数量、特殊日期交易情况三个角度提出了不同的企业市场细分营销辅助决策算法原理和具体流程。设计并实现了一个全流程一体化的分布式营业日志大数据分析系统。该系统包含了基于开源日志服务技术Flume实现的日志收集模块;基于消息队列技术Kafka、分布式计算框架Spark、数据库中间件技术Phoenix实现的日志分析模块;利用HBase作为数据存储并通过Phoenix进行接口转换的日志存储模块。该系统可满足企业对日志数据灵活高效收集的需求,进行实时分析、离线分析、联机分析的需求,高速存取数据并且接口统的需求,可从多个角度为企业市场细分营销进行辅助决策。利用实验数据,本文测试并对比了该系统与其他技术在不同数据规模下的日志处理性能,基于该系统的离线分析模块、实时分析模块、联机分析模块,从三个方面完成了企业营业日志大数据分析与企业市场细分营销的辅助决策实验,验证了系统和算法流程的正确有效,证明了其实际的应用价值。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 李燕南;刘新;蒋伟宏;赵群;;主机日志分析与研究[J];中国高新技术企业;2010年04期
2 张建星;栾俊廷;;通过设备日志分析识别业务流的方法[J];价值工程;2014年10期
3 钱秀槟;刘国伟;李锦川;蔡磊;;Web应用日志分析系统分析与设计[J];计算机安全;2011年06期
4 彭文波;;计算机扫描技术及日志分析[J];计算机安全;2006年05期
5 费宗莲;;Fortinet提供网络安全新产品 集中式日志分析报表系统[J];计算机安全;2006年04期
6 eNet罗鸣;;分析你的Web服务器器日志 Hit List Pro与WebTrends Log Analyzer[J];互联网周刊;1999年34期
7 沈国忠;如何分析Informix数据库逻辑日志[J];中国金融电脑;2003年03期
8 周海涛;杨贞祥;;基于防火墙的信息审计平台设计与实现[J];技术与市场;2011年04期
9 黎霞;;秘书履行辅助决策职能的方式探讨[J];武汉冶金管理干部学院学报;2006年04期
10 郑明珍;信息与辅助决策的现代化[J];决策探索;1995年08期
11 王华俊;可变思维与辅助决策——略论办公室主任的思维品质[J];办公室业务;2002年02期
12 萧庆元,孙宜君;论建构辅助决策学的基本设想[J];中国矿业大学学报(社会科学版);2003年01期
13 邵敏;现代秘书的辅助决策职能[J];四川档案;2004年06期
14 王豫龙;李丹丹;;现代秘书辅助决策职能研究[J];边疆经济与文化;2006年09期
15 廖圣河;俞月霞;;秘书辅助决策中应注意的事项[J];秘书之友;2008年09期
16 吴会松;;极有特色的8款网络实用新工具[J];科技潮;2000年04期
17 裴鑫;;浅析行政工作过程中秘书的辅助决策[J];中国市场;2010年40期
18 田涛;;2006年全球及中国市场数据分析[J];中国广告;2007年03期
19 得州;;挖出不一样的秘密 数据分析师[J];电脑爱好者;2010年13期
20 黄成明;;如何做促销活动的数据分析[J];中国服饰;2011年12期
中国重要会议论文全文数据库 前10条
1 马辰;武斌;;一种基于攻击事件图的蜜网日志分析方法[A];虚拟运营与云计算——第十八届全国青年通信学术年会论文集(下册)[C];2013年
2 周涛;;基于数据挖掘的入侵检测日志分析技术研究[A];第二届中国科学院博士后学术年会暨高新技术前沿与发展学术会议程序册[C];2010年
3 陈晨;郑康锋;;一种基于支持向量机的蜜网系统日志分析方法[A];2011年通信与信息技术新进展——第八届中国通信学会学术年会论文集[C];2011年
4 刘莉;;基于多协议技术的日志集中管理安全方案[A];2008年中国通信学会无线及移动通信委员会学术年会论文集[C];2008年
5 耿涛;;Web日志分析在电子数据取证中的应用[A];第二十一次全国计算机安全学术交流会论文集[C];2006年
6 闫龙川;王怀宇;李枫;毛一凡;;基于Hadoop的邮件日志分析与研究[A];2012电力行业信息化年会论文集[C];2012年
7 陈庆章;王磊;毛科技;戴国勇;;基于防火墙日志的在线攻击侦查系统的设计与实现(英文)[A];全国第19届计算机技术与应用(CACIS)学术会议论文集(下册)[C];2008年
8 王振亚;武斌;;基于MFI-WT算法的蜜网日志分析方法[A];第十七届全国青年通信学术年会论文集[C];2012年
9 金松昌;方滨兴;杨树强;贾焰;;基于Hadoop的网络安全日志分析系统的设计与实现[A];全国计算机安全学术交流会论文集·第二十五卷[C];2010年
10 朱金清;王建新;陈志泊;;基于APRIORI的层次化聚类算法及其在IDS日志分析中的应用[A];第二十四届中国数据库学术会议论文集(研究报告篇)[C];2007年
中国博士学位论文全文数据库 前10条
1 饶翔;基于日志的大规模分布式软件系统可信保障技术研究[D];国防科学技术大学;2011年
2 曹志波;基于日志的任务建模及调度优化的研究[D];华南理工大学;2014年
3 刘忠强;作物育种辅助决策关键技术研究与应用[D];中国农业大学;2016年
4 鲍颜红;大电网多形态稳定性预防控制和紧急调控的在线辅助决策方法研究[D];华北电力大学(北京);2016年
5 胡蓉;WEB日志和子空间聚类挖掘算法研究[D];华中科技大学;2008年
6 侯瑞霞;四川震后森林恢复辅助决策及可视化构建研究[D];中国林业科学研究院;2014年
7 刘纪平;电子政务空间辅助决策研究[D];解放军信息工程大学;2004年
8 李志强;基于网络日志的用户行为分析[D];北京理工大学;2016年
9 梁艳平;基于GIS的统计信息分析与辅助决策研究[D];中南大学;2003年
10 魏迎春;煤矿床勘查辅助决策及关键问题研究[D];中国矿业大学(北京);2011年
中国硕士学位论文全文数据库 前10条
1 颜斯哲;安全操作平台中日志过滤与解析范化的研究[D];中南大学;2009年
2 杨华;可视化日志分析系统的研究与实现[D];西安电子科技大学;2010年
3 薛文娟;基于层次聚类的日志分析技术研究[D];山东师范大学;2013年
4 范惊;高精度的程序日志解析技术研究[D];上海交通大学;2013年
5 张文选;通用防火墙日志分析系统设计及实现[D];长春理工大学;2004年
6 李为;基于日志代理的安全审计综合分析系统的设计与实现[D];西安电子科技大学;2008年
7 王潇博;基于挖掘算法的日志分析系统设计与实现[D];北京交通大学;2008年
8 孙寅林;基于分布式计算平台的海量日志分析系统的设计与实现[D];西安电子科技大学;2012年
9 邓海川;日志分析系统的任务调度方法研究[D];南京航空航天大学;2013年
10 宋浩;综合审计平台之后台日志处理服务的设计与实现[D];山东大学;2008年
中国重要报纸全文数据库 前10条
1 中航工业南方航空工业集团(有限)公司科技与信息部 邹沪湘;分析日志识别暴力破解[N];计算机世界;2013年
2 ;日志分析中的五个误区[N];网络世界;2004年
3 陈代寿;网管的四两拨千斤[N];中国计算机报;2004年
4 IBM大数据专家 James Kobielus 范范 编译;大数据日志分析借机器学习腾飞[N];网络世界;2014年
5 《网络世界》评测实验室 于洋;用好Web日志[N];网络世界;2004年
6 重庆 航行者;IIS的安全[N];电脑报;2002年
7 河南工业职业技术学院 邱建新;监测Squid日志的五种方法[N];计算机世界;2005年
8 shotgun;入侵检测初步(上)[N];电脑报;2001年
9 朱闵;浅谈企业核心应用的安全审计(下)[N];网络世界;2008年
10 记者 陈志刚;甘肃研发槽车事故处置辅助决策暨实景教学软件[N];人民公安报·消防周刊;2014年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978