收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

大数据的统计分析技术比较研究

张海洋  
【摘要】:云计算、物联网和社交网络等先进科技的进步促使人类社会的数据种类和规模正在以前所未有的速度增长,大数据时代已经到来。这不仅是IT产业又一次颠覆性的技术革命,也是经济社会进步的巨大推动力。“大数据”是指其规模、产生速度和处理的难度都超出目前常规的存储、管理和分析技术能力的数据。它的主要特点是量大、流动性高、类型多样、价值稀疏。“大数据”的发展经历了被动、主动和自动这三个阶段。对大数据的分析要借助数据挖掘、机器学习和统计分析等数据分析工具。金融行业(如证券行业等)是对大数据分析需求较高的领域之一,它所存储的海量数据中隐藏着巨大的商一价值。例如股票市场中的持股集中度数据,就一直被认为是影响股票价格走向的一个重要因素。一般认为持股集中则股价走高,持股分散则股价走低。但目前,国内外针对持股集中度的相关研究还比较少。本文便针对某证券公司内部数据库中的股票持股集中度日线数据集,运用了多种数据分析技术,主要对比了各种数据分析方法的效率及各自己的优缺点和适用对象,同时也初步探讨了持股集中度与股票价格之间的相关关系,印证了前人的一些研究结论。本文所采用的大数据分析技术主要有以下四种:一、经典一元线性回归分析技术,这是一种基于最小二乘法的回归分析方法,相关理论已非常成熟;二、基于线性核函数的支持向量机回归分析技术,它的数学模型与一元线性回归一样,都是线性关系模型:三、基于径向基核函数的支持向量机回归分析技术,它所采用的是非线性数学模型,更切合实际,拟合结果具有更高的解释程度;四、最大信息系数法,这是一种基于最大信息熵原理的新型统计量,它是特意为大数据分析而研究出的新算法,它兼顾了大数据分析技术所应具备的一般性与公平性,是一种全新的数据分析统计量。本文的创新点有:一、对持股集中度进行分析,国内外相关研究还较少;二、针对MIC的不足之处,对数据进行了预处理,滤除了不相关关系,压缩了数据,提高了运行效率;三、提出了MIC-SVM联合分析方法。本文经对比研究后主要得出以下结论:一、持股集中度这个指标确实会对股票价格产生非常重要的影响;二、持股集中度与股票价格之间并不总是呈现出正相关关系,有时也会呈现负相关关系,这主要受持股结构的影响;三、支持向量机不宜用于简单的线性回归分析;四、基于径向基核函数的支持向量回归机的分析结果的解释程度最高,但仍需进行参数寻优;五、最大信息系数法考虑到了所有的关系类型,且具有较强的稳健性,但维数受限、未能滤除不相关关系且耗时过长。最后,对支持向量机的参数寻优和对最大信息系数法的算法改进将是下一步的主要研究方向。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 曾妮丽;陈林;;制造企业数据分析的现状与对策[J];科技情报开发与经济;2008年33期
2 C·P·Chapman;B·R·Sotomayor;李伟;;用数控随机试验系统作脱机数据分析和处理[J];国外导弹技术;1979年09期
3 陈明;;大数据分析[J];计算机教育;2014年05期
4 严雪林;;中国企业应用数据分析大概情况和未来趋势[J];信息与电脑;2014年06期
5 严吕勇;;数据分析让借口变得苍白无力[J];信息与电脑;2004年12期
6 张安珍;一部具有创新性、系统性与实用性的力作——评《网络数据分析》[J];情报资料工作;2005年05期
7 胡新生;齐秀玉;;用模型开启数据分析的大门[J];中国市场;2007年Z4期
8 Joab Jackson;许翠苹;;关于大数据CIO须知[J];通讯世界;2012年11期
9 ;富基融通:助零售集团精准数据分析[J];信息与电脑;2010年01期
10 ;《驾驭大数据》出版传播数据分析真经[J];通讯世界;2013年04期
11 贺文;;移动数据分析:慢慢长大[J];IT经理世界;2013年22期
12 陈广明;;数据分析与网店经营[J];电子商务;2012年01期
13 王东华;;智能零售时代的大数据分析[J];信息与电脑;2014年03期
14 徐绪松,吴健谋,胡则成;金融数据分析智能信息处理技术[J];科技进步与对策;2000年06期
15 罗冬梅;;数据分析课程教学中的几个关键问题[J];安徽工业大学学报(社会科学版);2007年04期
16 周雪刚;;浅谈“数据分析”课程的教学[J];中国电力教育;2011年07期
17 叶纯青;;大数据分析势不可挡[J];金融科技时代;2013年03期
18 杨雁莹;;基于SQL Server的情报数据分析实践[J];湖北警官学院学报;2013年12期
19 刘春年,戈国莲;基于新产品开发的数据分析中心构建[J];情报科学;2005年04期
20 李云峰;;分红优先! Excel“筛选”、“排序”起步走[J];电脑爱好者;2008年23期
中国重要会议论文全文数据库 前10条
1 申敏;;数据分析的原则和一般方法[A];2010年云南电力技术论坛论文集(文摘部分)[C];2010年
2 刘刚;;小学生数据分析观念的培养[A];中华教育理论与实践科研论文成果选编(第五卷)[C];2013年
3 石勇;;在银行和金融数据分析中的评分方法[A];Data Analysis, Econo-physics and Risk Management--Proceedings of CCAST (World Laboratory) Workshop[C];2001年
4 吴一平;;基于数据分析的离校工作改进[A];中国高等教育学会教育信息化分会第十二次学术年会论文集[C];2014年
5 吕大青;;送变电施工企业中数据分析的运用[A];第二届浙江中西部科技论坛论文集(第一卷)[C];2005年
6 李小花;李姝;;大数据分析在指挥信息系统中的应用[A];2014第二届中国指挥控制大会论文集(下)[C];2014年
7 范丽伟;唐焕文;唐一源;;空间独立成分分析在fMRⅠ数据分析中的应用[A];第九次全国生物物理大会学术会议论文摘要集[C];2002年
8 张军;李婕;;中国国民休闲状态变化研究——基于网上数据分析[A];第十五届全国区域旅游学术开发研讨会暨度假旅游论坛论文册[C];2010年
9 徐小龙;王汝传;姜波;;一种新的基于P2P的电信海量数据分析业务模式[A];普适计算及其软件新技术——第三届长三角计算机科技论坛文集[C];2006年
10 邵东华;;高速公路的平面控制复测与数据分析[A];第四届“测绘科学前沿技术论坛”论文精选[C];2012年
中国重要报纸全文数据库 前10条
1 周桂生 汤建国;数据分析行业登陆湖南,带来巨大商机[N];中国企业报;2008年
2 朱文明 甫瀚公司咨询专家;数据分析提升决策智慧[N];中国审计报;2009年
3 ;国采中心空调协议供货数据分析[N];政府采购信息报;2010年
4 武虹 审计署驻沈阳特派办;以数据分析为统领开展数字化审计工作[N];中国审计报;2012年
5 本报记者 邹大斌;大数据分析走亲民路线[N];计算机世界;2013年
6 袁绍军;大数据分析 亟待具备的新能力[N];政府采购信息报;2013年
7 昆山工商局 刘连珠 朱纳新;基层工商分局登记数据分析科学性浅见[N];江苏经济报;2013年
8 记者 朱贤佳;大数据不能做什么[N];上海证券报;2014年
9 程兆锯;数据分析是投标生命[N];医药经济报;2014年
10 晓航;数据分析与网络营销[N];中国质量报;2010年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978