基于web数据挖掘的企业竞争情报系统设计与实现

【摘要】： 随着互联信息的多元化,互联网上海量的信息源能提供丰富的情报信息来源,因此互联网上的开源情报越来越受到情报工作人员的重视。本文通过互联网开源情报搜集技术和情报分析理论的研究,旨在构建集情报采集、情报分析、情报服务于一体的企业竞争性情报系统。 本文系统地阐述了企业竞争情报的理论,提出了基于Web开源数据挖掘的企业竞争情报系统体系构架,将企业竞争性情报系统划分为情报搜集子系统、情报分析子系统和情报服务子系统。 然后本文对各个子系统的设计和实施中所涉及的关键技术进行了探究。在情报搜集子系统中采用了主题的网络聚焦爬虫和元搜索数据采集技术保证数据采集主题的相关性,构建网络爬虫器对Web数据进行自动采集和下载,通过网页正文抽取技术、PDF与Office文档文本转换技术对下载的半结构化数据进行结构化处理,并对结构化数据采用“I-Match”算法进行文本查重,将数据全文索引后保存,构建起企业竞争性情报系统的情报自动采集和数据处理平台。在情报分析子系统中,采用中文文本信息处理与挖掘相关的技术和方法对搜集的结构化数据进行了情报分类分析,分析结果构建起企业竞争情报的产品体系。 基于Web开源数据构建的企业竞争性情报系统,能使企业充分开发和有效利用互联网这个海量信息仓库,并从中挖掘竞争性的价值情报,对于构建企业竞争战略、提高企业核心竞争力具有十分重要的意义。