基于本体论的精细化数据分析

【摘要】：随着互联网技术的发展,嵌入元数据(RDF,RDFa,Microformats等)的网络语义文档包含越来越多的结构化和半结构化数据。已有数以亿计的该类文档可以访问,并且它们的数量正在迅速增长。为了实现半结构化数据能够供机器和用户一样的阅读与理解,必须对半结构化信息检索和分析提供有效的手段。语义网中的元数据不仅描述事物的属性,还描述事物之间的层次关系。传统的关联规则挖掘只关心事物本身,而不关心事物的本质,以至于产生大量无用的规则。通过高层次事物之间的挖掘,能够得到更有用的关联规则。计算机通过语义数据能够理解用户搜索需求,智能给出搜索结果。本文通过一种实体搜索模型,把传统基于“文本”的搜索改变为基于“对象”的搜索,使得搜索引擎能够更加智能地理解用户的真实需求。该实体搜索模型将半结构化数据转化成节点标签树存储在分布式倒排索引中,通过内容查询和结构查询实现智能搜索。本文同时设计了通过分布式倒排索引实现频繁项集挖掘,给出的DiiElact算法通过事务集合垂直划分和并行计算解决了数据挖掘过程中求交集运算效率低下和内存不足问题,实验证明了算法的高效、可扩展。利用实体搜索模型得到事物之间的层次关系,结合DiiElact算法,实现高层次事物之间的关联规则挖掘。