基于包装器模型的信息抽取算法研究

【摘要】： 随着计算机技术的普及和网络技术的发展, Web己经发展为一个巨大的信息仓库,成为日益重要和最具潜力的全球信息传递与共享的资源。然而,想要快速、准确地从海量的资源中找到所需要的信息并被其他程序所应用,就成为了一大难题。因此,需要应用信息抽取技术从大量的半结构化信息中抽取出结构化的、符合主题的数据。由于HTML网页主要是供浏览的,并不是用来供操纵和使用的,其中的数据很难被应用程序直接使用。因此,将数据从网页中抽取出来并且将它们传递给应用程序使用依然是一个复杂、困难但又有意义的任务。 本文对Web信息抽取的一些基本概念做简要介绍,并简述Web信息抽取技术的产生和发展。在此基础上,详细介绍当前Web信息抽取技术的一些常用方法,并对这些方法进行分类,进而对这些方法进行对比分析,指出各种方法的优缺点。 作者的工作主要体现在两个方面:一、在WEB页面匹配算法的基础上,采用了先去除噪声的分析与设计思想,对抽取的内容先进行去除噪声处理,将基于视觉的算法与基于DOM树匹配的算法相结合,提出基于视觉的DOM树去噪方法,从而达到提高抽取的效率。二、针对去噪后的页面,研究基于页面树的包装器自动生成方法,结合实例给出发现并解决页面中的选择模式和迭代模式的不匹配方法。通过实验,提出页面匹配树算法。具体分步匹配方法中,先处理字符不匹配和选择不匹配生成初级模板,再处理迭代不匹配后生成终极模板。本文所研究的解决不匹配问题,发现抽象有序树并生成包装器的算法,能够自动地抽取数据,不需要人为干预。