收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

串匹配算法及其在网络内容分析中的应用

谭建龙  
【摘要】: Internet是全球信息共享的基础设施,是一种开放和面向所有用户的技术。一方面要保证信息方便、快捷的共享,另一方面要防止垃圾的传播。网络内容分析是一种管理信息传播的重要手段。网络内容分析是网络信息安全核心理论与关键技术,对解决国民经济发展和国防建设具有重大意义。研究网络内容分析所涉及的新理论、新体系结构、新方法和新技术将是未来几年研究的重要挑战。 一方面是人们生活越来越多地依靠网络,许多政府业务越来越多地使用网络,而另一方面却是Internet上信息的鱼龙混杂,黑客、病毒、网络攻击等日益盛行。保护网络空间的洁净,保护网络空间中的“国土”,已成为未来国家发展的重要问题,也是摆在人们面前的一个巨大挑战。 从闪电般流逝的网络数据中查找到我们感兴趣的信息,无疑是一项非常富有挑战性的工作。本文的工作是从研究面向宽带互联网的网络信息安全问题出发,对高速网络内容分析所涉及的科学理论和关键技术进行了有益探索。本文从算法和框架两个层次来讨论快速信息分析技术,有以下几点创新之处: 1.1.1串匹配算法IntMatch 从面向计算机指令层面来优化匹配算法,设计了一种新的串匹配算法。新设计的IntMatch是一种简洁串匹配算法。它使用的数值计算代替字符比较的思想很容易推广到其它领域,具有一定的理论价值。IntMatch算法可以在高速网络内容分析、大规模模式的入侵检测系统中使用。某些测试表明,IntMatch比Sun-Manber等算法大约快175%。IntMatch算法是一种跳跃型的算法,设计的主要思路是充分利用硬件整数操作的效率,使用数值运算代替字节比较。 1.1.2关键词表达式匹配算法 经典的关键词表达式(query expression,keywords expression,predicate algorithm for rule )是搜索引擎(web retrieve)和数据库等使用的查询语言。但是在网络内容分析系统中,如果单纯使用关键词作为查询条件,会存在很多误报情况。所以网络内容分析系统一般采用表达式作为查询条件。我们提出了一种新关键词表达式匹配算法。这种算法改进了经典计数算法(predicate counting algorithm)中不适合网络内容分析环境的数据结构,对比计数算法需要平方级的算法复杂度,新算法可以在线性复杂度完成内容扫描阶段的关键词表达式匹配工作。关键词表达式匹配算法还可以广泛地应用于基于调用序列的入侵检测系统中。 1.1.3面向网络内容分析的文本表示方法 本文一种新的基于n-gram字的文本表示方法同时实现了一个文本分类系统。这个系统自动提取网络内容分析所需要的关键词,进行网络内容的感情色彩判断和内容分类。基于n-gram字的文本分类方法比基于单纯串匹配算法的文本分类方法正确率更高,而且性能基本保持不变。与词、短语等向量空间的文本表示方法相比较,在正确率损失不超过1%的前提下,大幅度地提高文本分类的速度。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 袁红;;基于网络内容分析的高校门户网站可用性测评——以江苏省为例[J];现代图书情报技术;2010年10期
2 成波;黄晓斌;;国内外网络内容分析应用现状研究[J];图书情报工作;2007年09期
3 刁静;赵荣彩;张铮;邰铭;刘勇;;条件过滤器的自适应排序调度策略[J];信息工程大学学报;2011年05期
4 于戈;李晓静;杨晓春;欧征宇;邓庆绪;;支持截止期敏感应用的数据流任务调度方法[J];软件学报;2007年07期
5 ;[J];;年期
6 ;[J];;年期
7 ;[J];;年期
8 ;[J];;年期
9 ;[J];;年期
10 ;[J];;年期
11 ;[J];;年期
12 ;[J];;年期
13 ;[J];;年期
14 ;[J];;年期
15 ;[J];;年期
16 ;[J];;年期
17 ;[J];;年期
18 ;[J];;年期
19 ;[J];;年期
20 ;[J];;年期
中国重要会议论文全文数据库 前1条
1 武珊珊;宋宝燕;袁锋;于亚新;于戈;;数据流模型研究[A];第二十一届中国数据库学术会议论文集(研究报告篇)[C];2004年
中国博士学位论文全文数据库 前3条
1 谭建龙;串匹配算法及其在网络内容分析中的应用[D];中国科学院研究生院(计算技术研究所);2003年
2 李奇越;网络内容分析中基于硬件的字符串匹配算法的研究[D];中国科学技术大学;2008年
3 邓波;分布式序敏感查询处理关键技术研究[D];国防科学技术大学;2006年
中国硕士学位论文全文数据库 前5条
1 忻凌;聚类分析与案例推理在数据流管理中的应用研究[D];合肥工业大学;2007年
2 张航黎;数据流管理系统及其相关算法的研究与实现[D];大连理工大学;2006年
3 郑盈盈;移动网络聚类分析及其在数据流管理中的应用研究[D];合肥工业大学;2009年
4 侯东风;数据流模式的数据管理关键技术研究[D];国防科学技术大学;2004年
5 李冬艳;一个矿用信息集成平台的研究与实现[D];哈尔滨工程大学;2007年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978