收藏本站
《湖南大学》 2010年
收藏 | 手机打开
二维码
手机客户端打开本文

时空高效的正则表达式匹配算法研究

张洁坤  
【摘要】: 网络入侵检测与防御系统(Network Intrusion Detection and Prevention Systems, NIDS/NIPS)是网络安全防御的重要手段,即通过实时监测网络流量,检查每个数据包的头部信息和有效载荷(即数据包内容),识别和阻断网络可疑行为。NIDS/NIPS的核心是深度数据包检测(Deep Packet Inspection, DPI),即采用特征匹配算法,将每个数据包内容与一组预定义的特征进行匹配。DPI技术不仅应用于NIDS/NIPS,而且还应用于应用层数据包分类、P2P流量识别、基于内容的流量管理等。 由于正则表达式具有更强的表达能力和灵活性,特征匹配已采用正则表达式匹配算法替代字符串匹配算法。正则表达式匹配算法采用有限自动机来表示多个正则表达式特征。有限自动机分为非确定型有限自动机(Nondeterministic Finite Automata, NFA)和确定型有限自动机(Deterministic Finite Automata, DFA)。NFA具有存储空间高效等优点,但是存在匹配速度慢等缺点;而DFA具有时间高效等优点,即匹配速度快,但是存在存储空间开销大等缺点。因此,正则表达式匹配算法的关键问题是如何设计时空高效的有限自动机。 首先,本文提出了一种基于迁移边融合DFA的正则表达式匹配算法,即在状态融合DFA基础上,采用优先级将其有限自动机中的迁移边进行融合,从而减少了DFA存储空间开销。实验结果表明,与状态融合DFA和原始DFA相比,迁移边融合DFA在存储空间开销方面分别减少15%-31%和25%-42%,并确保了正则表达式的匹配效率。 其次,本文提出了一种基于智能有限自动机(Smart Finite Automata, SFA)的正则表达式匹配算法,即在扩展有限自动机(Extended Finite Automata, XFA)的分支迁移边上增加额外的判断操作指令,消除XFA的回退迁移边,从而避免不必要的状态迁移。实验结果表明,与XFA相比,SFA在存储空间开销上减少了44.1%,在存储器访问次数上减少了69.1%,从而提高了正则表达式匹配的时空效率。
【关键词】:深度数据包检测 正则表达式匹配 迁移边融合自动机 扩展有限自动机 智能有限自动机
【学位授予单位】:湖南大学
【学位级别】:硕士
【学位授予年份】:2010
【分类号】:TP393.08
【目录】:
  • 摘要5-6
  • Abstract6-10
  • 插图索引10-12
  • 附表索引12-13
  • 第1章 绪论13-18
  • 1.1 研究背景13-14
  • 1.2 研究现状14-16
  • 1.3 研究内容及组织结构16-18
  • 第2章 正则表达式匹配算法概述18-27
  • 2.1 引言及相关定义18-19
  • 2.1.1 正则表达式相关定义18-19
  • 2.1.2 有限自动机19
  • 2.2 传统正则表达式匹配算法19-23
  • 2.2.1 NFA算法19-22
  • 2.2.2 DFA算法22-23
  • 2.3 正则表达式匹配算法研究进展23-25
  • 2.3.1 延时输入DFA23-25
  • 2.3.2 治疗法DFA25
  • 2.4 小结25-27
  • 第3章 基于融合DFA的正则表达式匹配算法27-42
  • 3.1 引言27
  • 3.2 基于状态融合DFA的模式匹配算法27-35
  • 3.2.1 SM-DFA算法介绍27
  • 3.2.2 SM-DFA算法理论27-32
  • 3.2.3 SM-DFA算法实现32-35
  • 3.2.4 SM-DFA算法小结35
  • 3.3 基于状态融合DFA算法存在问题35-36
  • 3.4 基于迁移边融合DFA的正则表达式匹配算法36-38
  • 3.4.1 TM-DFA算法理论基础36
  • 3.4.2 TM-DFA算法36-38
  • 3.4.3 TM-DFA算法实现38
  • 3.5 仿真实验结果及分析38-41
  • 3.6 小结41-42
  • 第4章 扩展有限自动机及智能有限自动机算法42-57
  • 4.1 引言42
  • 4.2 扩展有限自动机算法42-46
  • 4.2.1 XFA算法理论42-43
  • 4.2.2 XFA算法实现43-46
  • 4.2.3 XFA匹配算法小结46
  • 4.3 扩展有限自动机算法冗余迁移边问题46-48
  • 4.4 智能有限自动机算法48-52
  • 4.4.1 SFA算法灵感触发48
  • 4.4.2 SFA算法描述48-50
  • 4.4.3 SFA算法的实现50-52
  • 4.5 仿真实验结果及分析52-56
  • 4.5.1 空间效率53-55
  • 4.5.2 时间效率55-56
  • 4.6 小结56-57
  • 结论57-59
  • 参考文献59-63
  • 附录A 攻读硕士学位期间发表的论文63-64
  • 附录B 攻读硕士学位期间参加的科研项目64-65
  • 致谢65

【引证文献】
中国期刊全文数据库 前1条
1 李璋;杜慧敏;张丽果;;基于分布式存储的正则表达式匹配算法设计与实现[J];计算机科学;2013年03期
中国硕士学位论文全文数据库 前1条
1 田健;IDS中VLDC模式匹配算法的研究与应用[D];吉林大学;2011年
【参考文献】
中国期刊全文数据库 前3条
1 黄昆;张大方;谢高岗;金军航;;一种面向深度数据包检测的紧凑型正则表达式匹配算法[J];中国科学:信息科学;2010年02期
2 李伟男;鄂跃鹏;葛敬国;钱华林;;多模式匹配算法及硬件实现[J];软件学报;2006年12期
3 徐乾;鄂跃鹏;葛敬国;钱华林;;深度包检测中一种高效的正则表达式压缩算法[J];软件学报;2009年08期
【共引文献】
中国期刊全文数据库 前10条
1 戚冬;刘克礼;张文盛;;词法分析程序的一种高效实现[J];安徽广播电视大学学报;2008年03期
2 李迎春,迟呈英,孙冀侠;改进的上下文无关文法及其语法分析[J];鞍山科技大学学报;2003年01期
3 周鹏,周树杰,王创社;面向对象建模语言Modelica开发环境的设计与开发[J];北京石油化工学院学报;2005年02期
4 伍建全;何宗琦;;函数调用约定浅析[J];重庆科技学院学报;2006年02期
5 张阳;张海;;一种系统测试中的快速多协议匹配算法[J];电光与控制;2010年07期
6 姚振军;黄德根;纪翔宇;;正则表达式在汉英对照中国文化术语抽取中应用[J];大连理工大学学报;2010年02期
7 张静;李先波;李科;欧烨;;基于脚本语言的智能程序化操作方案[J];电力系统自动化;2012年06期
8 白云晖;;SQL编译器的语义分析研究[J];电脑编程技巧与维护;2009年14期
9 张麟华;郑淑军;;可在线更新的多用途数据采集系统的设计[J];电脑开发与应用;2008年02期
10 韩光辉;曾诚;;正则表达式方程组的最小解[J];电脑与信息技术;2011年05期
中国重要会议论文全文数据库 前4条
1 韦兴军;卢泽新;;基于TCAM的入侵检测系统硬件加速技术[A];中国电子学会第十五届信息论学术年会暨第一届全国网络编码学术年会论文集(上册)[C];2008年
2 张光斌;谢维盛;吴鸿伟;;基于CUDA的多模式匹配技术[A];第26次全国计算机安全学术交流会论文集[C];2011年
3 张莹莹;段翔;周彬;王晓云;;移动通信网络中的内容安全[A];2007年中国通信学会“移动增值业务与应用”学术年会论文集[C];2007年
4 刘萍;刘燕兵;谭建龙;郭莉;;对多模式串匹配算法性能评测方法的探讨[A];全国网络与信息安全技术研讨会论文集(下册)[C];2007年
中国博士学位论文全文数据库 前10条
1 许宪成;基于网络处理器的入侵检测系统设计与性能优化研究[D];华南理工大学;2010年
2 眭新光;文本信息隐藏及分析技术研究[D];解放军信息工程大学;2007年
3 张树壮;面向网络安全的高性能特征匹配技术研究[D];哈尔滨工业大学;2011年
4 王建;大坝安全监控集成智能专家系统关键技术研究[D];河海大学;2002年
5 陈超;语境驱动的仿真模型可组合性测试方法研究[D];国防科学技术大学;2007年
6 陈一骄;网络入侵检测系统高速处理技术研究[D];国防科学技术大学;2007年
7 王晓燕;基于模型驱动架构的软件开发方法与实现技术研究[D];吉林大学;2008年
8 张炯;汉语量化结构的形式分析[D];浙江大学;2009年
9 黄建;入侵检测系统中字符串匹配算法与实现[D];华中科技大学;2008年
10 邵晶波;SoC测试资源优化方法研究[D];哈尔滨工程大学;2008年
中国硕士学位论文全文数据库 前10条
1 郑阳;基于华P语言的PLC核研究与设计[D];沈阳理工大学;2010年
2 刘月;综合测试平台ISEE中ASN.1的应用与实现[D];西安电子科技大学;2009年
3 于强;高效存储的深度包检测算法[D];西安电子科技大学;2009年
4 段海生;基于正则表达式的深度包压缩算法研究[D];西安电子科技大学;2010年
5 张辉;面向网络流识别的正则表达式匹配技术研究[D];首都师范大学;2011年
6 田健;IDS中VLDC模式匹配算法的研究与应用[D];吉林大学;2011年
7 韩玉婷;入侵防御系统的研究与关键技术的实现[D];北京邮电大学;2011年
8 厉海涛;多模式匹配算法及其在入侵检测系统中的应用研究[D];杭州电子科技大学;2011年
9 潘鹏;基于片上网络多核处理器的软件优化和硬件加速设计[D];南京大学;2011年
10 崔保良;基于稀疏表示的协同入侵检测[D];广东工业大学;2011年
【同被引文献】
中国期刊全文数据库 前10条
1 杨文;入侵检测系统的现状及发展趋势[J];电脑知识与技术;2005年18期
2 闵孝忠,郑成增,查志琴;Snort的Windows接口的设计和实现[J];福建电脑;2004年05期
3 恽俊;唐屹;;Snort系统的动态配置研究[J];广州大学学报(自然科学版);2007年01期
4 张悦连,郭文东;Snort规则及规则处理模块分析[J];河北科技大学学报;2003年04期
5 刘俊超;赵国鸿;陈曙晖;;一种用于深度报文检测的DFA状态表压缩方法[J];计算机工程与应用;2008年22期
6 王杰;王同军;孙珂珂;;提高Snort规则匹配速度的新方法[J];计算机工程与应用;2009年28期
7 杨武,方滨兴,云晓春,张宏莉;入侵检测系统中高效模式匹配算法的研究[J];计算机工程;2004年13期
8 刘鹏;姚远;邰铭;张铮;;一种高效匹配PCRE的扩展自动机[J];计算机工程;2010年12期
9 张树壮;罗浩;方滨兴;云晓春;;一种面向网络安全检测的高性能正则表达式匹配算法[J];计算机学报;2010年10期
10 丁晶;陈晓岚;吴萍;;基于正则表达式的深度包检测算法[J];计算机应用;2007年09期
中国硕士学位论文全文数据库 前9条
1 赵月爱;高速网络入侵检测负载均衡算法研究[D];太原理工大学;2006年
2 张娜;基于正则表达式的深度包检测研究[D];华东师范大学;2007年
3 张庆平;一种基于snort的入侵检测系统的实现和应用[D];吉林大学;2008年
4 刘胤;深度包检测技术的研究与设计[D];贵州大学;2008年
5 李树政;基于Snort系统快速模式匹配算法的研究[D];吉林大学;2009年
6 齐慧玲;模式匹配算法的研究及其在Snort系统中的应用[D];西南交通大学;2010年
7 王喜聪;入侵检测系统snort下的模式匹配算法研究[D];太原理工大学;2010年
8 张伟;基于Snort的入侵检测系统的设计和实现[D];北京邮电大学;2010年
9 金军航;面向深度包检测的存储高效的正则表达式匹配算法研究[D];湖南大学;2010年
【二级引证文献】
中国硕士学位论文全文数据库 前2条
1 刘晖;基于B/S架构的OA办公平台的设计与实现[D];河北科技大学;2013年
2 王宇恒;证券期货行业数据的实时集中监控信息系统的设计与实现[D];河北科技大学;2013年
【二级参考文献】
中国期刊全文数据库 前2条
1 王永成,沈州,许一震;改进的多模式匹配算法[J];计算机研究与发展;2002年01期
2 李伟男;鄂跃鹏;葛敬国;钱华林;;多模式匹配算法及硬件实现[J];软件学报;2006年12期
【相似文献】
中国期刊全文数据库 前10条
1 张文典;LAG—一个词法分析程序的生成程序[J];小型微型计算机系统;1985年08期
2 Gary Chan;Java咖啡馆(9)——一个压缩归档实用软件[J];电脑爱好者;2004年19期
3 张太芳;;基于正则表达式技术的数据验证及应用[J];甘肃科技纵横;2006年04期
4 项润华;段红勇;柳汉雄;;正则表达式的使用以及在VC6.0的应用[J];洛阳工业高等专科学校学报;2006年05期
5 梁里宁;;正则表达式在SQL Server 2000中的实现与应用[J];科技广场;2008年01期
6 李国晶;王景强;;浅析正则表达式[J];科技资讯;2010年04期
7 刘小平;;在Visual C++ 6.0中使用Boost正则表达式库[J];信息与电脑(理论版);2010年03期
8 张申媛;;正则表达式的实现[J];科技创新导报;2010年20期
9 胡海星;;DEL命令问题——2001年12期编程擂台题解[J];程序员;2002年02期
10 叶文晖,梁里宁;在ASP.NET中利用正则表达式实现模式验证[J];电脑知识与技术;2005年24期
中国重要会议论文全文数据库 前10条
1 王辉;丁明君;杨进;;正则表达式在企业信息管理开发中的应用[A];2010年MIS/S&A学术交流会议论文集(中国造船工程学会学术论文集)[C];2010年
2 曾雨薇;许向众;;基于正则表达式的税源数据解析方案的研究[A];2011高等职业教育电子信息类专业学术暨教学研讨会论文集[C];2011年
3 梁兴开;赵泽茂;黄亮;;Web应用中的ReDoS检测方法研究[A];浙江省电子学会2011学术年会论文集[C];2011年
4 袁真;;构造正则表达式的几种NFA算法的分析和比较[A];2006年全国理论计算机科学学术年会论文集[C];2006年
5 李佳;魏更宇;胡楠;王枞;杨义先;;基于特征自生成的畸形SIP信令检测算法[A];2010通信理论与技术新发展——第十五届全国青年通信学术会议论文集(下册)[C];2010年
6 刘琪;牛文静;;正则表达式在恶意代码动态分析中的应用[A];2009通信理论与技术新发展——第十四届全国青年通信学术会议论文集[C];2009年
7 余刘琅;汪彩萍;程克勤;;基于Snort的检测SQL注入和跨站脚本攻击的正则表达式的探讨[A];中国仪器仪表学会第九届青年学术会议论文集[C];2007年
8 何雪松;;Matlab和C#联合编程在雨滴谱仪数据处理中的应用[A];第十五届全国云降水与人工影响天气科学会议论文集(Ⅱ)[C];2008年
9 王春元;张韬;;一种获取网页主要中文信息的方法[A];全国计算机安全学术交流会论文集(第二十四卷)[C];2009年
10 钟涛;陈群秀;;基于层式有限状态自动机的灾难事件抽取系统[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年
中国重要报纸全文数据库 前10条
1 彭福祥 张钧;ASP.NET基本数值处理技巧[N];计算机世界;2006年
2 ;在论坛中自动显示超链接[N];计算机世界;2006年
3 清水编译;Apache 2.2.0带来了什么?[N];计算机世界;2006年
4 广东 子衿;认识Linux中的符号[N];电脑报;2004年
5 ;软件组[N];计算机世界;2004年
6 ;专用的平台 玛赛反垃圾邮件网关(ASMG)[N];网络世界;2002年
7 湖南 刘靓;软件水平考试备考宝典[N];中国电脑教育报;2004年
8 美国Watchfire公司战略研究总监 Danny ALLAN;应用扫描:从源头加固Web应用安全[N];中国计算机报;2007年
9 ;安氏实时监控入侵者[N];中国计算机报;2001年
10 吴征;让Google为动态页面的站点服务[N];计算机世界;2004年
中国博士学位论文全文数据库 前10条
1 陈曙晖;基于内容分析的高速网络协议识别技术研究[D];国防科学技术大学;2007年
2 姜鲲鹏;高速串模式匹配算法研究[D];解放军信息工程大学;2012年
3 胡圣明;基于内存自动机与模式的动态引擎构造技术研究[D];西安电子科技大学;2009年
4 徐建国;网络化制造系统中虚拟加工若干关键技术研究[D];南京理工大学;2007年
5 彭坤杨;基于TCAM的高速可扩展的正则表达式匹配技术[D];中国科学技术大学;2013年
6 钱忠胜;基于模型的Web应用测试用例生成方法[D];上海大学;2008年
7 黄昆;高性能内容过滤与分发技术研究[D];湖南大学;2009年
8 胡燕;基于Web信息抽取的专业知识获取方法研究[D];武汉理工大学;2007年
9 孔宁;物联网资源寻址关键技术研究[D];中国科学院研究生院(计算机网络信息中心);2008年
10 孙伟;XML数据库查询优化及相关技术研究[D];哈尔滨工程大学;2006年
中国硕士学位论文全文数据库 前10条
1 张洁坤;时空高效的正则表达式匹配算法研究[D];湖南大学;2010年
2 王飞龙;PBE技术在文本搜索中的应用[D];哈尔滨理工大学;2007年
3 刘俊超;基于正则表达式的应用层协议识别技术研究[D];国防科学技术大学;2008年
4 温源;基于FPGA的正则表达式匹配引擎的设计[D];哈尔滨工程大学;2009年
5 刘子乾;基于攻击模式的系统漏洞检测工具的设计与实现[D];天津大学;2008年
6 刘一兰;基于SNMP MIB编译器的实现及其生成器技术的研究[D];华中师范大学;2004年
7 杨琨;反垃圾邮件技术研究及应用[D];四川大学;2005年
8 王小朋;基于代理的元搜索引擎的研究[D];辽宁工程技术大学;2005年
9 吴蓓;LINUX环境下IDS与防火墙联动系统的设计与实现[D];四川师范大学;2008年
10 张娜;基于正则表达式的深度包检测研究[D];华东师范大学;2007年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026