收藏本站
《天津大学》 2010年
收藏 | 手机打开
二维码
手机客户端打开本文

软件安全领域垂直搜索引擎的优化设计与实现

杜洪伟  
【摘要】:随着万维网的迅速发展,越来越多的组织、公司等在万维网上发布已发现的软件安全缺陷信息。本文研究基于垂直搜索技术从网上获取软件安全缺陷信息,并进一步基于语义标注抽取该信息用于构建软件安全缺陷知识库。 借助垂直搜索和语义标注标注技术,实现了从万维网上获取软件安全缺陷信息的工具。该工具首先设计关键字训练器获得软件安全缺陷领域的关键词;然后通过获得的领域关键词设计网页过滤器;最后基于此网页过滤器设计垂直搜索爬虫,从万维网上搜索爬取软件安全缺陷信息。 实现了基于网页拓扑和基于关键字权值过滤算法的网页过滤器,以及最优搜索策略结合广度优先搜索策略的垂直搜索爬虫工具,该爬虫结合网页过滤器可以过滤非软件安全领域网页,能够自动的多线程下载软件安全领域网页;设计并实现了利用百度搜索引擎获取软件安全缺陷信息的工具;实现了基于网页内容分析算法的领域关键字训练器工具,该工具为网页过滤器提供关键字及其权值;设计并实现基于GATE工具对下载网页进行语义标注并采用基于JAXP的语义标注结果解析,该工具通过GATE工具对非结构化的网页信息进行语义标注,采用JAXP技术对标注的结果进行解析,抽取网页中的安全缺陷信息。 该工具可以对万维网中的软件安全领域相关信息进行实时有效的搜索爬取,并对其信息进行结构化处理,为构建软件安全缺陷知识库和分析软件安全漏洞提供数据支持奠定基础。
【学位授予单位】:天津大学
【学位级别】:硕士
【学位授予年份】:2010
【分类号】:TP391.3

手机知网App
【参考文献】
中国期刊全文数据库 前4条
1 周立柱,林玲;聚焦爬虫技术研究综述[J];计算机应用;2005年09期
2 刘运强;;垂直搜索引擎的研究与设计[J];计算机应用与软件;2010年07期
3 尹相乐;马力;关昕;;软件缺陷分类的研究[J];计算机工程与设计;2008年19期
4 丁振国;吴宝贵;辛友强;;基于Bloom Filter的大规模网页去重策略研究[J];现代图书情报技术;2008年03期
中国硕士学位论文全文数据库 前1条
1 司德睿;基于文本内容的网页过滤技术研究[D];兰州大学;2008年
【共引文献】
中国期刊全文数据库 前10条
1 孙素芬;罗长寿;张峻峰;于峰;张树亮;;农业信息资源整合系统研究与应用[J];安徽农业科学;2007年22期
2 汪斌;张云伟;刘健;陈晶;;一种面向农业信息主题网络爬虫的设计[J];安徽农业科学;2009年20期
3 廉捷;刘云;;网络舆情中的信息预处理与自动摘要算法[J];北京交通大学学报;2010年05期
4 任斌;毛应爽;;基于本体的主动学习主题爬行的研究与实现[J];长春工程学院学报(自然科学版);2011年01期
5 武昊;廖安平;何超英;侯东阳;;基于主题相关度的地理信息Web服务爬虫研究[J];地理与地理信息科学;2012年02期
6 张超;闫宏印;;多线程网络爬虫的设计与实现[J];电脑开发与应用;2012年06期
7 田大军;李舒;赵林亮;;网站孤立文件及其形成机制分析[J];电脑与信息技术;2011年02期
8 吴聪聪;赵建立;;基于本体的主题爬虫的研究[J];电脑知识与技术;2011年03期
9 王迁;王丽娜;;对收费网站中作品提供链接的法律性质——评“娱乐基地”诉百度案[J];电子知识产权;2007年08期
10 胡宏涛;常佳;;基于网络的信息获取技术浅析[J];福建电脑;2006年04期
中国重要会议论文全文数据库 前4条
1 王栋;陈勇;徐建良;;基于预测的BitTorrent种子评估方法[A];2008'中国信息技术与应用学术论坛论文集(二)[C];2008年
2 刘兵;胡学钢;;基于多链接分析的主题爬虫设计实现[A];全国第20届计算机技术与应用学术会议(CACIS·2009)暨全国第1届安全关键技术与应用学术会议论文集(上册)[C];2009年
3 王春厚;许都;孙健;;一种降低误判率的BF快速匹配算法结构[A];2010年全国通信安全学术会议论文集[C];2010年
4 戴玉刚;;藏文网页采集技术研究[A];民族语言文字信息技术研究——第十一届全国民族语言文字信息学术研讨会论文集[C];2007年
中国博士学位论文全文数据库 前8条
1 吴羽;面向时间敏感对象的垂直搜索引擎关键技术研究[D];浙江大学;2011年
2 邓斌;B2C在线评论中的客户知识管理研究[D];电子科技大学;2010年
3 张翔;文本挖掘技术研究及其在综合风险信息网络中的应用[D];西北大学;2011年
4 王肃;基于多Agent的突发事件信息智能监测系统研究[D];北京邮电大学;2011年
5 陈竹敏;面向垂直搜索引擎的主题爬行技术研究[D];山东大学;2008年
6 王英;Deep Web数据集成关键技术研究[D];吉林大学;2010年
7 王占一;Web文本挖掘中若干问题的研究[D];北京邮电大学;2012年
8 杨志;基于本体的语义互操作研究[D];北京邮电大学;2012年
中国硕士学位论文全文数据库 前10条
1 吕芳芳;基于查询扩展的垂直搜索研究[D];山东科技大学;2010年
2 翁岩青;网页抓取策略研究[D];哈尔滨工程大学;2010年
3 蔡宇虹;基于主题的元搜索引擎关键技术研究[D];哈尔滨工程大学;2010年
4 闫振兴;基于软件缺陷分类标准与分析技术的软件缺陷管理系统应用与研究[D];华东师范大学;2011年
5 刘洁;基于正负关联规则的软件缺陷分析研究[D];河北工程大学;2010年
6 冯叶磊;基于隐语义的中医药文献搜索引擎[D];浙江大学;2011年
7 史炜;个性化搜索引擎的研究与设计[D];电子科技大学;2010年
8 丁宝琼;网络文本信息采集分析关键技术研究与实现[D];解放军信息工程大学;2009年
9 沙有闯;基于Web文本挖掘的网络口碑监测系统研究[D];安徽大学;2010年
10 陈可钦;基于垂直搜索引擎的主题爬虫算法的研究[D];中南林业科技大学;2009年
【二级参考文献】
中国期刊全文数据库 前10条
1 肖明忠,代亚非,李晓明;拆分型Bloom Filter[J];电子学报;2004年02期
2 池静;倪健;王华;邢秀娥;;Bloom Filter和Weighted Bloom Filter的比较与研究[J];河北师范大学学报;2006年04期
3 肖明忠;代亚非;;Bloom Filter及其应用综述[J];计算机科学;2004年04期
4 张裔智;赵毅;汤小斌;;MD5算法研究[J];计算机科学;2008年07期
5 谢鲲;闵应骅;张大方;谢高岗;文吉刚;;分档布鲁姆过滤器的查询算法[J];计算机学报;2007年04期
6 聂林波,刘孟仁;软件缺陷分类的研究[J];计算机应用研究;2004年06期
7 李晓明,凤旺森;两种对URL的散列效果很好的函数[J];软件学报;2004年02期
8 管建和;甘剑峰;;基于Lucene全文检索引擎的应用研究与实现[J];计算机工程与设计;2007年02期
9 肖冬梅;垂直搜索引擎研究[J];图书馆学研究;2003年02期
10 吴丽辉;白硕;张刚;张凯;;Web信息采集中的哈希函数比较[J];小型微型计算机系统;2006年04期
中国硕士学位论文全文数据库 前2条
1 陈莉;正交缺陷分类方法在软件缺陷管理及分析中的应用[D];湖南大学;2005年
2 郑翠芳;基于贝叶斯网络的软件缺陷预测技术研究与应用[D];中国工程物理研究院;2006年
【相似文献】
中国期刊全文数据库 前10条
1 顾鹏尧;;让搜索引擎更好地服务于教育教学[J];科学24小时;2003年Z1期
2 陈新颜;垂直搜索引擎辨析[J];现代情报;2004年09期
3 胡文胜;;垂直搜索助号码百事通与商务领航[J];每周电脑报;2006年32期
4 胡洁;丁宁;关静;曹福年;张磊;;基于“PUBMED+PDF”的医学垂直搜索引擎的实践[J];信息系统工程;2009年05期
5 一林;;垂直搜索:前进路上的喜与忧[J];互联网天地;2010年02期
6 牟思;;基于垂直搜索引擎的学校网站的研究与建设[J];中国教育技术装备;2011年21期
7 田野;垂直搜索火热为哪般[J];中国计算机用户;2005年37期
8 胡文胜;;垂直搜索助号码百事通与商务领航[J];每周电脑报;2006年31期
9 边凯;;你会搜索吗?[J];中国计算机用户;2007年23期
10 宿建光;;指点通:移动垂直搜索的创新者[J];通信世界;2007年03期
中国重要会议论文全文数据库 前10条
1 王上;于海;王钲旋;;Deep Web垂直搜索引擎设计与实现[A];第26届中国数据库学术会议论文集(B辑)[C];2009年
2 林欢欢;王文杰;史忠植;;移动环境下垂直搜索引擎[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年
3 张星星;穗志方;;基于网页中深度并列结构的实例提取算法[A];中国计算语言学研究前沿进展(2009-2011)[C];2011年
4 江雷;朱建平;;面向等级保护的软件安全需求分析方法研究[A];第26次全国计算机安全学术交流会论文集[C];2011年
5 金妮;徐皑冬;刘明哲;;E/E/PE安全相关系统的软件安全浅析[A];2008’“先进集成技术”院士论坛暨第二届仪表、自动化与先进集成技术大会论文集[C];2008年
6 王旭;杜军平;;质检总局互联网舆情监控系统中聚焦爬虫的研究[A];中国电子学会第十七届信息论学术年会论文集[C];2010年
7 张晓明;奈一雄;齐炯明;安媛媛;张建楠;王静娴;;基于信息隐藏的网页入侵检测技术与实现[A];2009通信理论与技术新发展——第十四届全国青年通信学术会议论文集[C];2009年
8 王琦;唐世渭;杨冬青;王腾蛟;;基于DOM的网页主题信息自动提取[A];第二十一届中国数据库学术会议论文集(研究报告篇)[C];2004年
9 靳慧云;李苑;赵伟光;;论铁路计算机信息系统安全[A];第十二届全国计算机安全技术交流会论文集[C];1997年
10 郭丰宇;;一种多用户软件安全方法[A];第四次全国计算机安全技术交流会论文集[C];1989年
中国重要报纸全文数据库 前10条
1 电子工业出版社 董娅 工业和信息化部电子科学技术情报研究所 周峻松;用开源软件建垂直搜索引擎[N];计算机世界;2010年
2 王艳;垂直搜索引擎市场看好[N];中国旅游报;2000年
3 赛迪网 方刚;不只是网站才垂直[N];中国计算机报;2000年
4 王靖;赛迪网推出垂直搜索引擎[N];人民日报海外版;2000年
5 ;略论软件安全[N];网络世界;2004年
6 本报记者 张伟 记者 戈清平;可信互联网 软件安全开发成金钥匙[N];中国高新技术产业导报;2009年
7 本报记者 陈和利;软件安全:还应从源头做起[N];科技日报;2005年
8 陕西 西格玛;给软件安全搬家[N];电脑报;2006年
9 俞毅峰;软件安全——信息安全的基石[N];计算机世界;2002年
10 湖北 冯晓玲;快速调用记事本编辑网页文件[N];电脑报;2003年
中国博士学位论文全文数据库 前10条
1 王晔;垂直搜索引擎若干问题研究[D];复旦大学;2011年
2 吴羽;面向时间敏感对象的垂直搜索引擎关键技术研究[D];浙江大学;2011年
3 胡宜敏;农业垂直搜索引擎语义化若干问题的研究与实现[D];中国科学技术大学;2012年
4 冯博;软件安全开发关键技术的研究和实现[D];北京邮电大学;2010年
5 郭宇;模块化构造软件系统安全性证明的研究[D];中国科学技术大学;2007年
6 王志芳;指针逻辑的扩展与应用[D];中国科学技术大学;2009年
7 李隆;使用事务内存同步机制的并行程序验证的研究[D];中国科学技术大学;2008年
8 张秀峰;AOP技术及其在软件安全中的应用[D];北京邮电大学;2008年
9 葛琳;可信软件开发框架下的出具证明编译研究[D];中国科学技术大学;2007年
10 华保健;一种用于指针程序安全性证明的指针逻辑[D];中国科学技术大学;2008年
中国硕士学位论文全文数据库 前10条
1 杜洪伟;软件安全领域垂直搜索引擎的优化设计与实现[D];天津大学;2010年
2 屠辉;中文重复网页的检测算法研究[D];北京邮电大学;2010年
3 黄伟光;网页木马的防御与检测技术研究[D];北京交通大学;2011年
4 易方昶;基于网页后门木马监测系统的研究和设计[D];北京化工大学;2010年
5 尹力;网页防篡改系统在校园网中的应用研究[D];河北科技大学;2011年
6 缪丹;面向商品比价应用的垂直搜索引擎系统设计与实现[D];西南交通大学;2012年
7 史晶晶;基于CRF的Web机构实体信息抽取系统[D];吉林大学;2011年
8 孔辉;一种网页防篡改系统的设计与实现[D];北京邮电大学;2011年
9 王征;基于布隆过滤器算法的网页消重技术的实现与应用[D];北京交通大学;2010年
10 华大年;手机产品信息垂直搜索引擎系统设计与开发[D];武汉理工大学;2011年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026