收藏本站
《浙江大学》 2011年
收藏 | 手机打开
二维码
手机客户端打开本文

实时在线相似检索系统的设计和实现

任杰  
【摘要】:相似检索有着广泛的应用,特别是在知识产权保护和信息检索领域。而本文着重介绍了相似检索在抄袭检测这一领域的应用。 学生作业抄袭检测的应用场景下,相似检索系统须具备检索以及数据更新的实时性,返回结果的高准确率的特征。因此我们需要扩展相似检索系统,使得其具备快速检索的能力,特别是在大数据量的应用场景下。 然后本文引入快速检索模块,它由三种实现策略:倒排索引、簇剪枝以及多维索引。常用的倒排索引,其索引更新策略是定时增量更新或定时重建,这就不能满足系统实时性的需求,因此提出并实现了一种实时搜索引擎构建的方式。 对于具体的抄袭检测应用,我们分析了代码这种非自然语言文本形式的特点,并结合实时的相似检索系统架构,提出一种基于代码结构的特征指纹,并使用该指纹用于快速检索模块的筛选候选相似集的过程,然后使用经典的RKR-GST算法用于计算程序代码之间的相似度计算,同时利用RKR-GST算法找寻出的Tiles,对代码的相似区域用不同的色彩进行高亮显示,便于用户观察比对。 同时,我们也实现了对文档的相似检索服务,直接使用搜索引擎,进行相似文档的检索,效果并不理想,因为单词的粒度太细,它舍弃文档的结构信息。于是我们提出了一种基于SpotSigs算法的斑指纹,该指纹包含一定的结构信息,同时粒度介于词与段之间,用于相似检索的筛选效果好。最后针对文档,提出了一种结合基于向量空间模型和结构特征的相似度计算方法。
【学位授予单位】:浙江大学
【学位级别】:硕士
【学位授予年份】:2011
【分类号】:TP391.3

手机知网App
【相似文献】
中国期刊全文数据库 前10条
1 高雪霞;邝涛;;基于词典知识库的快速检索算法研究[J];德州学院学报;2011年04期
2 王九经;;人脸识别技术在金融机构的应用研究[J];中国公共安全(综合版);2011年08期
3 赵炳芳;毛垣生;;对国外电子期刊资源长期保存的解决方案[J];医学信息学杂志;2011年06期
4 王建平;;DHT算法的教学研究[J];社科纵横(新理论版);2011年02期
5 林勇;张秀虹;庄洪洁;;热带农业农药数据库系统的构建与应用[J];农药;2011年07期
6 何骞;金辉霞;;社会治安网络视频监控系统设计方案[J];黑龙江科技信息;2011年17期
7 杨错;胡艳;王红;;检索国外药学专利文献的途径与方法[J];医学信息学杂志;2011年06期
8 李明辉;;Thomson Reuters Integrity助力药物研发[J];中华医学图书情报杂志;2011年04期
9 朱玉兰;;石油地质专业GSW数据库的检索功能简介[J];科技文献信息管理;2011年03期
10 张喜华;;浅谈档案信息网络服务平台的构建[J];黑龙江档案;2011年03期
中国重要会议论文全文数据库 前10条
1 张发平;孙厚芳;程光耀;;基于相似性的轴类零件CAPP系统研究[A];成组技术与大批量定制学术研讨会论文集[C];2006年
2 张发平;孙厚芳;程光耀;;基于相似性的轴类零件CAPP系统研究[A];2006年中国机械工程学会年会暨中国工程院机械与运载工程学部首届年会论文集[C];2006年
3 蔡骋;谈正;;针对快速视频检索的DCT域内基于高斯模型的视频镜头内容代表[A];第十二届全国图象图形学学术会议论文集[C];2005年
4 安东洪;杨海山;刘景鑫;;放射科医学影像诊断报告系统的实现[A];中华医学会医学工程学分会第八次学术年会暨《医疗设备信息》创刊20周年庆祝会论文集[C];2006年
5 王仲芳;任晋玮;邓志威;;微生物粗提物中抗生肽类化合物的快速检索[A];第十五届全国波谱学学术会议论文摘要集[C];2008年
6 王晓幸;王勤美;;多种眼科图像(数据)采集、存档、查阅系统与门诊医生工作站的整合开发应用[A];2006年浙江省眼科学术会议论文集[C];2006年
7 郭忠伟;李洪峰;;C~3 I系统中基于颜色特征的战场图像快速检索[A];中国造船工程学会电子技术学术委员会2006学术年会论文集(上册)[C];2006年
8 周香凝;;一种支持快速查询的敏感数据加密机制[A];计算机技术与应用进展——全国第17届计算机科学与技术应用(CACIS)学术会议论文集(下册)[C];2006年
9 焦黎;孙厚芳;王颖;;基于实例的模糊工艺推理技术研究[A];成组技术与大批量定制学术研讨会论文集[C];2006年
10 朱俊鹏;;浅谈高校馆藏档案数字化[A];北京高校档案学术论文汇编[C];2006年
中国重要报纸全文数据库 前10条
1 北京 云中月;轻松实现CAD图纸的安全管理及快速检索[N];电脑报;2005年
2 王家耀;自主创新与我国GIS发展[N];中国测绘报;2006年
3 边路;让RSS走进你的MSN[N];电脑报;2005年
4 侯肇祥 北京;挑战Google百度神话文通鉴锋芒毕露[N];电子资讯时报;2006年
5 AMT咨询高级经理 贾文玉;用文档管理武装企业知识[N];中国计算机报;2007年
6 朱泉峰;新浪本地搜索悄然提速[N];计算机世界;2005年
7 本报记者 李国敏;“IT法规遵从”离我们有多远?[N];科技日报;2006年
8 王丽霞;精心组织国家863项目[N];中国交通报;2007年
9 宋家雨;CommVault CEO布道技术新方向[N];网络世界;2008年
10 朱钦芦;汉字对称结构检索方案的社会应用意义[N];中华新闻报;2008年
中国博士学位论文全文数据库 前8条
1 刘大伟;支持多层表示的海量视频快速检索及反馈学习[D];中国科学技术大学;2012年
2 刘云峰;基于潜在语义分析的中文概念检索研究[D];华中科技大学;2005年
3 贾伟;掌纹识别关键技术研究[D];中国科学技术大学;2008年
4 刘守群;海量网络视频快速检索关键技术研究[D];中国科学技术大学;2010年
5 甘峰;复杂多组份体系智能分析系统[D];湖南大学;2001年
6 谭支鹏;对象存储系统副本管理研究[D];华中科技大学;2008年
7 曹政;电视节目自动分割与相似视频检索[D];中国科学技术大学;2010年
8 董道国;高维数据索引结构研究[D];复旦大学;2005年
中国硕士学位论文全文数据库 前10条
1 任杰;实时在线相似检索系统的设计和实现[D];浙江大学;2011年
2 张荣;基于实例推理的自动控制系统辅助设计研究[D];重庆大学;2004年
3 张新杰;基于成本核算的注塑模具报价系统的研究与开发[D];山东大学;2005年
4 李新华;注塑模具成本估算与报价系统的开发[D];山东大学;2005年
5 盛会鹏;大规模人脸库聚类检索算法研究[D];吉林大学;2007年
6 于孝航;基于人体运动捕捉数据的高维时间序列模式挖掘算法的研究[D];大连理工大学;2007年
7 李鹤;金属压铸模具报价系统的设计与研究[D];青岛科技大学;2008年
8 柳全才;基于CBR的注塑模具成本核算系统的研究与开发[D];山东大学;2006年
9 文辉;海量离散点数据快速检索系统设计与实现[D];电子科技大学;2006年
10 冀亚丽;基于内容的鲁棒的图像检索方法的研究与系统实现[D];西南师范大学;2005年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026