收藏本站
《南京师范大学》 2007年
收藏 | 手机打开
二维码
手机客户端打开本文

专业搜索引擎的数据存储研究

陈小峰  
【摘要】: 组织好搜索引擎系统中动态变化的海量数据是系统提供优质服务的基础,所以研究系统的数据存储在搜索引擎的研究中占有重要地位。专业搜索引擎中的数据有自己的特点和特殊的组织需要,因而研究专业搜索引擎系统的数据存储问题对于专业搜索引擎的开发具有特殊的意义。 本文从以下四个方面对专业搜索引擎系统的数据存储问题进行探讨:系统所需要的数据实体及实体间的关系,适合系统的数据压缩算法,系统的索引编码结构设计和索引分布策略,系统数据的管理维护。对于系统数据的压缩设计和数据的索引设计是其中的关键问题,也是本文的着力所在。 在专业搜索引擎的数据压缩中通过对网页数据特点和专业分类数据的特征的分析,提出了将基于词典和基于统计的算法相结合、静态统计和动态统计相综合、压缩基本单位以单字和高频率词相混合的的数据压缩算法,该压缩算法在测试中取得了不错的效果。 在设计专业搜索引擎的倒排索引结构时,首先提出了基于数据库的设计实现并且指出其不足,进而提出了基于文件系统的倒排索引结构。使用该索引结构得到的索引数据的规模得到控制,对索引数据的查找速度较快,而且该结构还综合考虑了专业信息编码、文档数据的增删变化等因素。对于索引数据的分布则分析了索引数据按类别进行文档分布的优势和可行性。
【学位授予单位】:南京师范大学
【学位级别】:硕士
【学位授予年份】:2007
【分类号】:TP391.3

【相似文献】
中国期刊全文数据库 前10条
1 张龙;关佶红;王炜立;钱志萍;;GNETS:一种新的GML数据存储和查询机制[J];微电子学与计算机;2011年08期
2 Roger Tomlinson;;GIS:规划我们的未来[J];程序员;2010年10期
3 葛亮;胡泽;付英军;;一种存储式多参数测井系统的设计[J];传感器与微系统;2011年08期
4 陶君;袁著;张可;张伟;;SAR高速海量数据存储与回放系统设计[J];电子技术应用;2011年03期
5 蒋冬英;陈松华;;图书馆数据存储安全性探讨[J];高校图书馆工作;2011年04期
6 居伟骏;孙华平;卢达;徐刚;;基于C8051F340的电子多臂机用PDA的设计[J];常熟理工学院学报;2011年04期
7 艾崧溥;荆小兵;姚晓静;王晓强;邢建平;;中小企业第三方数据存储与灾备服务需求研究[J];信息技术;2011年08期
8 薛广鹏;刘艳民;韩井龙;;基于WebGIS的承德市河流管理信息系统建设初探[J];科技促进发展(应用版);2010年06期
9 邢小平;杨玮清;;PowerBuilder大文本数据的存取操作详解[J];电脑知识与技术;2011年25期
10 王英程;;基于写时拷贝的客户端共享数据层设计与实现[J];现代计算机;2011年08期
中国重要会议论文全文数据库 前10条
1 李庆印;;公安数据备份技术研究及策略设计[A];全国计算机安全学术交流会论文集(第二十二卷)[C];2007年
2 昝涛;王民;费仁元;徐洪安;;基于LabVIEW的网络监测与诊断系统中数据传输与存储机制研究[A];设备监测与诊断技术及其应用——第十二届全国设备监测与诊断学术会议论文集[C];2005年
3 李彬彬;易宝林;刘斌;;基于信源学的植被光谱数据的存储技术研究[A];2009通信理论与技术新发展——第十四届全国青年通信学术会议论文集[C];2009年
4 李晓辉;;中小电台数据管理[A];2006全国广播电视发射技术论文集(1)[C];2006年
5 宾月景;黄蕾;赵福群;黄新;张复实;;轮烯金属配合物应用于高密度光存储体系的研究[A];2006中国科协年会——数字成像技术及影像材料科学学术交流会论文集[C];2006年
6 杨甲森;赵娜;;行星数据系统研究[A];中国空间科学学会空间探测专业委员会第十九次学术会议论文集(上册)[C];2006年
7 宾月景;赵福群;黄蕾;黄新;张复实;;轮烯金属配合物应用于高密度光存储体系的研究[A];提高全民科学素质、建设创新型国家——2006中国科协年会论文集(下册)[C];2006年
8 谈超洪;陈友初;李承林;;广西电子政务外网数据中心设计与应用[A];广西计算机学会2008年年会论文集[C];2008年
9 陈进才;程伟;陈希;周功业;;寄生存储冗余机制与实现技术[A];第15届全国信息存储技术学术会议论文集[C];2008年
10 苏波;陈芳;;GE Smallworld:一个面向企业的GIS平台[A];中国地理信息系统协会第三次代表大会暨第七届年会论文集[C];2003年
中国重要报纸全文数据库 前10条
1 本报记者 杨兆清;数据存储的新生意[N];经济观察报;2005年
2 ;如何实现数据存储的管理[N];人民邮电;2005年
3 记者 毛磊;硅谷公司开发出数据存储新技术[N];新华每日电讯;2009年
4 ;2010年中小企业数据存储市场六大趋势[N];网络世界;2010年
5 屈涛;将财务数据存储在“云”端[N];中国会计报;2011年
6 清水 编译;主数据存储的六个级别[N];计算机世界;2010年
7 李壮;专业搜索引擎涤荡搜索市场[N];中国高新技术产业导报;2005年
8 本报记者 童可;搜索引擎竞争升温行业细分时代来临[N];证券时报;2005年
9 巫宁;旅游专业搜索引擎风生水起[N];中国旅游报;2005年
10 李;方便数据存储[N];中国计算机报;2004年
中国博士学位论文全文数据库 前10条
1 曾碧卿;分布式计算中并行I/O调度策略研究[D];中南大学;2005年
2 李贵林;无线传感器网络数据存储与查询处理算法的研究[D];哈尔滨工业大学;2009年
3 彭涛;面向专业搜索引擎的主题爬行技术研究[D];吉林大学;2007年
4 袁小坊;IP网络测量数据存储与流量建模研究[D];湖南大学;2010年
5 王庆;XML约束在XML数据存储、发布和转换中的应用[D];复旦大学;2004年
6 胥正川;基于关系数据库的XML数据存储、更新和检索[D];复旦大学;2003年
7 司海平;农作物种质资源调查信息系统研究[D];中国农业科学院;2011年
8 覃章健;基于FPGA的便携式数字核谱仪研制[D];成都理工大学;2008年
9 孔冬艳;基于对象关系型空间数据库理论的GIS实现[D];中国地质大学(北京);2006年
10 王嵩;P2P媒体服务系统研究[D];中国科学技术大学;2010年
中国硕士学位论文全文数据库 前10条
1 陈小峰;专业搜索引擎的数据存储研究[D];南京师范大学;2007年
2 林伟松;数据备份与容灾技术在电信计费系统中的应用[D];北京邮电大学;2007年
3 魏玲玲;粗关系数据库查询模型及其应用[D];南昌大学;2007年
4 宋涛;基于CAN总线的行车记录仪研究[D];河北工业大学;2007年
5 徐震;通讯资金布局决策支持系统研究[D];复旦大学;2008年
6 张伟楠;基于VXI总线的16通道数字化仪的设计与实现[D];吉林大学;2009年
7 晏亚飞;移动通讯设备高可用系统中的数据存储技术[D];清华大学;2003年
8 刘彬;工控设备中数据处理技术的研究[D];中南大学;2004年
9 刘建国;基于COM的组件式GIS研究与应用[D];南京工业大学;2004年
10 周钊;基于实时数据库的历史数据处理技术研究[D];华北电力大学(北京);2008年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026