收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于小世界模型的P2P网络文本检索

史庆伟  
【摘要】: 与集中式搜索引擎相比,构建在P2P网络上的文本检索系统在可扩展性、数据更新、维护成本和安全性等方面具有与生俱来的优势。由于P2P网络中的节点缺乏全局网络的拓扑知识,如何定位节点资源、减少网络节点之间的通信开销成为P2P网络中文本检索的核心问题。本文基于小世界模型研究了P2P网络中的文本检索问题,主要贡献如下: 针对向量空间模型中文档矩阵高维稀疏的问题,提出了一个P2P网络节点文档向量降维的方法。该方法将文档中词频出现两次以上的词条作为文档的摘要信息,来表示节点文档内容,然后根据改进的STC算法为选出的词条建立了一个树状的层次结构。在计算文档向量相似度时,采用sigmoid函数为不同层次的词条赋予不同的权重。 针对Gnutella网络中转发消息的泛洪问题,基于小世界模型提出了一种无结构P2P网络文本检索的方法。该方法中,P2P网络的每个节点都维护一定数量的短程连接邻居节点和长程连接邻居节点,由此来构建具有小世界特性的网络。邻居节点的更新策略是在节点的查询和应答交互过程中进行的,每次查询结束后,都会更新邻居节点文档向量中关键词的权重,使得节点能够动态地快速了解网络的拓扑情况和其他节点的文档内容。实验结果显示,与Gnutella网络相比,小世界P2P网络具有更大的聚类系数、较小的特征路径长度和更高的文本检索查全率。 针对基于DHT技术的结构化P2P网络在不支持复杂查询、负载不平衡和路由效率低等方面的问题,根据Kleinberg小世界模型设计了一个结构化P2P网络协议(SPPSW协议)。在SPPSW协议中,内容相近的节点被划分到相同的节点类中,在节点类的内部,节点可以根据相似程度选择邻居,网络由一些相互连接节点类构成。节点类可以动态地调整节点类的大小,能够自组织地分裂、合并,节点类之间存在一些长程连接,缩短了查询路由步数。实验结果显示,随着网络规模的扩大,在SPPSW协议网络中,搜索开销呈对数平方曲线增长,维护开销呈线性增长;选择一个合适的节点类内部节点的数量,可以使得整体的网络维护开销和搜索开销最小。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 史庆伟;许光全;王新海;;结构化P2P网络文本检索研究[J];计算机工程;2010年12期
2 崔丽群;史庆伟;;P2P环境下的文本检索综述[J];信息技术;2009年07期
3 王凡帆;马清;;P2P点播系统结构分析[J];电脑编程技巧与维护;2010年08期
4 史庆伟;王新海;;类Gnutella网络文本检索研究[J];计算机工程;2010年06期
5 鄢靖丰;程菊明;熊德兰;张泊平;;基于小世界现象的网页消重和排序[J];计算机工程;2008年23期
6 陈晶;孔令富;;基于对等虚拟社群网格系统的研究与设计[J];计算机工程;2007年07期
7 王爽;陈亚霖;李绍滋;;基于P2P的流媒体分发关键技术研究[J];河南大学学报(自然科学版);2008年02期
8 王利娥;黄昆;张大方;;BitTorrent系统中一种近似全局最少优先的文件块选择策略[J];计算机应用研究;2008年05期
9 张书钦;郭方方;张伟;;一种基于P2P的IP网络分层移动性管理方法[J];计算机与数字工程;2009年08期
10 伍伟绩;郑滔;;基于HeteroPastry的P2P网络代理系统[J];计算机工程;2009年24期
11 林予松;陈安领;王宗敏;;大规模流媒体直播系统扰动性研究[J];计算机应用研究;2010年01期
12 ;文本检索[J];计算机应用研究;1986年02期
13 张霞;于崇兰;;医学图像检索研究[J];医学信息;2010年07期
14 曹冬林;林达真;;文本检索模型综述[J];心智与计算;2007年04期
15 侯孟书,卢显良,周旭,詹川;非结构化P2P系统的路由算法[J];电子科技大学学报;2005年01期
16 刘永泰;全文文本检索技术及其发展[J];中国信息导报;1998年04期
17 乔冬梅;搜索引擎文本检索界面设计分析[J];图书情报知识;2003年06期
18 陆皓,徐伟;自然语言计算机情报检索的初探——一个自动文本检索原型系统[J];现代图书情报技术;1991年02期
19 李斌;TREC-3:文本检索会议[J];管理科学文摘;1997年05期
20 贡大跃;基于查询扩充机制的中文文本检索模型[J];辽宁师专学报(自然科学版);2000年01期
中国重要会议论文全文数据库 前10条
1 任潇;董剑;刘宏伟;李洋;杨孝宗;;对等网络中基于失效规律的自适应失效检测器研究[A];第十四届全国容错计算学术会议(CFTC'2011)论文集[C];2011年
2 周水庚;胡江滔;胡运发;周傲英;;基于隐含语义索引的中文文本检索[A];第十七届全国数据库学术会议论文集(研究报告篇)[C];2000年
3 郑重;王意洁;马行空;;TCSO:一种轻量级主题连通的语义覆盖网[A];2010年第16届全国信息存储技术大会(IST2010)论文集[C];2010年
4 付瑞吉;秦兵;刘挺;;面向音乐领域的文本检索与挖掘系统[A];第五届全国青年计算语言学研讨会论文集[C];2010年
5 韩丽;雷振明;;对等网络的资源查找机制[A];通信理论与信号处理新进展——2005年通信理论与信号处理年会论文集[C];2005年
6 辛颖;于守健;乐嘉锦;;对等网络中基于DHT的Web服务发现[A];第二十一届中国数据库学术会议论文集(技术报告篇)[C];2004年
7 励铮;李卫明;;基于对等网络的公共密钥基础设施信任模型[A];浙江省电子学会第七次会员代表大会暨2007学术年会论文集[C];2007年
8 余智华;;Peer-to-Peer网络中的信任模型与恶意行为分析[A];全国网络与信息安全技术研讨会'2005论文集(上册)[C];2005年
9 陈忆群;曹瑾音;印鉴;;查询扩展树:关系数据库中的文本检索[A];第二十三届中国数据库学术会议论文集(技术报告篇)[C];2006年
10 马春雷;;基于向量空间模型的中文文本检索研究[A];2007年河北省电子学会、河北省计算机学会、河北省自动化学会、河北省人工智能学会、河北省计算机辅助设计研究会、河北省软件行业协会联合学术年会论文集[C];2007年
中国博士学位论文全文数据库 前10条
1 史庆伟;基于小世界模型的P2P网络文本检索[D];天津大学;2008年
2 欧中洪;结构化对等网络:分等级体系结构研究和性能评价[D];北京邮电大学;2011年
3 陈汉华;基于对等网络的大规模内容检索研究[D];华中科技大学;2010年
4 陈汉华;基于对等网络的大地规模内容检索研究[D];华中科技大学;2010年
5 乐俊;基于混合网状覆盖网的高质量应用层组播系统研究[D];武汉大学;2010年
6 彭浩;复杂对等网络系统中安全机制的研究[D];上海交通大学;2012年
7 姚宏;面向异构应用的对等网络平台关键技术研究[D];华中科技大学;2010年
8 李致远;移动对等网络安全若干关键技术研究[D];南京邮电大学;2011年
9 吴杰;P2P流媒体内容分发与服务关键技术研究[D];复旦大学;2008年
10 高国强;对等网络分布式缓存机制研究[D];华中科技大学;2011年
中国硕士学位论文全文数据库 前10条
1 曾宇光;基于P2P覆盖网的路由算法研究[D];中南大学;2007年
2 施聪;对等网络中基于关键字的搜索[D];上海交通大学;2008年
3 李卿;支持向量机在P2P网络流量检测中的应用[D];哈尔滨理工大学;2009年
4 张迎峰;基于对等网络(peer-to-peer)的远程数据共享模式的研究[D];华北电力大学(北京);2003年
5 文佑祥;基于对等网络技术的语音通信系统的设计与实现[D];华中科技大学;2005年
6 王阳;基于DHT的流媒体服务体系研究[D];兰州大学;2006年
7 包明辉;P2P环境下应用层组播的设计与实现[D];上海交通大学;2008年
8 张辰;DyChord:一种动态自适应结构化P2P网络[D];上海交通大学;2008年
9 陈晨;结构化对等网络中访问热点引起的负载均衡技术研究[D];北京交通大学;2008年
10 仇文军;流媒体技术在对等网上的应用研究[D];华北电力大学(河北);2005年
中国重要报纸全文数据库 前10条
1 记者 李红艳;“家长监护工程”将覆盖网游全行业[N];北京日报;2011年
2 通讯员 张良汉 蔡义仁;霍里街道织密新农保覆盖网[N];马鞍山日报;2011年
3 刘宇红;利用SBS改造对等网络[N];中国计算机报;2001年
4 伍班权;对等网络(P2P)的三大应用[N];计算机世界;2002年
5 ;竞开协同之星(GK-Star)独特的网络技术架构 扩展对等网络[N];中国计算机报;2004年
6 上海交通大学金桥网络工程中心 李振武 白英彩;影响Internet未来的对等网络(P2P)[N];计算机世界;2002年
7 四川 李定川;建立Win2000对等网络[N];电脑报;2003年
8 马剑芳;深圳宽带用户破百万[N];深圳商报;2007年
9 程吉安乔西宁;移动通信基站覆盖网工程通过验收[N];人民邮电;2007年
10 ;Web2.0的典型应用[N];人民邮电;2008年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978