收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

短文本指纹的研究

赵小谦  
【摘要】:21世纪信息技术的飞速发展,带动了全球信息网络化革命的迅猛发展。全球信息网络的普及与共享给人们的日常生活带来了不小的便捷。除此以外,以因特网为主体的信息高速公路已经渗透到社会生活的各个领域,为人类提供了信息共享和交流的现代化通道。 移动通信网络发出的手机短消息、即时通信软件发出的即时消息、在线聊天室的聊天记录、博客评论、新闻评论、BBS标题等都产生了数以万计的文本,这些文本长度较短,具有广泛的外延,我们称其为短文本。 短文本指纹作为验证短文本的唯一标识,在短文本研究领域中起到举足轻重的作用。只有内容相同的短文本才具有完全相同的指纹值,同理,具有相同指纹值的短文本,我们可以认为这两个短文本的内容是相同的。一旦建立起指纹值和短文本之间的一一对应关系以后,我们就可以利用短文本指纹进行一系列的数据挖掘工作,例如聚类,去重,去冗余等。 本课题首先受到Hownet和Wordnet的启发,着重分析概念之间联系关系。通过比较JSON格式和XML格式的优劣,提出用JSON格式构建概念词典的可行性,并给出了构建概念词典的算法。为使该词典具有高效的检索效率,我们设计了概念编码和索引结构达到一致对应的索引表,使概念得到高效的归结。其次,采用了ICTCLAS分词技术,使短文本逐步化简为一个个有效的分词。其中比较重要的一点是,我们对一些特殊的情况做了一定的处理,例如对数字、时间、日期、叠词进行拆分和合并,使调整优化后的分词结果具有比较高的准确率。再次,众所周知,特征值是指定领域中最为核心和本质的概念。受此启发,我们给出了特征值的定义和具体的抽取特征值的办法。在特征值提取的基础上,我们提出了短文本指纹的概念和具体的短文本指纹编码过程,即STF(Short Text Fingerprint)方法。最后,通过介绍实验环境以及主要功能模块之间的关系来分析STF方法对研究短文本相似度的可行性,并且和现有的4种短文本相似度计算方法进行比较,验证了STF能够有效的分析出短文本的唯一性,提高后期短文本挖掘工作的准确性和有效性。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 吕知辛,黄遵令;指纹识别方法及其应用[J];计算机系统应用;2004年01期
2 ;来稿选摘[J];微型机与应用;1998年02期
3 ;可识别指纹的特制芯片[J];光机电信息;2000年05期
4 张继辉;浅谈指纹识别技术的产生与发展[J];电气时代;2001年06期
5 钱斌;用亮度对比及景深缩小法分离透明玻璃上的双面重叠指纹[J];警察技术;2001年04期
6 一刻;信息安全更有保障——指纹识别指日可待[J];百科知识;2001年06期
7 程忠逸;指纹授权系统在银行的应用[J];计算机时代;2002年02期
8 李久志,郝 芳;指纹技术在银行柜员安全管理中的应用[J];中国金融电脑;2002年08期
9 靳贵平,庞其昌;紫外指纹检测仪的研制[J];光学精密工程;2003年02期
10 傅德胜,王水平,李仕强;指纹中心自动定位诸方法研究及应用[J];计算机应用与软件;2004年03期
11 陈楠,张明,吴陈,杨宏林;基于多级索引的指纹数据库检索算法研究[J];华东船舶工业学院学报(自然科学版);2004年04期
12 刘军;用指尖锁定安全[J];中国计算机用户;2004年46期
13 梁倬,尹梁;指纹识别中的特征点提取算法[J];仪器仪表学报;2004年S1期
14 江森林,张基温,严俊;HONEYD解析[J];计算机工程与设计;2005年03期
15 谭同德,丁安国,乔木;基于指纹特征匹配的IC卡考试身份验证管理系统[J];周口师范学院学报;2005年02期
16 凌捷;非接触式指纹智能卡的关键技术研究[J];计算机工程与应用;2001年14期
17 徐志祥,范俊波,史燕;一种基于指纹辨识的银行代管保管箱管理系统[J];计算机应用;2001年06期
18 盛水源;电子指纹识别技术的现状及发展[J];信息安全与通信保密;2001年08期
19 ;中正认证全面发布手持式指纹IC卡认证机MIAXIS[J];金卡工程;2001年06期
20 ;指纹识别“指向”何处[J];金卡工程;2001年06期
中国重要会议论文全文数据库 前10条
1 冯新;范颖芳;李国强;;损伤动力指纹的模态灵敏度分析[A];第八届全国振动理论及应用学术会议论文集摘要[C];2003年
2 岳海龙;任玉苓;;耐指纹板关键技术与生产实践[A];西部大开发 科教先行与可持续发展——中国科协2000年学术年会文集[C];2000年
3 袁志坚;贾焰;;基于误差反馈的高速Web文本流快速近似分类[A];第二十四届中国数据库学术会议论文集(研究报告篇)[C];2007年
4 郑新水;;指纹的应用研究——疾病预测学探讨[A];全国中医藏象研究创新思路学术研讨会论文汇编[C];2001年
5 刘长节;翁天钿;;胃癌患者指纹的研究[A];解剖学杂志——中国解剖学会2002年年会文摘汇编[C];2002年
6 赵磊;罗代升;腾奇志;何小海;;高考身份验证指纹识别系统的设计与实现[A];中国自动化学会、中国仪器仪表学会2004年西南三省一市自动化与仪器仪表学术年会论文集[C];2004年
7 党洁;霍正浩;彭亮;钟慧军;焦海燕;朱永生;陈银涛;陆宏;;先天性心脏病患者数量皮纹学特征研究[A];中国的遗传学研究——遗传学进步推动中国西部经济与社会发展——2011年中国遗传学会大会论文摘要汇编[C];2011年
8 王丽华;周春英;;小儿肺炎的指纹望诊与中西医治疗[A];四诊研究论文汇编[C];2000年
9 王明彪;林子清;宋琳;董玉贞;王宁;朱敏;杨洪波;;用PCR方法判定指纹性别的研究[A];加入WTO和中国科技与可持续发展——挑战与机遇、责任和对策(下册)[C];2002年
10 梁远森;李国强;冯新;;基于多个动力指纹进行板类结构的损伤诊断[A];第八届全国振动理论及应用学术会议论文集摘要[C];2003年
中国博士学位论文全文数据库 前10条
1 丁轶群;基于概率生成模型的文本主题建模及其应用[D];浙江大学;2010年
2 黄九鸣;面向舆情分析和属性发现的网络文本挖掘技术研究[D];国防科学技术大学;2011年
3 郭戈;数字视频语义信息提取与分析[D];解放军信息工程大学;2010年
4 王建军;水稻lrd生理与遗传及Rim2分子指纹研究[D];浙江大学;2004年
5 回红;基于结构的指纹表达及其匹配算法研究[D];浙江大学;2002年
6 任传伦;分布环境下身份认证和授权管理的研究[D];北京邮电大学;2007年
7 王君泽;基于大规模问答语料的问题检索系统[D];华中科技大学;2010年
8 王新岐;斜拉桥破损诊断技术的研究[D];天津大学;2003年
9 刘元宁;基于指纹与虹膜生物识别技术研究[D];吉林大学;2004年
10 田野;基于微博平台的事件趋势分析及预测研究[D];武汉大学;2012年
中国硕士学位论文全文数据库 前10条
1 赵小谦;短文本指纹的研究[D];南京邮电大学;2012年
2 杨保国;基于关键词的文本流分类技术研究[D];西北农林科技大学;2011年
3 高金莉;基于语义分析的文本情感分类研究[D];山西大学;2010年
4 崔凯;基于LDA的主题演化研究与实现[D];国防科学技术大学;2010年
5 林源;英文短文本相似性研究及在图书推荐中的应用[D];北京林业大学;2010年
6 周卫华;小儿肺炎指纹与中医证候演变相关性研究[D];山东中医药大学;2012年
7 王水平;指纹中心自动定位研究及应用[D];南京气象学院;2003年
8 黄金;指纹IC卡准考证系统[D];西南交通大学;2003年
9 薄海玲;指纹冲击线的识别与应用[D];吉林大学;2004年
10 周井生;指纹识别中遗传算法的应用及硬件实现[D];吉林大学;2004年
中国重要报纸全文数据库 前10条
1 连晓东;我国首款指纹手机即将问世[N];中国电子报;2005年
2 记者 彭放 实习生 雷云峰;“克隆指纹”骗过考勤机?[N];长沙晚报;2010年
3 陈丽梅;一指“走”天下[N];光明日报;2000年
4 张军;测叶片便知品种真假[N];农民日报;2001年
5 郭雅楠 记者 向杰;我国建成首个油指纹数字化鉴别系统[N];科技日报;2009年
6 孟凡俊、杨铁良;玉田 指纹生存认证管好企业离退休人员养老钱[N];唐山劳动日报;2009年
7 杨洋;指纹算法推动重复数据删除发展[N];网络世界;2009年
8 中科院自动化所人工智能实验室 段少雄 张堂辉 田捷;指纹圈点未来生活[N];中国计算机报;2001年
9 陈双燕;儿童的指纹易消失[N];人民公安报;2003年
10 喧;扫指纹 辨身份[N];中国计算机报;2003年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978