收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于深度学习的中文文本分类的关键技术研究

王晓明  
【摘要】:深度学习作为目前人工智能领域主流研究方向之一,在各种分类任务中都取得了非常不错的效果,其中就包括中文文本分类任务。中文文本分类任务根据操作流程一般包括数据预处理、中文分词、向量表示以及文本分类等关键技术。本文主要研究基于深度学习的中文分词技术以及文本分类技术,并通过对这两种关键技术的改进,提升各自任务的效果。最后结合这两种改进的关键技术从整体上提升中文文本分类效果。本文的工作内容主要包括以下几个方面:1、结合BERT与GRU模型的优势,改进得到一种新的多标准中文分词模型。在传统多标准分词模型中只使用了Bi-LSTM模型,但是随着数据集的增大训练时间也会增加,因此通过使用更简单的Bi-GRU模型来加快模型的训练速度。同时为了从文本中提取出更丰富的语义特征,使用BERT预训练模型作为语义特征提取层加入到模型中,以此提升模型分词效果。根据上面两项改进得到一种新的多标准中文分词模型,并设置相关实验,从训练时间以及分词效果两个方面的提升证明改进的有效性。2、在短文分类模型中加入计算机视觉领域的混合域注意力模块,改进得到一种新的短文本分类模型。传统短文本分类中的卷积神经网络在提取特征时对所有特征一视同仁,为了增强模型对关键特征的提取能力,仿照计算机视觉中的做法,将混合域注意力模块加入短文本分类模型中。通过设置与原模型的对照实验,证明了加入混合域注意力模块对文本关键特征的提取确实很有帮助。3、在层次Attention模型中应用多通道机制,改进得到一种适合中文长文本数据的多通道层次Attention分类模型。使用层次Attention模型进行中文文本分类任务时,长文本增加了分词错误的概率继而产生信息的丢失,于是加入对字粒度文本表示的特征提取通道来补充词粒度文本表示带来的损失。同样设置与原模型的对照实验,通过分类效果的提升证明了加入字粒度文本表示后提取的特征更加全面。4、通过将上面中文分词技术以及文本分类技术的改进进行结合,设计并实现了一个简易的中文长短文本混合分类系统,并利用该系统测试上述两种关键技术的改进在结合后,整体上对中文文本分类效果的影响。


知网文化
【相似文献】
中国期刊全文数据库 前19条
1 庄新妍;;中文文本分类系统构架设计[J];信息与电脑(理论版);2012年02期
2 周雪芹;刘建舟;邵雄凯;廖力;;中文文本分类中特征提取的方法[J];湖北工业大学学报;2010年02期
3 刘怀亮;张治国;赵捧未;;中文文本分类反馈学习研究[J];情报理论与实践;2009年06期
4 王俊英;郭景峰;霍峥;;中文文本分类系统的设计与实现[J];微电子学与计算机;2006年S1期
5 马忠宝;刘冠蓉;;基于支持向量机的中文文本分类模型研究[J];计算机技术与发展;2006年11期
6 马忠宝;刘冠蓉;;中文文本分类在信息技术中的应用研究[J];中国水运(学术版);2006年02期
7 孙国菊,张杰;中文文本分类的特征选取评价[J];哈尔滨理工大学学报;2005年01期
8 白若鹞;董渊;张素琴;徐大伟;;研究中文文本分类技术的辅助平台[J];清华大学学报(自然科学版);2008年07期
9 白若鹞;董渊;张素琴;徐大伟;;研究中文文本分类技术的辅助平台[J];清华大学学报(自然科学版)网络.预览;2008年07期
10 翟林,刘亚军;支持向量机的中文文本分类研究[J];计算机与数字工程;2005年03期
11 孙士保;李保元;李天瑞;吴正江;郑瑞娟;;基于类内关键词的中文文本分类模型的改进[J];广西师范大学学报(自然科学版);2009年03期
12 杜长海;吉根林;;模糊聚类在中文文本分类中的应用研究[J];计算机工程与应用;2006年08期
13 李荣陆,王建会,陈晓云,陶晓鹏,胡运发;使用最大熵模型进行中文文本分类[J];计算机研究与发展;2005年01期
14 兰秋军;李卫康;刘文星;;不同情境下中文文本分类模型的表现及选择[J];湖南大学学报(自然科学版);2016年04期
15 范少萍;李迎迎;郑春厚;;基于局部线性判别嵌入算法的中文文本分类研究[J];情报理论与实践;2014年02期
16 王进;金理雄;孙开伟;;基于演化超网络的中文文本分类方法[J];江苏大学学报(自然科学版);2013年02期
17 郝晓燕;常晓明;;中文文本分类研究[J];太原理工大学学报;2006年06期
18 程东生;范广璐;俞雯静;伍飞;曾伟波;;基于极限学习机的中文文本分类方法[J];重庆理工大学学报(自然科学);2018年08期
19 张成宝;王志玲;;基于层次分析法的中文文本分类系统评价[J];情报杂志;2007年10期
中国重要会议论文全文数据库 前5条
1 苏小康;何婷婷;涂新辉;何金卓;;一种基于维基百科知识库的中文文本分类方法研究[A];中国计算机语言学研究前沿进展(2007-2009)[C];2009年
2 王俊英;郭景峰;霍峥;;中文文本分类系统的设计与实现[A];2006年全国开放式分布与并行计算机学术会议论文集(三)[C];2006年
3 陈伟萍;王琳;封化民;杨鼎才;方勇;;一种基于语义概念的中文文本分类方法[A];第一届建立和谐人机环境联合学术会议(HHME2005)论文集[C];2005年
4 陈庆轩;郑德权;郑博文;赵铁军;李生;;中文文本分类中基于文档频度分布的特征选择方法[A];黑龙江省计算机学会2009年学术交流年会论文集[C];2010年
5 王秀娟;郑康锋;杨星海;;线性鉴别分析在中文文本分类中的应用[A];2005通信理论与技术新进展——第十届全国青年通信学术会议论文集[C];2005年
中国博士学位论文全文数据库 前3条
1 薛德军;中文文本自动分类中的关键问题研究[D];清华大学;2004年
2 杨创新;基于机器学习的高性能中文文本分类研究[D];华南理工大学;2009年
3 周雪忠;文本挖掘在中医药中的若干应用研究[D];浙江大学;2004年
中国硕士学位论文全文数据库 前10条
1 王晓明;基于深度学习的中文文本分类的关键技术研究[D];电子科技大学;2020年
2 赖文辉;基于深度学习理论的中文文本分类技术研究[D];华南理工大学;2019年
3 俞炯;基于支持张量机的中文文本分类研究[D];上海交通大学;2016年
4 郭超磊;基于SA-SVM的中文文本分类研究[D];上海师范大学;2019年
5 栗蒙光;基于改进的文本相似度算法的中文文本分类技术研究[D];兰州大学;2019年
6 侯永进;基于注意力机制与多元特征融合的中文文本分类方法研究[D];哈尔滨理工大学;2018年
7 张航;基于朴素贝叶斯的中文文本分类及Python实现[D];山东师范大学;2018年
8 尹旭东;基于并行SVM算法的中文文本分类方法研究[D];吉林大学;2018年
9 陈亮;面向武器装备语料的中文文本分类[D];吉林大学;2018年
10 殷越;基于统计方法的中文文本分类[D];华中师范大学;2017年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978