收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于深度学习的手语识别技术研究

黄杰  
【摘要】:手语识别的研究有两个主要方面:孤立词和连续语句识别。孤立词识别的重点是用户执行的一个手势,并试图识别它。在连续识别中,用户需要一个接一个地执行手势,目标是识别用户执行的每个手势。本文对以上手语识别中的孤立词和连续语句识别进行了研究,借助于近几年非常引人注目的深度学习技术,在几个大规模公开数据集上取得了较大的进展。手语识别存在以下几个难点:1)手语的特点主要表现在手型的变化,但是由于其存在变化快,形变大,存在遮挡等问题,使得设计就有区分性的手语表征存在困难;2)手语视频序列具有很强的冗余性,例如空间背景,过渡帧,静止帧等,冗余信息存在干扰,并且使得识别问题变得复杂;3)手语识别的最终目的是实现连续语句的识别,但是这依赖于对序列的分割和孤立词的识别,手语动作过渡自然没有明显的标志,难以达到精确的分割。针对难点1)中设计具有区分性手语表征困难的问题,我们提出基于三维卷积神经网络的孤立词识别方法,借助于深度卷积神经网络强大的自主学习特征的能力,避免了人工设计手型特征,绕开了手型的检测,跟踪和分割。三维卷积神经网络以原始视频片段作为输入,通过三维卷积核捕获动作的时空特征,通过深层结构逐层学习抽象的、具有区分性的表征。因为神经网络要求输入大小固定,所以用滑动窗口把视频流分割成片段送入网络中提取特征,特征序列聚合后得到的向量作为视频的表征,基于该表征用SVM实现分类。为了提高识别率,我们采用了 RGB-D数据,利用两种模态数据之间的互补性提升性能。针对难点2)中的冗余性问题,我们提出了基于注意力机制的孤立词识别方法。空间上,由于手语动作主要表现在手臂和手掌区域,其他区域都是不相关的背景,这些冗余的信息会产生干扰,因此我们希望只保留目标区域的像素信息。时间上,不同时刻的信息重要程度不同,所以我们采用基于注意力池化的循环神经网络聚合特征序列。具体地,手语动作主要集中在手掌和手臂区域像素,根据这个先验我们对每一帧图像做视点筛选。模拟人视觉系统机制,凸显目标相关区域的像素,暗化背景及不相关区域。处理之后再通过卷积神经网络学习并提取时空特征。每个视频用一个特征序列表示,然后用循环神经网络编码,得到视频的表征。循环神经网络融合了注意力机制,对不同时刻的特征向量分配不同的权重,冗余信息将会得到很低的打分。此外,为了进一步提升识别率,除了使用RGB-D数据外还从关节坐标位置信息中提取基于形状上下文的轨迹特征。融合视频表征和轨迹特征,连接softmax层实现分类。同样是为了解决难点2)的冗余性问题,我们进一步提出了基于关键片段选择和分层注意力网络的孤立词识别方法。不同于之前的把所有帧的信息都融合进视频的表征里,该方法首先进行关键片段选择,去除了冗余信息,然后建立两层的注意力网络对筛选的序列建模,同时考虑了手语序列的结构性和多义性。关键片段筛选的目的是去除冗余,主要是静止帧和过渡帧。分层注意力网络的目标是从筛选的关键片段序列中学习得到视频的表征用于分类。网络采用两层的结构学习时间序列的权重,第一层是基于卷积神经网络的短期注意力模块,独立学习各个片段中视频帧的权重,融合得到片段的表征。第二层以片段的表征作为输入,衡量各个片段之间的重要性,融合得到视频的表征用于分类。整个模型有两个优化目标:筛选关键片段和识别。两个目标相互依赖,因此通过类期望最大化算法来交替优化,相互提升。针对难点3)中时序分割困难的问题,我们提出了基于潜在空间和循环神经网络的连续语句识别方法。为了提高识别率,我们首先重新设计了手语视频的表征,采用一个双路的三维卷积神经网络,同时学习局部的手型变化特征和全局的轨迹特征,聚合后作为视频片段的特征。为了绕开分割这个步骤,我们使用循环神经网络实现序列到序列的映射,将输入的视频序列编码成隐状态向量,然后再将其解码成目标的文本词序列。但是该过程只学习了视频和文本之间的映射关系,忽略了两种模态数据之间的相关性。因此我们在识别的过程中同时学习一个潜在空间来弥合两种数据之间的语义鸿沟。


知网文化
【相似文献】
中国期刊全文数据库 前13条
1 周自强;姜久超;;基于深度神经网络的不常用备件需求预测研究[J];河北水利电力学院学报;2021年04期
2 李昂;纪瑾;邓雅心;;基于GA-BP神经网络的电网暂稳极限切除时间预测[J];电气开关;2021年06期
3 蒋薇;刘芸芸;陈鹏;张志薇;;利用深度神经网络和先兆信号的江苏夏季降水客观预测方法[J];气象学报;2021年06期
4 董睿;俞竹青;晁令锦;;基于神经网络的雷达天线稳定平台控制设计[J];自动化与仪表;2021年12期
5 曹爽;张青凤;张雷;孙涛;;基于神经网络的游客流预测[J];渤海大学学报(自然科学版);2020年02期
6 袁鸣;申金山;张艺;杨瑞佳;张运辉;;基于GA-BP神经网络的全球气温预测[J];郑州航空工业管理学院学报;2020年06期
7 宋存洋;李欣;;自动化构建移动端神经网络的技术研究[J];电子技术应用;2020年12期
8 张新;李广儒;;基于GA-BP神经网络的船舶航迹预测[J];广州航海学院学报;2020年04期
9 徐泰燕;;基于神经网络茶叶的品质分析[J];福建茶叶;2020年12期
10 陈征;宋轩;杜先瑞;张钟勤;;基于多图神经网络的个性化推荐模型[J];中国传媒大学学报(自然科学版);2020年06期
11 唐路;杨顺娣;;基于神经网络定位平台的智慧车站设计研究[J];通信电源技术;2021年01期
12 刘亦欣;;基于图神经网络的位置上下文推荐模型[J];信息技术与信息化;2021年02期
13 李蕾;;非自治时滞脉冲Cohen-Grossberg神经网络的p-阶矩指数稳定性[J];海南大学学报(自然科学版);2021年01期
中国重要会议论文全文数据库 前20条
1 谢正荣;艾轶博;张卫冬;;高阶间接积分法的深度循环神经网络架构[A];2021中国自动化大会论文集[C];2021年
2 陈军屹;赵桂林;郑冠男;聂雪媛;;基于PINN神经网络的航母气流场模型的构建初探[A];第五届非定常空气动力学学术会议论文集[C];2021年
3 赵奥博;郑冠男;陈军屹;宋鑫;郝占宙;吕召阳;;基于PINN神经网络的圆柱绕流部分流场的构建[A];第五届非定常空气动力学学术会议论文集[C];2021年
4 刘华玲;何轶辉;;LSTM的季节性修正及在股票指数预测中的应用[A];第十六届(2021)中国管理学年会论文集[C];2021年
5 赵勇;任山山;Jürgen Kurths;;不同尺度耦合竞争忆阻BAM神经网络的同步[A];第十八届全国非线性振动暨第十五届全国非线性动力学和运动稳定性学术会议(NVND2021)摘要集[C];2021年
6 宋赫男;单小彪;王广炎;樊继壮;;基于NARX神经网络的悬臂结构识别与振动主动控制研究[A];第十八届全国非线性振动暨第十五届全国非线性动力学和运动稳定性学术会议(NVND2021)摘要集[C];2021年
7 赵猛;马新娜;祁琳;;基于卷积脉冲神经网络的滚动轴承故障诊断方法研究[A];第十八届全国非线性振动暨第十五届全国非线性动力学和运动稳定性学术会议(NVND2021)摘要集[C];2021年
8 张鑫;徐佳文;严如强;;基于压电阻抗的非线性结构故障诊断方法研究[A];第十八届全国非线性振动暨第十五届全国非线性动力学和运动稳定性学术会议(NVND2021)摘要集[C];2021年
9 刘宝;张言新;;基于生物调节机制的神经网络预估解耦控制算法研究及应用[A];第32届中国过程控制会议(CPCC2021)论文集[C];2021年
10 逯峰;彭继国;张波;;循环神经网络在煤矿中的应用[A];煤矿自动化与信息化--第29届全国煤矿自动化与信息化学术会议暨第10届中国煤矿信息化与自动化高层论坛论文集[C];2020年
11 李强;张悦娇;;神经网络的自适应有限时间容错同步控制[A];“两化”教学模式在应用型大学人才培养中的探究和实践专题论文集[C];2021年
12 罗朝林;陈武奋;张波;梁啟斌;;基于小波优化神经网络在大坝变形预测的应用[A];水库大坝和水电站建设与运行管理新进展[C];2022年
13 张星;关悦;党鑫鑫;胡波;;基于遗传算法-长短期记忆神经网络的月降水量预测研究[A];2021年(第七届)全国大学生统计建模大赛获奖论文集(二)[C];2021年
14 张玺森;宋浏阳;郭旭东;王华庆;;基于域融合健康指标和时间卷积神经网络的轴承退化趋势预测方法[A];第十四届全国振动理论及应用学术会议(NVTA2021)摘要集[C];2021年
15 张俊豪;赵晋锋;刘力源;;基于卷积神经网络的探地雷达隧道衬砌检测[A];2021年工业建筑学术交流会论文集[C];2021年
16 徐兴;赵倩婷;王苏宁;余绍康;;基于神经网络的自适应飞机防滑刹车控制器[A];第十八届中国航空测控技术年会论文集[C];2021年
17 宋尚焕;朱伟;;基于卷积神经网络的水声目标杂波分类[A];2021年浙黑苏鲁沪渝四省二市声学技术学术会议论文集[C];2021年
18 蒋子超;江俊扬;姚清河;杨耿超;;基于神经网络的差分方程快速求解方法[A];第十一届全国流体力学学术会议论文摘要集[C];2020年
19 耿传玉;王泽宇;周晓君;阳春华;;基于U-net卷积神经网络双层参数优化的心脏图像分割[A];第31届中国过程控制会议(CPCC 2020)摘要集[C];2020年
20 段滈杉;乔俊飞;蒙西;汤健;;基于模块化神经网络的城市固废焚烧过程氮氧化物软测量[A];第31届中国过程控制会议(CPCC 2020)摘要集[C];2020年
中国博士学位论文全文数据库 前20条
1 赵俊红;神经网络的正则化及在地质预测中的应用研究[D];大连理工大学;2020年
2 纪厚业;异质图神经网络关键技术研究[D];北京邮电大学;2021年
3 姚卫;时滞忆阻神经网络的同步与多稳定性研究[D];湖南大学;2020年
4 肖理业;基于机器学习的电磁场建模与设计研究[D];电子科技大学;2019年
5 陈涵瀛;核电站热工水力系统工况预测与诊断方法研究[D];哈尔滨工程大学;2018年
6 梁智杰;聋哑人手语识别关键技术研究[D];华中师范大学;2019年
7 刘昂;微结构硅基光子学器件性能的研究[D];南京大学;2019年
8 赵博雅;基于卷积神经网络的硬件加速器设计及实现研究[D];哈尔滨工业大学;2018年
9 杜昌顺;面向细分领域的舆情情感分析关键技术研究[D];北京交通大学;2019年
10 陈科海;机器翻译上下文表示方法研究[D];哈尔滨工业大学;2019年
11 饶红霞;信息受限下神经网络的状态估计和拟同步研究[D];广东工业大学;2019年
12 张马路;Spiking机器学习算法研究[D];电子科技大学;2019年
13 付钱华;忆阻神经网络的动力学研究[D];电子科技大学;2019年
14 毛瑞琛;深度神经网络下的规范化地址建设与语义空间模型研究[D];浙江大学;2019年
15 武晨;DFP航天器动力学特性分析及精确控制方法研究[D];哈尔滨工业大学;2018年
16 杨旭辉;基于神经网络的C-ADS InjectorⅡ束流偏移校准技术研究[D];兰州大学;2019年
17 樊英杰;时滞忆阻神经网络的镇定及同步控制研究[D];山东科技大学;2019年
18 冉令燕;基于卷积神经网络的图像分类研究[D];西北工业大学;2018年
19 于佳;语音文档的故事分割技术研究[D];西北工业大学;2018年
20 申晨;基于卷积神经网络的行人再识别算法研究[D];浙江大学;2018年
中国硕士学位论文全文数据库 前20条
1 李玲燕;基于优化神经网络的上市公司财务危机预警研究[D];上海工程技术大学;2017年
2 陈柯;基于机器视觉技术的动态行人监测系统研究[D];上海工程技术大学;2016年
3 何洪坤;真空冷冻干燥技术的智能控制研究[D];上海工程技术大学;2016年
4 阙禄颖;基于轻量级神经网络的行人检测技术研究[D];电子科技大学;2021年
5 张宸鹏;回复式神经网络若干关键问题研究[D];电子科技大学;2021年
6 田野;多精度神经网络加速阵列研究[D];电子科技大学;2021年
7 黄茗;利用深度学习预测股票涨跌:A+H股实证分析[D];山东大学;2018年
8 魏晓玲;基于多特征提取与卷积神经网络的房颤检测算法研究[D];河北大学;2017年
9 郑晓康;面向汉英专利文献的神经网络翻译模型的集外词翻译研究[D];北京交通大学;2017年
10 吴浪;基于多源遥感数据的中国大陆地区PM_(2.5)反演及其与城市化关系研究[D];西南大学;2019年
11 谢仁义;饱和脉冲Cohen-Grossberg神经网络稳定性分析[D];西南大学;2020年
12 侯洁;多权重耦合神经网络的反同步与有限时间反同步[D];天津工业大学;2019年
13 徐安建;基于卷积神经网络的遥感影像农作物分类方法研究[D];武汉大学;2017年
14 樊志文;基于深度卷积神经网络的CS-MRI重建方法研究[D];厦门大学;2019年
15 冯冰;基于深度学习的环境声音分类研究[D];厦门大学;2017年
16 柴志忠;基于深度卷积神经网络的病理影像研究[D];厦门大学;2019年
17 刘晓瑜;基于卷积神经网络的新鲜-冷冻猪肉近红外光谱检测研究[D];湖南大学;2019年
18 向鹏程;基于智能算法的自动化霜控制研究[D];天津商业大学;2019年
19 刘光云;基于多特征卷积神经网络的高光谱图像分类方法研究[D];湖南大学;2019年
20 周珍;基于卷积神经网络的指针手表读时方法研究[D];湖南大学;2019年
中国重要报纸全文数据库 前20条
1 记者 张梦然;神经网络打开理解电子相互作用新窗口[N];科技日报;2021年
2 记者 董映璧;神经网络技术检测玻璃钢缺陷精度高[N];科技日报;2020年
3 湖北日报全媒记者 张爱虎 通讯员 徐向军 实习生 于蓝;一群“90后”率先建成铁路“神经网络”[N];湖北日报;2019年
4 记者 刘霞;忆阻器制成神经网络更高效[N];科技日报;2017年
5 整理 本报记者 诸玲珍 顾鸿儒;微软神经网络切割法可使加速作用超线性[N];中国电子报;2018年
6 ;神经网络小史[N];电子报;2018年
7 ;人工智能将取得大面积突破[N];中国企业报;2017年
8 本报记者 龚丹韵;人机大战:人类还有优势吗[N];解放日报;2017年
9 ;人类正迎来云端机器人时代[N];中国企业报;2017年
10 记者 邱智丽;AI竞赛 中国力量崛起[N];第一财经日报;2017年
11 记者 刘霞;新神经网络使计算机像人一样推理[N];科技日报;2017年
12 本报记者 喻思娈;人工智能有多智能?[N];人民日报;2017年
13 记者 王雪青;构建机器世界神经网络 东土科技“抄底”人工智能[N];上海证券报;2017年
14 ;人工智能到底有多智能?[N];长白山日报;2017年
15 本报记者 刘霞;美用DNA制造出首个人造神经网络[N];科技日报;2011年
16 记者 冯海波 通讯员 华轩;构建叠层宽度神经网络成深度模型[N];广东科技报;2021年
17 记者 毛黎;神经网络技术帮自主驾驶汽车识别幻影物体[N];科技日报;2020年
18 记者 孙刚;“神经网络”:打开复杂工艺“黑箱”[N];解放日报;2007年
19 本报首席记者 任荃 实习生 史博臻;轨交“神经网络”触动创新神经[N];文汇报;2011年
20 记者 张梦然;神经网络完成芯片设计仅需几小时[N];科技日报;2021年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978