收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于多模态交互的授课系统研究与设计

丁小玲  
【摘要】:接受良好的教育可以使我们懂得自己应该肩负的社会责任和家庭责任,让国民的整体素质不断提高。因此,提高教学水平对公民的影响深远。除了提高教师素质,完善教学方式也是提高教学水平的一种有效方法,一种新颖的授课方式,不仅可以提高教师授课的积极性,同时还可以提高学生的主观能动性,提升授课的效率,使得整体的教学效果得到很大的改善。随着计算机和各种交互设备的普及和深入,智能化、人性化的自然人机交互方式更容易人们接受。多模态的人机交互方式结合了多种模式的信息交互,使各模式发挥自己的优势,综合利用人的多种行为方式来完成信息的采集,从而准确无误的表达用户的意图,更好的完成人与计算机的交互过程。多模态交互理论应用在教学方面,把新颖的授课方式带入传统课堂,使学生学习知识的趣味性和主观能动性不断提高。本系统主要研究并设计了一种基于多模态交互的授课系统,利用手势交互、语音交互、手写交互等多通道交互模式,以一种全新的授课方式来完成授课的全过程。系统使用Kinect体感检测器采集人体的骨骼节点数据和语音数据,将人体的动作姿势、手势、语音与鼠标相结合作为系统的输入方式。通过Kinect获得的骨骼结点数据主要应用在对界面各元素操作的手势识别和对手写板绘制流程图两个方面。手势识别过程通过动态手势识别方法完成,该识别方法主要利用骨骼节点相对位置与设定阈值范围来进行判断,包括单手、双手多种手势的识别。当识别的手势与系统预定义手势匹配时,系统就会完成相应的操作。手写板主要是利用右手骨骼节点模拟画笔来完成绘制的轨迹,在绘制过程中需要结合鼠标左键按下这个手势来共同完成绘制过程。同时采集到的语音信息在识别后作为语法命令,然后与系统中预定义的语法命令进行匹配,当置信值大于某一阈值时命令匹配成功,系统执行该语法命令对应的操作。本系统利用手势交互、语音交互、手写交互等多模态交互完成了教师授课过程,提供一种了新颖的授课方式,让教师和学生能够以一种独特的方式来高效率地完成授予知识和学习知识的这一过程。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 陈彦瑞;;国内外多模态隐喻研究新动态[J];许昌学院学报;2013年06期
2 白美娴;;人-机-人交流中符号模态选择及其意义整合——以多模态语篇博客网页分析为例[J];重庆工商大学学报(社会科学版);2009年04期
3 李毅;石磊;;教学中的多模态隐喻——应用隐喻研究的新方向[J];外语电化教学;2010年03期
4 谢竞贤;董剑桥;;论多媒体与多模态条件下的大学英语听力教学[J];外语电化教学;2010年06期
5 胡壮麟;;多模态小品的问世与发展[J];外语电化教学;2010年04期
6 丁薇;;意义的多模态构建与大学生的多元表达能力研究[J];哈尔滨职业技术学院学报;2011年01期
7 刘娟;;多模态大学英语精读教学设计与效果研究[J];海外英语;2011年04期
8 张丽;张志敏;;多模态视角下诗画语篇解读[J];延安大学学报(社会科学版);2011年03期
9 张小彩;刘陈艳;;多模态语篇分析视角下的视听说教程[J];内蒙古农业大学学报(社会科学版);2011年02期
10 曾庆敏;;大学英语教学的多模态性及其作用[J];重庆交通大学学报(社会科学版);2012年01期
11 霍颖;;语篇中多模态隐喻的认知构建——以一则保险平面广告为例[J];东北大学学报(社会科学版);2012年02期
12 罗永胜;;近十年来中国多模态话语及其应用研究述评[J];现代教育技术;2012年04期
13 蒋婷婷;;多模态隐喻建构的认知初探[J];疯狂英语(教师版);2012年02期
14 王华军;;多模态隐喻研究纵观[J];西安石油大学学报(社会科学版);2012年03期
15 阮瑾;张晓明;任再新;;多模态视角下隐喻的构建和解读[J];东华大学学报(社会科学版);2012年01期
16 荣盈盈;戴培兴;阮瑾;吴苏苏;;论视觉多模态话语的符号间性与认知功效[J];东华大学学报(社会科学版);2012年02期
17 夏艳;;多模态时代文化教学新视角:多元识读教学模式的应用[J];邢台学院学报;2012年04期
18 徐筱秋;吴慧琦;;多模态对大学生多元识读能力培养的影响研究[J];淮海工学院学报(人文社会科学版);2012年17期
19 张蕴;李郁;;多模态互动外语学习探究——教学设计个案[J];继续教育研究;2012年11期
20 李力;;幽默的多模态[J];北京科技大学学报(社会科学版);2012年04期
中国重要会议论文全文数据库 前10条
1 王爱东;谷珍;杨燕平;白鹤;;多媒体多模态教学在民办高校大学英语教学中的适用性及效果研究[A];语言与文化研究(第十四辑)[C];2014年
2 张霄军;;多模态语料库:抢救濒危语言的有效途径[A];民族语言文字信息技术研究——第十一届全国民族语言文字信息学术研讨会论文集[C];2007年
3 夏凡;王宏;;多模态情感数据标注方法与实现[A];第一届建立和谐人机环境联合学术会议(HHME2005)论文集[C];2005年
4 赵贤;;多模态基底系统性质研究[A];2010年全国应用逻辑研讨会会议论文集[C];2010年
5 张友安;胡云安;周绍磊;;Hammerstein系统的多模态模型及其两步辨识法[A];1996中国控制与决策学术年会论文集[C];1996年
6 钟若飞;郭华东;王为民;朱博勤;;SZ-4多模态传感器辐射模态数据处理与应用评价研究[A];第十四届全国遥感技术学术交流会论文摘要集[C];2003年
7 康志峰;;口译中多模态的AA研究[A];第十四届全国科技翻译研讨会论文汇编[C];2011年
8 黄俊辉;李文政;李学军;;基于多模态医学影像数据的计算机辅助医疗设计与肿瘤精确治疗[A];中国肿瘤内科进展 中国肿瘤医师教育(2014)[C];2014年
9 孟祥亮;史元春;杨欣;;基于分层原语的多模态输入统一访问接口[A];第四届和谐人机环境联合学术会议论文集[C];2008年
10 郭华东;王为民;朱博勤;;多模态传感器辐射模态数据在SZ-4飞船模拟验证研究[A];全国国土资源与环境遥感技术应用交流会论文文集[C];2004年
中国博士学位论文全文数据库 前10条
1 高静;信息物理融合系统中基于多模态数据的事件监测问题研究[D];哈尔滨工业大学;2015年
2 聂为之;多模态媒体数据分析关键技术研究[D];天津大学;2014年
3 刘鹏;慢性伤口光学仿体的多尺度多模态医学影像技术研究[D];中国科学技术大学;2016年
4 柴瑞峰;小儿神经重症患者术后多模态监测的临床研究[D];新疆医科大学;2017年
5 苗迪;基于特征层与分数层的多模态生物特征融合[D];中国科学技术大学;2017年
6 张征;英语课堂多模态读写能力实证研究[D];山东大学;2011年
7 李宝磊;多元优化过程记忆算法及动静条件下多模态寻优研究[D];云南大学;2015年
8 潘鸣威;多模态视角下的口语交际能力:重构与探究[D];上海外国语大学;2011年
9 逯波;多模态媒体信息检索技术研究[D];东北大学;2013年
10 谭帅;多模态过程统计建模及在线监测方法研究[D];东北大学;2012年
中国硕士学位论文全文数据库 前10条
1 刘洁;大学英语课堂中的多模态话语对学生多元识读能力的影响[D];西南大学;2015年
2 邵荣;牛津版高中英语教材的多模态语篇分析[D];西南大学;2015年
3 王玉竹;中美报刊政治漫画的批评性多模态话语分析[D];西南大学;2015年
4 周德英;基于多模态互动意义的公益广告研究[D];华南理工大学;2015年
5 蒋迪;计划生育宣传画的多模态语篇分析[D];天津商业大学;2015年
6 宋康利;概念整合理论视角下平面广告中的多模态隐喻研究[D];湖南工业大学;2015年
7 张君艳;中国文化网主页的多模态话语分析[D];华中师范大学;2015年
8 凌霄;基于多模态话语分析的平面商业广告英汉翻译研究[D];广东外语外贸大学;2015年
9 杨晓倩;多模态语篇分析[D];宁夏大学;2015年
10 葛欣;中职英语物流词汇多模态教学模式探究[D];闽南师范大学;2015年
中国重要报纸全文数据库 前2条
1 记者 刘垠;在分子水平上认识疾病[N];大众科技报;2009年
2 罗绵卫 王建成;中国航天科工高分专项实现零突破[N];中国航天报;2011年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978