收藏本站
《华南理工大学》 2017年
收藏 | 手机打开
二维码
手机客户端打开本文

虚拟装配环境中面向用户体验的自然人机交互技术研究

熊巍  
【摘要】:虚拟装配系统将人的经验和决策能力与计算机的计算能力结合起来,辅助装配设计的规划和验证,节约设计制造的成本。人机交互是虚拟装配系统各项功能的基本保障,然而目前的虚拟装配系统设计往往以功能和技术为中心,忽略了人的交互体验,未能充分发挥虚拟现实技术的交互性特点,导致虚拟装配技术未能在行业内形成广泛应用。本文对针对虚拟装配应用领域的人机交互关键理论和技术进行了深入研究,旨在以系统使用者为研究视角,从人的情境感知机制和“以人为中心”的设计原则出发,以期为虚拟装配环境建立自然、和谐的人机界面,提高虚拟装配系统智能性的同时,降低人在交互过程中的认知负荷和操作负荷,实现虚拟装配系统由面向功能到面向用户交互体验的转变。本文提出虚拟装配环境中的人机交互策略,通过双层感知机制和主动对象技术执行交互行为的推理和仿真,实现自然、和谐的虚拟装配交互式系统的人机界面。其主要原理包括:1)在虚拟装配环境中集成交互信息,使静态的虚拟场景和虚拟对象蕴含必要的交互语义信息;2)在集成交互信息基础上,使用双层感知机制,外层对应用户所处的物理世界,感知用户操作的动作信息;内层对应主动对象存在的虚拟世界,通过营造以主动对象为中心的小世界情境,感知用户的交互意图,预测对象的交互行为;3)在感知用户交互意图的基础上,执行对象的交互行为仿真,利用多通道整合将交互行为反馈给用户。论文的主要研究内容如下:(1)提出了一种虚拟装配环境中的交互信息集成策略。对虚拟装配环境中的交互对象特点进行分析,提出交互特征概念,通过交互特征描述交互活动中相互作用的交互对象之间的行为接口;将交互特征属性嵌入虚拟对象的几何模型,建立对象的几何结构与交互行为的联系关系,形成交互对象的行为映射结构模型,实现交互信息在虚拟环境中的集成;通过交互语义对虚拟装配中的交互行为信息进行形式化描述,提炼产品装配的组成要素之间的交互关系和操作形式的语义信息,形成可重用的面向交互对象的行为构件;在具体的交互活动中,通过交互对象的行为映射结构和交互语义模型可实例化对应的对象交互行为,为用户意图推理和交互行为仿真提供了基础条件。(2)提出了一种基于用户行为运动感知的交互信息识别方法。将手势识别技术引入虚拟装配的人机交互过程中,将手势作为用户交互信息输入的主要通道,并根据装配任务和交互模式的特点,建立层次化的交互手势模型;提出二级手势分类策略,首先对交互手势进行初步分类,利用情境感知技术判断手势类型;然后利用运动感知技术,进一步对手势的交互语义进行识别;对于不同类型的手势分别给出建模方法和识别算法。(3)开发了基于主动对象情境感知的对象行为推理方法。通过活动理论和人的情境感知分析,得到装配活动层次结构与情境感知过程之间的关系;根据装配活动层次结构与情境感知过程之间的关系,提出基于主动对象的情境感知机制;设计虚拟对象的交互空间感知算法,推理用户的潜在交互行为。(4)提出了集成几何约束与物理行为的对象交互行为管理方法。分析装配任务各环节的用户行为和对象行为特点,将虚拟对象的交互行为分为自由操作阶段和任务操作阶段;对不同阶段采用不同的交互技术予以支持,对自由操作阶段的对象行为管理,采用基于物理的交互技术实现,而对于任务操作阶段的交互行为采用基于约束的交互行为来支持;为了体现“以用户为中心”的设计要求,针对集成几何约束与物理行为的对象交互行为管理技术进行了可用性评估,并对评估结果进行讨论,试验表明本文提出的交互技术有助于用户更全面地感知和控制交互过程,并能够获得更好的交互体验。(5)设计和开发了基于多通道整合的全手交互人机界面及原型系统。设计并开发一款能用于全手交互的六自由度力反馈虚拟外设(6-WHFD)以支持用户输出交互手势和感受反馈力觉信息;在6-WHFD基础上开发面向自然交互的虚拟装配设计原型系统;通过实际的应用案例来对6-WHFD人机界面和原型系统的使用情况进行验证。
【学位授予单位】:华南理工大学
【学位级别】:博士
【学位授予年份】:2017
【分类号】:TG95

手机知网App
【相似文献】
中国期刊全文数据库 前10条
1 崔根群,李迅,李春书;虚拟装配仿真平台的设计与研究[J];河北工业大学学报;2004年05期
2 李建广;夏平均;;虚拟装配技术研究现状及其发展[J];航空制造技术;2010年03期
3 杨益平;程成;;面向虚拟装配环境的虚拟手感知机制研究[J];舰船电子对抗;2011年01期
4 黄娟;;虚拟装配中装配力分析系统的开发[J];考试周刊;2011年48期
5 周立波,田中旭,邸义;基于装配函数的车床虚拟装配[J];机电一体化;2004年05期
6 王子媛;;虚拟装配环境中产品精确定位技术研究[J];煤矿机械;2010年06期
7 桑小冲;周华林;左敦稳;闫静;薛善良;;面向虚拟装配的装配信息自动提取技术的研究与实现[J];中国制造业信息化;2010年19期
8 王峻峰;张青;李世其;;基于虚拟装配方法的大型科学装置建造技术框架研究[J];机械设计与制造;2012年04期
9 吴洁;李丽;孙荣权;;新型截止阀的三维建模与虚拟装配[J];煤矿机械;2007年12期
10 杨云斌;欧阳勇;孙素梅;陈刚;何良莉;;虚拟装配过程中不确定性因素分析[J];制造业自动化;2011年10期
中国重要会议论文全文数据库 前10条
1 陈建国;陈江;Stefan D.Bruda;Wai K.YEAP;;基于预序的交互行为分析[A];第四届和谐人机环境联合学术会议论文集[C];2008年
2 杨建宇;于天彪;程军;朱利达;王宛山;;基于OpenGL Performer的虚拟对象运动仿真及交互研究[A];2009中国控制与决策会议论文集(3)[C];2009年
3 姜海涛;邓友银;殷东平;;虚拟装配环境构建与应用研究[A];2006年全国电子机械和微波结构工艺学术会议论文集[C];2006年
4 王涛;闫清东;李宏才;;复杂机械产品虚拟装配模型及建模方法[A];全国第21届计算机技术与应用学术会议(CACIS·2010)暨全国第2届安全关键技术与应用学术会议论文集[C];2010年
5 程成;杨益平;陈丹捷;;虚拟装配中虚拟手构造及双手交互模式研究[A];第四届和谐人机环境联合学术会议论文集[C];2008年
6 李晓青;程成;;虚拟装配环境中虚拟手抓取的设计与实现[A];全国首届数字(虚拟)科技馆技术与应用学术研讨会论文集[C];2007年
7 崔树礼;赵瑛峰;;虚拟装配结构分析与实体重构[A];'2002系统仿真技术及其应用学术论文集(第四卷)[C];2002年
8 张林鍹;顾寄南;曾理;王会卿;肖田元;;虚拟装配支持系统的研究开发及应用[A];提高全民科学素质、建设创新型国家——2006中国科协年会论文集(下册)[C];2006年
9 张秋菊;童明;;具有视觉和力觉反馈的虚拟装配[A];面向制造业的自动化与信息化技术创新设计的基础技术——2001年中国机械工程学会年会暨第九届全国特种加工学术年会论文集[C];2001年
10 郑轶;宁汝新;刘检华;;面向虚拟装配的计算机辅助装配工艺规划系统研究与开发[A];提高全民科学素质、建设创新型国家——2006中国科协年会论文集(下册)[C];2006年
中国重要报纸全文数据库 前1条
1 Garther Group;无线互联的下一个风暴?[N];中国计算机报;2001年
中国博士学位论文全文数据库 前10条
1 熊巍;虚拟装配环境中面向用户体验的自然人机交互技术研究[D];华南理工大学;2017年
2 李旭军;基于交互行为特征的社交网络信息传播研究[D];合肥工业大学;2016年
3 彭成;网络化软件运行时交互行为过程特性分析[D];中南大学;2013年
4 原彬;基于质点弹簧模型的电缆虚拟装配仿真研究[D];大连海事大学;2015年
5 高巍;基于物理属性的虚拟装配技术研究[D];西安电子科技大学;2015年
6 王念东;集成化虚拟装配理论、方法及其在飞机总体布置中的应用[D];南京航空航天大学;2009年
7 郑太雄;虚拟装配理论与方法研究[D];重庆大学;2003年
8 韩虎;飞机虚拟装配场景工艺及关键技术研究[D];上海大学;2013年
9 杨东梅;基于智能计算的虚拟装配工艺规划及相关技术研究[D];哈尔滨工程大学;2010年
10 朱洪敏;基于语义关联模型的虚拟装配工艺规划支撑技术研究[D];上海交通大学;2012年
中国硕士学位论文全文数据库 前10条
1 吕丽敏;浓密过程虚拟对象软件的设计与开发[D];东北大学;2014年
2 刘蒙蒙;内容型虚拟社区用户交互方式对持续参与意愿的影响[D];华南理工大学;2015年
3 孙仕柏;面向足球视频的交互行为分析方法的研究[D];延边大学;2015年
4 张杰;基于时空金字塔联合特征的交互行为分析与系统设计[D];南京邮电大学;2015年
5 高翠;教育虚拟社区伦理对交互行为的影响及作用分析[D];曲阜师范大学;2016年
6 陈乔;多人交互行为的分组检测及语义特征提取[D];南京邮电大学;2016年
7 李腾飞;一种基于用户交互行为的微博社区发现方法[D];河北大学;2016年
8 王昌汇;基于图模型的双人交互行为识别与理解算法研究[D];沈阳航空航天大学;2016年
9 曹婉琼;基于RTX的UML交互行为模型仿真方法[D];南京大学;2014年
10 左鑫孟;基于视频的双人交互行为识别与理解算法研究[D];沈阳航空航天大学;2017年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026