收藏本站
《上海大学》 2014年
收藏 | 手机打开
二维码
手机客户端打开本文

基于眼动信息的人机交互关键技术研究

林敏  
【摘要】:传统的人机交互方式大多利用使用者的肢体运动来实现人机交互的功能,无法满足那些肢体残疾者、重度瘫痪者等特殊人群独立与外界交流的需求。随着各类学科技术的发展,基于视觉、听觉、触觉、嗅觉等多模态技术的新型人机交互方式层出不穷。本论文就是研究基于眼动信息的人机交互中的某些关键技术,以期能推动这种新型人机交互方式早日走出实验室,造福于社会。 简单地说,基于眼动信息的人机交互方式就是记录并识别眼球的不同运动模式作为输入命令信号,实现对一些仪器设备的控制操作。基本的眼动模式有凝视、扫视(眼睛上、下、左、右的运动)、眨眼等。眼睛的这些运动模式又称为眼姿势(eye gestures)。在理解眼睛运动模式的生理机制的基础上,本论文围绕如下几点关键技术展开研究。 一,研究与眼动信息提取与记录相关的问题。在综合比较了各种眼动信息提取方法之后,本论文选用基于影像Video-oculography(VOG)的方法记录眼动信息。即使用摄像机捕获眼睛图像,通过图像处理技术来提取眼动信息。用户是在一种完全自然的状态下被记录眼动状态,不会有任何紧张等不适感。系统组成仅仅包括一架摄像机与一台计算机,无需任何辅助光源。 为了保证用单摄像机在自然光源下采集到完整、清晰的双眼图像,论文通过建立数学模型讨论:1)摄像机的合理放置区域,包括摄像机与用户之间的距离范围、摄像机的最大侧移角度;2)单摄像机采集眼动图像时,允许用户头部转动的最大水平角度。并在Matlab平台上完成了仿真模型边界条件的计算。之后,在实验室自然光源下,以模型头为对象,使用Congex Insight1020摄像机采集图像,验证了仿真建模的正确性。结论表明:在自然光源下,使用单摄像机要采集到完整、清晰的双眼图像,摄像机的水平侧移范围为±40o;同时,允许用户头部在±60o范围内转动(±表示左右方向)。 二,研究多视角下人脸检测技术。通过改进经典的Adaboost算法,论文实现了复杂背景下100%的正面单人脸检测率。在此基础上,论文进一步扩大对不同视角方向下人脸检测的研究。在实验室自然光照条件下,从摄像机在用户正前方位置(初始0o视角)开始,以10o为步长,采集用户±60o视角范围内的头肩图像。在OpenCV平台上应用Adaboost算法对实际采集的图像进行人脸检测,实现了±30o视角范围内100%的单人脸检测率。 三,研究多视角下人眼定位技术。首先应用积分投影算法在检测到的人脸图像上粗定位眼窗口。在此基础上,论文提出基于高斯滤波的区域灰度极小值算法计算眼睛瞳孔中心位置,并采用国际通用的Hausdorff距离度量标准检验计算结果的准确率。检验结果表明,应用本文算法对±30o视角范围内的眼动图像进行瞳孔中心定位,精度为96.43%。 四,研究眼姿势识别算法。根据瞳孔中心位置变化辨识眼睛运动姿势。首先分析眼睛上下左右运动、有意眨眼动作与眼动图像中瞳孔中心变化轨迹的关系;在此基础上,讨论实现了±30o视角范围内水平眼动识别算法、垂直眼动识别算法与有意眨眼识别算法。 最后,论文将人脸检测技术、人眼定位技术、眼姿势识别技术串联起来,在实验室自然光照下分别进行了水平眼动跟踪实验、垂直眼动跟踪实验、斜向眼动跟踪实验、矩形眼动跟踪实验以及命令式眼动控制实验。并对实验结果进行计算分析,验证了本文所研究的关键技术的正确性及可行性,为实际基于眼动信息的人机交互系统的应用作了有益的探索。
【学位授予单位】:上海大学
【学位级别】:博士
【学位授予年份】:2014
【分类号】:TP391.41

手机知网App
【参考文献】
中国期刊全文数据库 前10条
1 曹林;杜康宁;;基于加权PCA的人眼定位算法[J];北京信息科技大学学报(自然科学版);2010年03期
2 于琼;樊银涛;;多角度视线上的人眼定位算法[J];电脑知识与技术;2011年04期
3 谷万章;视觉电生理(4)[J];航空航天医药;2000年03期
4 冯成志,沈模卫;视线跟踪技术及其在人机交互中的应用[J];浙江大学学报(理学版);2002年02期
5 许世峰;曾义;;基于Adaboost算法的人眼状态检测[J];计算机仿真;2007年07期
6 刘念;苏杭;郭纯宏;周静;;基于Hough变换圆检测的人眼定位方法改进[J];计算机工程与设计;2011年04期
7 王兆云;吴小培;;采集眼电图(EOG)的导联方式[J];计算机技术与发展;2009年06期
8 方志刚;人机交互中的视线跟踪技术[J];人类工效学;2000年01期
9 严云洋;郭志波;杨静宇;;基于特征空间划分的AdaBoost人脸检测算法[J];小型微型计算机系统;2007年11期
10 闫国利,田宏杰;眼动记录技术与方法综述[J];应用心理学;2004年02期
中国博士学位论文全文数据库 前2条
1 葛宏志;单目摄像机实现的注视方向估计研究[D];哈尔滨工业大学;2011年
2 刘瑞安;单摄像机视线跟踪技术研究[D];天津大学;2007年
【共引文献】
中国期刊全文数据库 前10条
1 连宝领,沈国权,顾慎为;推拿治疗颈源性眩晕作用研究(下)[J];按摩与导引;2001年02期
2 董妍;主观轮廓线中poggendorff错觉的实验研究[J];鞍山师范学院学报;2001年03期
3 韩旭,袁保宗;基于TCP/IP协议的立体视觉信息传输研究[J];北方交通大学学报;1999年06期
4 胡威捷,谢敬辉,赵业玲;随机点全息图[J];北京理工大学学报;1996年04期
5 叶浣钰;迟立忠;;信息量与反应认知方式对羽毛球运动员决策速度、准确性的影响[J];北京体育大学学报;2010年11期
6 张森;李京诚;徐守森;高晓东;江智;;眼动仪的开发现状及其在运动心理领域的应用[J];首都体育学院学报;2007年02期
7 袁朴,毛广凇;书法可持续发展的基础探讨[J];北京印刷学院学报;2004年03期
8 张杰;吴贵凉;;基于构造模式的工业产品创新设计及其优化[J];包装工程;2010年10期
9 陈慧姝;;城市环境导视中的标识系统[J];包装工程;2011年24期
10 王炜,王佩之;试论近视眼的根本原因是视环境[J];江西师范大学学报(自然科学版);2002年02期
中国重要会议论文全文数据库 前10条
1 殷子强;张广军;袁新;赵慧慧;吴林;;人机交互式机器人弧焊再制造系统设计[A];第十六次全国焊接学术会议论文摘要集[C];2011年
2 张昀;赵荣椿;赵歆波;周圆;郑江滨;;视线跟踪技术的2D和3D方法综述[A];第十三届全国信号处理学术年会(CCSP-2007)论文集[C];2007年
3 杨帆;伍世荣;;光学显微镜设计中的人机工程学[A];2004全国光学与光电子学学术研讨会、2005全国光学与光电子学学术研讨会、广西光学学会成立20周年年会论文集[C];2005年
4 金浩;王守芳;仲婷;魏鲲;潘金贵;;普适计算中的多通道定位研究[A];第一届建立和谐人机环境联合学术会议(HHME2005)论文集[C];2005年
5 陈爱军;林迅;;人机交互技术在装置艺术中的应用[A];第一届建立和谐人机环境联合学术会议(HHME2005)论文集[C];2005年
6 白文涛;刘正捷;宁涛;窦赫男;;用鼠标模拟视线跟踪技术[A];第一届建立和谐人机环境联合学术会议(HHME2005)论文集[C];2005年
7 王丹力;李洁;孙志霞;张婕;崔德华;戴国忠;;基于界面场景的儿童讲故事系统可用性评估[A];第二届和谐人机环境联合学术会议(HHME2006)——第2届中国人机交互学术会议(CHCI'06)论文集[C];2006年
8 任磊;林强;刘媛媛;杨海燕;戴国忠;;基于分布式认知的用户界面模型研究及应用[A];第二届和谐人机环境联合学术会议(HHME2006)——第2届中国人机交互学术会议(CHCI'06)论文集[C];2006年
9 罗匡;黄金涛;李起成;王衡;汪国平;;PCW:一个基于日志的流媒体同步合成系统[A];第三届和谐人机环境联合学术会议(HHME2007)论文集[C];2007年
10 黄捷;;人机交互在震动环境下的仿真模型设计与实验测试[A];第四届和谐人机环境联合学术会议论文集[C];2008年
中国博士学位论文全文数据库 前10条
1 杨喜敏;面向多视点设计的EIS访问控制技术研究[D];华中科技大学;2010年
2 车森;空间数据跨媒介可视化输出研究[D];解放军信息工程大学;2010年
3 王德鑫;四路摄像头协同多重触控技术研究与实现[D];国防科学技术大学;2010年
4 王岩;我国学校体育伤害事故致因模型及其预防[D];北京体育大学;2011年
5 徐蔚;基于瞳孔收缩的非视觉感光系统的研究[D];复旦大学;2011年
6 秦微;彭氏眼针的理论研究[D];辽宁中医药大学;2011年
7 刘运洲;重复经颅磁刺激(rTMS)的赛前心理干预机制及应用[D];上海体育学院;2011年
8 沈丽丽;立体视觉信息客观质量评价算法研究[D];天津大学;2010年
9 李诺;针刺对脑功能影响的数据采集与分析[D];天津大学;2010年
10 陈学军;无线视频眼震系统实现及分析方法研究[D];重庆大学;2011年
中国硕士学位论文全文数据库 前10条
1 郭明涛;不同水平女排运动员在预判任务中视觉搜索特征的研究[D];上海体育学院;2010年
2 姜娜;不同条件下同音词效应的眼动研究[D];辽宁师范大学;2010年
3 刘华杰;3D视频编码算法研究[D];大连理工大学;2010年
4 李宜丹;关于中职学校静物配置教学的探索[D];辽宁师范大学;2010年
5 刘兆军;基于人脸识别的考勤系统的设计与实现[D];电子科技大学;2010年
6 吴铭;基于适当设计理论的家用便器产品设计研究[D];昆明理工大学;2010年
7 解萌;基于色差公式的图像评价方法研究[D];北京印刷学院;2010年
8 王丽梅;条件推理内容效应的眼动研究[D];福建师范大学;2010年
9 张志军;图解思考在用户界面设计中的应用研究[D];湖南师范大学;2010年
10 刘涛;眼动跟踪技术的研究及优化实现[D];西安电子科技大学;2011年
【二级参考文献】
中国期刊全文数据库 前10条
1 程明,高上凯,张琳;基于脑电信号的脑—计算机接口[J];北京生物医学工程;2000年02期
2 吴小培,冯焕清,周荷琴,王涛;独立分量分析及其在脑电信号预处理中的应用[J];北京生物医学工程;2001年01期
3 黄姜江;李冶;吴岩;;在人眼识别中虹膜定位算法[J];吉林大学学报(信息科学版);2009年06期
4 于莉娜;胡正平;练秋生;;基于改进随机Hough变换的混合圆/椭圆快速检测方法[J];电子测量与仪器学报;2004年02期
5 康宗明,张利,谢攀;一种基于能量和熵的自动聚焦算法[J];电子学报;2003年04期
6 王海川,张立明;一种新的Adaboost快速训练算法[J];复旦学报(自然科学版);2004年01期
7 任四刚,李见为,谢利利;基于灰度差分法的自动调焦技术[J];光电工程;2003年02期
8 张敏;陶亮;;人脸图像中人眼的检测与定位[J];光电工程;2006年08期
9 赵辉,鲍歌堂,陶卫;图像测量中自动调焦函数的实验研究与分析[J];光学精密工程;2004年05期
10 朱铮涛,黎绍发,陈华平;基于图像熵的自动聚焦函数研究[J];光学精密工程;2004年05期
中国博士学位论文全文数据库 前1条
1 牛志恒;面部特征点定位方法研究[D];哈尔滨工业大学;2009年
【相似文献】
中国期刊全文数据库 前10条
1 王佑镁;;电子课本不同版面要素的眼动行为分析[J];编辑之友;2014年05期
2 程时伟;孙志强;;用于移动设备人机交互的眼动跟踪方法[J];计算机辅助设计与图形学学报;2014年08期
3 邓涛;罗恩晴;张艳山;颜红梅;;基于选择性注意的交通环境显著性及眼动特征研究[J];电子科技大学学报;2014年04期
4 陈俊杰;严会霞;相洁;;基于SVM的眼动轨迹解读思维状态的研究[J];计算机工程与应用;2011年11期
5 丁伍洋;陈云华;高素文;张灵;;基于眼动参数云融合模型的疲劳检测方法[J];计算机工程与设计;2013年11期
6 冯凤;何人可;谭浩;;驾驶眼动识别设计研究[J];科技信息;2014年08期
7 靳慧斌;蔡亚敏;洪远;;基于眼动数据分析的安检视觉搜索特征[J];工业工程;2014年02期
8 李姗;潘纲;李石坚;;面向残障人士的基于眼动交互的绘画系统[J];电子学报;2011年S1期
9 张力;刘坤秀;黄俊歆;戴立操;胡鸿;;数字化控制系统中目标搜索过程眼动特征研究[J];工业工程与管理;2014年03期
10 姚运萍;吴庆娟;蓝飞翔;;基于最佳线性逼近预测的实时眼动跟踪算法研究实现[J];机械与电子;2009年03期
中国重要会议论文全文数据库 前10条
1 陶云;白学军;阎国利;;小学生插图课文的眼动实验研究[A];第九届全国心理学学术会议文摘选集[C];2001年
2 周颖;刘俊升;;内隐攻击性的眼动实验[A];第十届全国心理学学术大会论文摘要集[C];2005年
3 贺荟中;方俊明;;聋生与听力正常学生在背景知识参与下建立文本整体连贯的眼动比较[A];第十届全国心理学学术大会论文摘要集[C];2005年
4 刘真;兰继军;;采用眼动方法进行的广告效果评价研究[A];第十一届全国心理学学术会议论文摘要集[C];2007年
5 沈德立;陶云;;不同文体课文阅读过程的眼动实验研究[A];第九届全国心理学学术会议文摘选集[C];2001年
6 李勇;阴国恩;;青少年类别使用的眼动发展研究[A];第十届全国心理学学术大会论文摘要集[C];2005年
7 齐玥;杜峰;李兴珊;张侃;;突现刺激对眼动的捕捉效应[A];第十五届全国心理学学术会议论文摘要集[C];2012年
8 吴晓颖;;合理遮蔽对陌生女性人脸识别绩效和眼动的影响[A];心理学与创新能力提升——第十六届全国心理学学术会议论文集[C];2013年
9 王晓曦;李红;陶云;;句子理解介导的眼动过程[A];心理学与创新能力提升——第十六届全国心理学学术会议论文集[C];2013年
10 沈德立;白学军;徐富明;;大中学生阅读元理解监控的眼动特征研究[A];第十届全国心理学学术大会论文摘要集[C];2005年
中国重要报纸全文数据库 前4条
1 张宝敏;眼动,把握阅读的规律[N];中国教育报;2001年
2 Ellen I. Carni(美)著 李巧艺 译;眼动与记忆[N];音乐周报;2003年
3 本版编辑PreTesting公司创建者和CEO Lee Weinblatt 董艳平 桔梗;眼睛不说谎[N];医药经济报;2007年
4 江南客;为邮市歇夏支3招[N];中国集邮报;2006年
中国博士学位论文全文数据库 前6条
1 陶云;不同年级学生阅读有或无配图课文的眼动实验研究[D];天津师范大学;2001年
2 隋雪;学习困难生阅读过程的眼动特征[D];辽宁师范大学;2004年
3 林敏;基于眼动信息的人机交互关键技术研究[D];上海大学;2014年
4 田静;汉语旋转文本加工:来自眼动的证据[D];天津师范大学;2012年
5 陈婷婷;视觉运动追踪中的信息整合过程[D];首都师范大学;2013年
6 张巧明;小学生阅读知觉广度与速度的发展:来自眼动的证据[D];天津师范大学;2013年
中国硕士学位论文全文数据库 前10条
1 吕惠玲;汉语句子歧义消除的眼动行为研究[D];河南大学;2009年
2 曾宪红;一般阅读者与熟练阅读者阅读文言文过程眼动特征的比较研究[D];湖南师范大学;2008年
3 叶华奇;不同表象清晰水平个体听觉诱发表象的眼动机制[D];广西师范大学;2012年
4 何立国;视觉心理表象的眼动机制[D];西北师范大学;2006年
5 李旺先;基于流畅理论的英文阅读眼动特征研究[D];辽宁师范大学;2011年
6 刘雯;阅读中因果关系的预测性效应:来自眼动的证据[D];辽宁师范大学;2013年
7 赵晓风;人像辨认类型及辨认人像五官的眼动差异研究[D];陕西师范大学;2006年
8 仲蕾蕾;转换功能影响个体的算术估计策略运用:行为与眼动证据[D];山东师范大学;2013年
9 林鉴;重复阅读是否影响读者的眼动模式?[D];福建师范大学;2012年
10 牛四芳;飞行员在飞行动作模拟练习下的眼动模式的分析[D];第四军医大学;2014年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026