一、桌面虚拟现实系统中数据手套的应用研究(论文文献综述)
郭斌[1](2021)在《视触觉增强现实技术在康复训练中的应用研究》文中指出增强现实技术通过将计算机生成的感知信息或虚拟对象叠加到真实世界中,以实现对真实世界的增强,提供一种与真实世界交互的体验。触觉反馈通过使用触觉设备与虚拟环境进行交互来感知触觉信息,与人类感知信息的方式相同。视触觉增强现实技术结合增强现实技术与触觉反馈,在增强现实环境下加入力触觉感知,使操作者通过触觉设备在真实场景中与虚拟对象进行触觉交互。将视触觉增强现实技术应用于手功能康复领域,让患者在视觉和触觉的双重刺激下进行康复训练,改善手部运动功能障碍。此技术的应用不仅为患者提供了丰富的交互场景,还提供了真实的反馈力,提升了患者参与训练的积极性和主动性。本文依托于国家自然科学基金项目,结合计算机视觉和力/触觉渲染算法,开发了一个基于视触觉的增强现实手功能康复训练系统,并设计了不同反馈力的康复训练项目。本文的主要研究内容包括以下几个方面:首先,对视触觉增强现实技术的研究现状进行了分析和总结。本文提出了一种改进的ORB(Oriented Fast and Rotated BRIEF)和KLT(Kanade Lucas Tomasi)增强现实跟踪注册算法并基于此搭建增强现实环境。与目前基于自然特征的方法进行对比分析,结果表明本文的算法提高了系统的实时性。然后将触觉设备集成到增强现实环境中,提出对视触觉工作空间进行三维配准,基于视触觉空间的刚性转换对触觉设备触控笔的位置进行校准,将虚拟交互工具叠加到真实触控笔上;同时对触控笔的方向进行校准,融入触控笔的运动姿态,实现真实触控笔与虚拟交互工具的协同运动。触觉设备在场景中的出现占据了一定的位置,造成了视觉障碍,给进行触觉交互的操作者带来干扰。为实现更具真实感与沉浸感的增强现实环境,本文结合抠图算法和图像修复算法对触觉设备进行了移除和隐藏。其次,本文对所用3D Systems Touch触觉设备进行了运动学建模,建立了正逆运动学方程,对反馈力的计算方法提出改进,同时对触觉交互点与虚拟对象间产生的碰撞问题提出了解决方法。最后,本文将视触觉增强现实技术应用到康复领域中,基于所用触觉设备,结合增强现实技术设计了基于力反馈的手功能康复训练系统。该系统结合了基于反馈力的触觉渲染算法,设计了两个不同类型的康复训练项目:颠球训练和写字训练。颠球训练项目主要为了改善患者手部及腕关节的自由活动能力以及对手部力量的训练,写字训练主要锻炼患者手指的抓握能力以及力触觉感知能力。最后通过实验验证系统的可行性和实用性。
于霄洋[2](2021)在《基于深度信息的手指交互技术研究》文中指出随着计算机技术的进步,人机交互技术也在快速的发展,部分人机交互逐渐由真实的键盘操控转变为虚拟按键触控,虚拟键盘的出现正是虚拟按键触控最好的应用案例。目前虚拟键盘多采用彩色摄像头配合激光器的硬件方案,但这种方案存在着触控方式受限、指尖检测率低、交互方式单一等问题。而深度信息能够解决背景干扰的问题,深度学习在图像检测方面的能力也十分的出众,能满足系统的需求。本文将深度信息和深度学习相结合,创新并实现了一种设备简单、抗干扰能力强、触控操作丰富的虚拟按键指尖交互技术解决方案。本文主要工作内容如下:(1)针对外部环境对虚拟键盘有较大影响的问题,本文利用深度相机搭建了虚拟键盘触控系统,该系统对比于传统的虚拟键盘方案减少了设备的复杂度。针对计算机视觉受光照影响导致指尖位置提取不精确的问题,本文在虚拟按键指尖触控中加入了深度信息,利用飞行时间法(Time Of Flight,TOF)得到指尖和桌面背景的距离,使用计算后得出的深度差值,最终提出了新的虚拟键盘触控方案,解决了传统判定方法所具有的局限性。本文在创新的触控方案中加入了隔空的无实物键盘输入,它简化了可视化键盘的复杂度,对可视化键盘的稳定性有一定的提升。(2)针对传统方式手势不易检测的问题,本文在虚拟键盘领域中利用YOLO v3(You Only Look Once v3)深度学习网络来对指尖的位置进行检测和跟踪。创建了基于本系统实验环境的手部图像数据集,并在送入网络前对数据集进行了数据增强。在网络结构上也进行了多尺度改变,增强了小物体的检测能力,使得检测小目标的能力有了一定的提升,在本文的数据集上进行测试,综合检测率提升了2.94%。在指尖检测的同时,本文同时对虚拟按键进行识别、跟踪。当虚拟键盘发生移动的情况下,可以及时的识别挪动后键盘的位置。(3)针对键盘操控的局限性,本文在系统中还融入了隔空手势控制的操作方式,隔空手势设置了四个基本功能,可以利用手势进行撤销、删除、清空、关闭摄像头的操作。该方法简化了操作方式同时也简化了键盘按键的数量,可以通过隔空的手势进行人机交互。相对于传统固定按键位置的方法,本文的系统更加的灵活。最终对虚拟键盘进行了按键点击触控实验和连续点击触控实验,识别正确率分别为97.13%和93.33%。对无实物隔空键盘进行了同样的测试,识别正确率分别为99.00%和96.25%。本文系统平均的每秒传输帧数(Frames Per Second,FPS)到了33,满足了使用的流畅性。最后对目前已有的方法进行了比较,并在不同的环境下进行了操作实验,验证了本文系统的有效性。
张莹[3](2021)在《交互式肢体训练系统的研究与实现》文中认为近年来,康复训练机器人已逐步取代传统的康复训练方法,可帮助患者进行精确化、自动化、智能化的康复训练,已经成为一个安全、有效的康复手段。本文针对一种应用在移动式康复训练机器人和操作桌面的人机交互软件进行需求分析,开展的主要研究工作如下:(1)交互式肢体训练系统的方案研究。基于交互式肢体训练系统的需求分析,对软件系统的总体方案、系统内主要的功能模块以及模块间的交互关系进行设计。对软件系统的数据库进行概念设计和数据表设计,实现对患者的个人信息和康复信息进行有效的管理。(2)交互式肢体训练系统的设计。对系统主要的功能模块的内容和交互界面进行设计。在下肢机械训练的交互模块内创建移动式康复训练机器人的虚拟互动模型,通过数据通信模块完成虚拟互动模型与康复训练机器人之间的信息传递,实现了将真实的运动状态进行可视化显示。(3)下肢虚拟交互训练模块的设计。根据移动式康复训练机器人的功能特点和训练需求,在虚拟场景中布置不同的场景节点并进行相应的交互任务的设计,引导患者完成多种姿态的下肢训练,增加患者康复训练的趣味性。(4)基于单目视觉的手部抓握交互训练模块的设计。在单目相机下,通过对手部在平放、竖放和倾斜的姿态下进行抓握时的特征分析,定义了手部轮廓面积、“长度虚特征参数”和“面积虚特征参数”评估手部的抓握状态,并以特征参数变化为基础实现了手部在抓握过程中与虚拟模型的实时交互。同时提出了一种识别手部的掌指关节弯曲角度的方法,实现了关节弯曲过程中手部与虚拟模型的实时交互。
王灿[4](2020)在《自动铺布裁剪单元虚拟仿真的设计与实践》文中指出自动铺布裁剪单元作为一种新型的服装自动化生产设备,在提高服装生产效率等方面具有重要作用。但它在为企业创造巨大利润的同时也会给企业带来许多困扰。对于从未使用过该设备的人来说,如何正确使用它们一直是一个难题;在学习设备的过程中一定程度上会造成原材料的浪费;有些设备在不熟练掌握的情况下使用容易发生安全隐患;对于学生来说,大多数学校的工艺实验室缺少这样的大型设备,很难有直接操作的机会。本文运用虚拟仿真技术,开发了一套自动铺布裁剪单元虚拟仿真软件,来解决自动铺布裁剪单元在学生学习、工厂培训时所出现的不便问题,并通过前期调研和深入研究得出自动铺布裁剪单元虚拟仿真的设计与实践具有丰富虚拟仿真技术多领域的应用模块、有效促进使用者学习积极性、增加学习资源多样性、降低学习设备的培训成本等研究价值。做出适用于服装生产设备培训方面的自动铺布裁剪单元虚拟仿真软件,并总结出一整套虚拟仿真软件的开发设计流程。
王民江[5](2020)在《虚拟控制机械手的关键技术研究》文中研究指明基于虚拟现实的控制技术具有广泛的工业应用前景,美国特斯拉公司领导人马斯克已经给人们展示了生物机器人的智能应用领域和对人们生活和工作的影响。随着通信技术不断发展,5G技术已经产生,毫秒级别通信速度可使虚拟远程控制技术更上一个台阶。未来对于控制的要求会越来越高,作业环境也会更恶劣,利用虚拟现实技术加上超远距离控制可以使工作人员摆脱工作环境的束缚。本文将整个系统划分为操作端、服务器和执行端三个部分。在操作端对虚拟现实技术的应用进行了研究和设计,主要包括数据手套研制和3D虚拟控制软件设计;在执行端对机械臂运动学以及机械臂的控制系统进行了研究和设计,主要包括机械臂Linux控制设备的研制和嵌入式控制软件的设计;在服务器端研究了SSH在超远距里数据传输中的应用。在数据手套的设计中主要对MPU6050惯性传感器的数据采集和数据处理进行了研究和设计,利用MATLAB仿真和实验找到了一种对MPU6050数据处理的综合滤波器,得到了可使用的控制数据,实现了惯性导航和动作捕捉,并对其硬件电路进行了设计。将无线网络通信技术与数据手套相结合,定义了数据传输格式,实现了数据的无线网络传输。利用Pro/E、3ds MAX对机械臂分别进行了建模与渲染,和Unity对机械臂进行了三维建模,并在VS中对三维模型和机械臂视频信号进行了整合,设计了3D虚拟控制软件。Linux设备是机械臂端的控制设备,对Linux设备硬件电路进行了设计,并使用QT4对其控制软件进行了设计。对六自由度机械臂进行了运动学研究,通过对其逆运动学求解方法的研究,决定采用牛顿迭代法进行迭代求解。通过对整个平台的调试,实现了基本的控制功能。在本文将虚拟现实技术与互联网通信技术相结合,实现了通过数据手套对超远距离机械臂的初步控制。对于在复杂和危险环境中的工作提供了一种解决方案,为虚拟远程控制工业机械臂的发展提供借鉴。
许明西[6](2020)在《虚拟实验温度触觉再现系统的设计与实现》文中研究表明随着虚拟现实技术的发展,虚拟实验教学正逐渐进入各个学科的教育体系中,虚拟实验能够改善或解决传统实验中存在的设备成本高、原材料不足和危险性高等问题。虚拟实验的真实感由视听触嗅等多个通道决定,触觉作为人体皮肤感知的主要通道,能够提高虚拟实验沉浸感和促进虚拟实验教学。中学基础实验中产生的触觉主要为温度触觉,呈现的方式多种多样,但目前市场上缺乏在虚拟实验中能提供多种温度触觉再现方式的设备,温度变化在虚拟仿真领域也主要通过视觉补偿来解决。针对上述情况,设计并实现了一个温度触觉再现系统,该系统由桌面式温感装置和温感触觉手套两个装置组成,可对虚拟实验的不同场景,提供局部或全局、接触或非接触的温度触觉再现。本文的主要研究内容如下:(1)设计并实现了一种基于PTC发热片可提供热触觉再现的桌面式温感装置。该装置具有四个自由度的热源定位,使实验中产生热感知位置更加准确。使用PID控制算法对PTC发热片产生的热风温度进行闭环控温,提高了温度再现的精度,并对装置出风口的温度进行数据采集和分析,得到对应的关系模型为装置控温提供理论依据,还对人与装置的交互控制方法进行了设计与分析,为使用装置提供了参考。(2)设计并实现了一种基于半导体制冷片和碳纤维发热片可提供冷热触觉再现的温感触觉手套。该手套可对手的12个部位产生冷热感知,制冷和制热分开控制,可适用于多种温度再现场景。通过电压-温度等级关系,实现了手部皮肤温度等级开环控制的方法,并对人与手套的交互控制也进行了设计与分析。(3)设计并实现了采用Mesh蓝牙组网的无线通信协议。该Mesh网络将PC端、桌面式温感装置和温感触觉手套联成一个整体,两个装置可不经过PC端互相通信,单独设计的通信协议包含编码和解码过程,使数据的传输和控制更加方便。(4)设计了两个温度判别实验和两个虚拟实验案例。判别实验检验人体对温度的感知特性,虚拟实验案例分别用于检验系统两个装置的热触觉反馈和冷触觉反馈,实验结果表明了该系统产生温度触觉再现的有效性,能够提升虚拟实验的沉浸感。
周自朋[7](2020)在《连铸三维仿真系统的人机交互设计与实现》文中指出钢铁冶金是我国的支柱产业之一,改革开放以来我国经济快速发展离不开钢铁产量与质量的提升。为了培养优秀的连铸工程师,对连铸工艺的培训与仿真也提出了更高的要求。随着计算机性能的不断提升和三维仿真技术的发展,虚拟现实技术有了飞跃进步。在连铸仿真系统背景下研究了虚拟现实中手势交互方法,主要完成工作及成果有:首先,制作了数据手套。数据手套选用STM32单片机对MPU6050传感器采集手部运动姿态数据,通过无线蓝牙模块将数据传入到Unity3D引擎中。实验表明数据手套可以稳定地为系统提供数据、系统无卡顿现象。其次,提出了基于HMM的动态手势识别方法。对隐马尔可夫模型进行了深入研究,通过对数据手套生成的数据进行增加噪声、归一化等处理,建立手势交互识别模型。所提算法对定义的8种手势识别正确率均在90%以上。最后实现了连铸三维仿真培训虚拟现实系统,具体包括硬件手势输入设备和三维仿真软件。硬件设备采用模块化设计思想,集成度高,通用性强。软件采用Unity3D游戏开发引擎开发,三维立体性强,手势交互稳定性和鲁棒性能满足实际使用需求。图36幅;表3个;参57篇。
武玲玲[8](2019)在《基于VR技术的工程制图三维沉浸式学习系统的研究与实现》文中进行了进一步梳理随着计算机技术和多媒体技术的高速发展,虚拟现实(Virtual Reality,简称VR)技术逐渐发展起来并应用于各行各业。基于VR技术可以构建高度仿真的虚拟环境,用户能够以第一人称视角与虚拟空间中的三维模型进行交互,提供给用户一种身临其境的沉浸感体验。工程制图是一门以图形为研究对象,用图形来表达设计思维的学科,其教学大纲明确指出要培养学生的空间逻辑思维能力和三维造型设计能力,三维工程制图能力的培养已经成为一种必然,也是未来设计、制造行业的重要发展趋势,营造三维学习环境势在必行。但当前三维形体的模型学习资源主要以传统木模和机械模型等实物模型为主,受到时间、场地、模型种类和数量的限制,能展示的形式有限,已经不能很好地满足学生的学习需求。而VR技术本身具有的多感知性、交互性、沉浸性、构想性和可扩展性等优点,可以很好地弥补当前在三维形体学习中存在的不足。本课题首先介绍了VR技术在国内外教育领域的应用现状和当前工程制图学习平台的研究现状,阐述了将VR技术应用于工程制图学习系统中的优势,并以建构主义理论、沉浸理论和游戏化学习理论为指导,结合学生和教师的用户群需求分析,提出学习情境的构建、信息交互的及时反馈、层层递进的知识结构和游戏化的互动学习这四项系统设计要求。然后,以虚拟现实技术和手势识别技术为技术支撑,以三维沉浸式互动学习体验为研究目的,选取工程制图教学中的基础教学内容为知识框架的设计参考,借助Unity3D开发平台进行沉浸式虚拟环境的搭建和交互信息反馈设计,完成三维沉浸式学习系统的开发与实现。系统知识结构设计了层层递进的四大学习模块,分别是点线面及投影、基本立体和组合体、装配体学习和拓展学习模块,每个模块的设计都遵循系统设计要求展开,并通过Leap Motion设备实现对三维立体模型的选取、移动、拆装等操作,使用自然的手势交互方式来增虚拟学习系统的沉浸感。最后,文章的实验实践部分设计一组对比实验来评估该学习系统的可用性,分别在实物模型环境和VR虚拟环境下进行模型拆装学习。实验数据证明该三维沉浸式虚拟学习系统可以提升学生的参与度和学习兴趣,具有良好的学习效果,且比实物模型拆装实践具有显着的趣味性强、信息反馈更为丰富等优势,可以有效帮助用户提高对装配体模型结构的认知。此外,基于VR技术的虚拟学习平台可以实现资源的无限扩充,能为其他的课程知识提供一种新颖的学习模式和参考范本。
张凤军,戴国忠,彭晓兰[9](2016)在《虚拟现实的人机交互综述》文中指出人机交互是虚拟现实的核心技术之一,对推进虚拟现实广泛应用和提高用户的体验具有重要意义.由于传感器和其他硬件技术的发展,目前虚拟现实人机交互有了长足的进步.本文着重回顾与分析了虚拟现实的人机交互范式;三维交互、手势交互、手持交互、语音交互、触觉交互和多通道交互等虚拟现实与增强现实交互技术的主要研究成果和发展趋势;最后给出需要进一步致力研究解决的若干问题.
张浩[10](2014)在《基于数据手套的虚拟拆装培训的研究与应用》文中研究表明随着科学技术的发展,虚拟现实技术已在不知不觉中融入人们的日常生活。虚拟拆装培训是其中一个重要的技术分支,它能够在虚拟环境中借助人机交互工具模拟产品的拆装过程,从而达到对产品的拆卸与装载操作进行教与学的目的,将其应用于教育培训领域是虚拟现实技术能够推广的重要途径之一。传统的教育培训大多以教师面授为主,结合书本、教学课件或视频加以辅助说明。由于受到场地、设备或资源等限制,培训过程中的自主实践、教学互动和可重复性操作均不够理想。将虚拟现实技术引入教育培训领域,学生在虚拟现实系统中可主动选择需培训的知识点,多角度全方位观看教学视频,并通过数据手套、位置跟踪器等硬件设备与虚拟环境进行实时交互,对虚拟教学辅助模型进行反复实践,达到模拟对真实设备操作的目的。本文以虚拟现实技术在教育培训领域的应用为背景,分析了传统教育培训形式的发展障碍与难点,阐明将虚拟现实技术应用到教育培训领域的必要性。在对虚拟现实、虚拟培训、虚拟拆装培训概念进行了理论学习的基础上,着重研究了基于数据手套的虚拟拆装培训技术的理论知识及实践方法,并结合高校组成原理课程中计算机主机拆装实验,设计并实现了虚拟计算机主机拆装培训系统。最后,在理论知识与实际经验的基础上,尝试总结出虚拟拆装培训系统设计的七项原则。
二、桌面虚拟现实系统中数据手套的应用研究(论文开题报告)
(1)论文研究背景及目的
此处内容要求:
首先简单简介论文所研究问题的基本概念和背景,再而简单明了地指出论文所要研究解决的具体问题,并提出你的论文准备的观点或解决方法。
写法范例:
本文主要提出一款精简64位RISC处理器存储管理单元结构并详细分析其设计过程。在该MMU结构中,TLB采用叁个分离的TLB,TLB采用基于内容查找的相联存储器并行查找,支持粗粒度为64KB和细粒度为4KB两种页面大小,采用多级分层页表结构映射地址空间,并详细论述了四级页表转换过程,TLB结构组织等。该MMU结构将作为该处理器存储系统实现的一个重要组成部分。
(2)本文研究方法
调查法:该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法:用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法:通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法:通过调查文献来获得资料,从而全面的、正确的了解掌握研究方法。
实证研究法:依据现有的科学理论和实践的需要提出设计。
定性分析法:对研究对象进行“质”的方面的研究,这个方法需要计算的数据较少。
定量分析法:通过具体的数字,使人们对研究对象的认识进一步精确化。
跨学科研究法:运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法:这是社会科学用来分析社会现象的一种方法,从某一功能出发研究多个方面的影响。
模拟法:通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
三、桌面虚拟现实系统中数据手套的应用研究(论文提纲范文)
(1)视触觉增强现实技术在康复训练中的应用研究(论文提纲范文)
摘要 |
Abstract |
第一章 绪论 |
1.1 研究背景与意义 |
1.2 国内外研究动态 |
1.3 本文研究内容 |
第二章 视触觉增强现实中的关键技术 |
2.1 视触觉增强现实中的关键技术 |
2.1.1 跟踪注册 |
2.1.2 交互技术 |
2.1.3 触觉渲染 |
2.2 图像修复方法 |
2.2.1 视频图像修复研究现状 |
2.2.2 图像抠图 |
2.2.3 Criminisi算法 |
2.3 视触觉增强现实系统的主要开发工具 |
2.3.1 3D Systems Touch触觉设备 |
2.3.2 OpenCV |
2.3.3 OpenGL |
2.3.4 Open Haptic |
2.4 本章小结 |
第三章 增强现实中视触觉三维配准算法的研究 |
3.1 基于自然特征的视触觉增强现实 |
3.1.1 基于自然特征的增强现实环境 |
3.1.2 实验结果与分析 |
3.2 视触觉工作空间三维配准 |
3.2.1 位置校准 |
3.2.2 方向校准 |
3.2.3 实验结果 |
3.3 触觉设备的移除与隐藏 |
3.3.1 触觉设备的移除 |
3.3.2 对触觉设备区域的图像修复 |
3.3.3 实验分析及讨论 |
3.4 本章小结 |
第四章 基于力反馈的触觉渲染算法 |
4.1 基于力反馈的触觉渲染 |
4.1.1 3D Systems Touch触觉设备运动学模型 |
4.1.2 动力学反馈力的计算 |
4.1.3 实验与分析 |
4.2 碰撞检测 |
4.2.1 HIP包围盒动态构造 |
4.2.2 实验分析 |
4.3 本章小结 |
第五章 用于手部康复训练的视触觉增强现实系统 |
5.1 康复训练项目的设计依据 |
5.1.1 手功能康复 |
5.1.2 基于视触觉增强现实的康复训练意义 |
5.2 系统开发运行环境 |
5.3 系统功能设计及开发 |
5.3.1 系统功能模块 |
5.3.2 系统功能设计 |
5.3.3 系统总体结构与功能开发 |
5.3.4 系统交互界面设计 |
5.4 颠球训练 |
5.4.1 移除自然特征模板 |
5.4.2 测试模式 |
5.5 写字训练 |
5.5.1 测试模式 |
5.6 系统可行性分析 |
5.7 本章小结 |
第六章 总结与展望 |
6.1 论文工作总结 |
6.2 主要创新点 |
6.3 未来展望 |
致谢 |
参考文献 |
作者简介 |
(2)基于深度信息的手指交互技术研究(论文提纲范文)
摘要 |
ABSTRACT |
第一章 绪论 |
1.1 研究背景及意义 |
1.2 国内外研究现状 |
1.2.1 手势识别研究现状 |
1.2.2 键盘操作研究现状 |
1.3 研究内容 |
1.4 论文主要工作内容 |
第二章 虚拟键盘触控系统的软硬件搭建 |
2.1 虚拟键盘触控系统框架 |
2.2 虚拟键盘触控系统硬件选择 |
2.2.1 MEMS激光投影仪 |
2.2.2 深度摄像机 |
2.3 虚拟键盘触控系统软件框架 |
2.3.1 软件开发条件 |
2.3.2 系统流程介绍 |
2.4 本章小结 |
第三章 虚拟键盘触控系统图像数据集的创建和处理 |
3.1 虚拟键盘触控系统深度图像的获取 |
3.1.1 深度设备的调用 |
3.1.2 深度信息的获取和转换 |
3.1.3 深度信息的图像转化 |
3.2 虚拟键盘触控系统数据集的创建 |
3.2.1 手势数据集的特点 |
3.2.2 手势数据集的格式 |
3.3 虚拟键盘触控系统数据预处理 |
3.3.1 图像的遮挡、剪裁 |
3.3.2 图像的旋转 |
3.3.3 图像的亮度调节 |
3.4 图像的标签设置 |
3.5 本章小结 |
第四章 基于深度视觉的键盘手势识别 |
4.1 基于视觉的手部分割技术 |
4.1.1 基于肤色检测的手部分割 |
4.1.2 基于深度阈值的手部分割 |
4.2 基于图形分析法的指尖识别 |
4.2.1 手指数量的检测 |
4.2.2 指尖坐标计算 |
4.3 基于YOLO v3的手部检测算法研究 |
4.3.1 YOLO v3算法原理 |
4.3.2 YOLO v3的网络结构 |
4.3.3 模型的准确率计算 |
4.4 YOLO v3多尺度改进及实验结果分析 |
4.4.1 数据增强实验对比 |
4.4.2 多尺度改进实验对比 |
4.4.3 系统实验结果及分析 |
4.5 本章小结 |
第五章 基于深度视觉的虚拟键盘指尖触控系统 |
5.1 摄像头的设定 |
5.2 无实物键盘隔空触控操作 |
5.2.1 键盘和手指的坐标系统 |
5.2.2 手势点击的判断 |
5.3 虚拟键盘逻辑判定的改进 |
5.3.1 敲击位置判定 |
5.3.2 深度检测模块 |
5.3.3 手势操作判定 |
5.3.4 键盘反馈模块 |
5.4 虚拟键盘性能测试 |
5.4.1 键盘灵活性测试 |
5.4.2 键盘运行流畅度检测 |
5.4.3 键盘输入反馈检测 |
5.4.4 键盘准确性检测 |
5.5 无实物键盘性能测试 |
5.6 本章小结 |
第六章 结论与展望 |
6.1 主要结论 |
6.2 研究展望 |
参考文献 |
在学期间的研究成果 |
致谢 |
(3)交互式肢体训练系统的研究与实现(论文提纲范文)
摘要 |
ABSTRACT |
第一章 绪论 |
1.1 研究的背景和意义 |
1.2 研究现状 |
1.2.1 国外研究现状 |
1.2.2 国内研究现状 |
1.3 本文的主要研究内容 |
1.4 本文的结构安排 |
第二章 交互式肢体训练系统方案研究 |
2.1 引言 |
2.2 系统需求分析 |
2.3 系统功能设计 |
2.4 系统数据库方案设计 |
2.5 本章小结 |
第三章 交互式肢体训练系统设计 |
3.1 引言 |
3.2 注册登录和主界面的设计与实现 |
3.3 个人信息模块的设计与实现 |
3.4 康复评定模块的设计与实现 |
3.4.1 康复评定模块方案设计 |
3.4.2 康复评定模块的实现 |
3.5 康复训练模块的实现 |
3.5.1 康复训练模块方案设计 |
3.5.2 交互模型设计 |
3.5.3 数据交互通信设计 |
3.6 康复档案模块的实现 |
3.7 本章小结 |
第四章 下肢虚拟交互训练模块的设计 |
4.1 引言 |
4.2 交互训练模块的框架设计 |
4.3 虚拟场景的交互设计 |
4.3.1 虚拟场景设计原则 |
4.3.2 虚拟场景的规划 |
4.4 虚拟训练游戏的实现 |
4.4.1 虚拟场景的搭建 |
4.4.2 虚拟场景的实现 |
4.5 本章小结 |
第五章 手部抓握交互训练模块的设计 |
5.1 引言 |
5.2 手部抓握交互训练方案设计 |
5.3 识别手部抓握状态方法的研究 |
5.3.1 手部抓握过程特征分析 |
5.3.2 手部状态切换阈值分析 |
5.3.3 手部有效轮廓面积提取算法 |
5.4 掌指关节弯曲角度识别方法的研究 |
5.5 基于标记的增强现实 |
5.6 交互实验 |
5.7 本章小结 |
第六章 总结与展望 |
6.1 总结 |
6.2 展望 |
参考文献 |
致谢 |
(4)自动铺布裁剪单元虚拟仿真的设计与实践(论文提纲范文)
摘要 |
ABSTRACT |
第1章 绪论 |
1.1 研究背景 |
1.1.1 服装企业自动化转型升级 |
1.1.2 虚拟仿真技术的迅猛发展 |
1.2 研究意义及价值 |
1.3 虚拟仿真技术的发展 |
1.4 国内外研究情况 |
第2章 自动铺布裁剪单元与虚拟仿真技术 |
2.1 自动铺布裁剪单元概述 |
2.1.1 自动铺布机 |
2.1.2 自动裁剪机 |
2.1.3 自动铺布裁剪单元的作用与应用意义 |
2.2 虚拟仿真技术概述 |
2.2.1 虚拟仿真技术的定义与组成 |
2.2.2 虚拟仿真系统的分类 |
2.2.3 虚拟仿真系统的开发工具 |
2.3 虚拟仿真技术与其他相关技术的关系 |
2.4 本章小结 |
第3章 自动铺布裁剪单元虚拟仿真设计分析 |
3.1 使用人群分析 |
3.1.1 学生 |
3.1.2 新入职工人 |
3.2 虚拟仿真选择分析 |
3.2.1 仿真设备选择分析 |
3.2.2 仿真软件选择分析 |
3.3 三维模型优化技术及模型烘培 |
3.4 可行性分析 |
3.4.1 经济可行性分析 |
3.4.2 技术可行性分析 |
3.5 设计流程分析 |
3.6 设计原则分析 |
3.6.1 可靠性原则 |
3.6.2 易用性原则 |
3.6.3 交互性原则 |
3.7 本章小结 |
第4章 自动铺布裁剪单元三维建模 |
4.1 自动铺布机三维建模 |
4.1.1 自动铺布机整体结构分析 |
4.1.2 自动铺布机操作流程分析及思路整理 |
4.1.3 绘制手绘效果图 |
4.1.4 模型建立效果展示 |
4.2 自动裁剪机三维建模 |
4.2.1 自动裁剪机整体结构分析 |
4.2.2 自动裁剪机操作流程分析及思路整理 |
4.2.3 绘制手绘效果图 |
4.2.4 模型建立效果展示 |
4.2.5 厂房模型建立 |
4.3 本章小结 |
第5章 自动铺布裁剪单元动画制作 |
5.1 3dsMAX模型动画制作方法 |
5.1.1 动画播放界面 |
5.1.2 简单动画设置方式 |
5.1.3 轨迹编辑与轨迹控制器 |
5.2 自动铺布机运行动画制作 |
5.2.1 自动铺布机运行流程分析 |
5.2.2 自动铺布机上布动画制作 |
5.2.3 自动铺布机其他动画制作 |
5.3 自动裁剪机运行动画制作 |
5.3.1 自动裁剪机运行流程分析 |
5.3.2 自动裁剪机覆膜动画制作 |
5.3.3 自动裁剪机裁剪动画制作 |
5.4 本章小结 |
第6章 自动铺布裁剪单元虚拟仿真设计综合实践 |
6.1 系统架构设计 |
6.1.1 整体架构设计 |
6.1.2 自动铺布机仿真运行架构设计 |
6.1.3 自动裁剪机仿真运行架构设计 |
6.2 模型、动画导入及处理 |
6.3 虚拟仿真界面及二维控制组件 |
6.3.1 交互界面、窗口设计 |
6.3.2 二维控制组件设计 |
6.4 交互制作及效果预览 |
6.4.1 交互制作 |
6.4.2 效果预览 |
6.5 本章小结 |
第7章 总结与展望 |
7.1 研究工作总结 |
7.2 结论与不足 |
7.3 发展展望 |
参考文献 |
附录A 调查问卷 |
附录B 交互程序编写 |
插图注释 |
致谢 |
在学期间主要科研成果 |
一、发表学术论文 |
二、其它科研成果 |
(5)虚拟控制机械手的关键技术研究(论文提纲范文)
摘要 |
abstract |
绪论 |
1.1 课题的背景 |
1.2 课题研究的目的与意义 |
1.3 机械手及相关技术发展概述 |
1.3.1 机械手发展概述 |
1.3.2 远程控制技术发展概述 |
1.3.3 虚拟现实技术发展概述 |
1.4 国内外最新研究进展 |
1.5 本课题主要内容和关键技术难点 |
2 虚拟控制机械手系统的整体规划设计 |
2.1 虚拟控制机械手系统的总体划分 |
2.2 开发3D数字远程虚拟控制模拟软件 |
2.3 控制器软硬件的开发研制 |
2.4 整合调试 |
3 机械臂控制系统的研究与实现 |
3.1 机械臂构造 |
3.1.1 机械臂整体结构 |
3.1.2 驱动装置选择 |
3.2 机械臂运动学分析 |
3.2.1 空间描述与变换理论 |
3.2.2 坐标系建立 |
3.2.3 正向运动学分析 |
3.2.4 逆向运动学分析 |
3.2.5 逆运动学求解 |
3.3 机械臂控制器硬件电路设计 |
3.3.1 控制系统整体结构 |
3.3.2 Linux设备原理图设计 |
3.3.3 Linux设备版图设计 |
3.3.4 舵机驱动板 |
3.3.5 整体组装 |
3.4 Linux操作系统和相关库 |
3.5 执行端Linux软件设计 |
3.5.1 软件功能分析 |
3.5.2 UI控制软件界面设计 |
3.5.3 互联网络接入 |
3.5.4 Linux通信方式 |
3.6 本章小结 |
4 基于MPU6050数据手套研究与实现 |
4.1 数据手套整体架构分析与设计 |
4.2 数据手套硬件电路分析与设计 |
4.2.1 基于stm32f103的最小系统原理图设计 |
4.2.2 基于stm32f103的最小系统硬件电路设计 |
4.3 MPU6050六轴传感器的数据处理和分析 |
4.3.1 传感器简介与应用分析 |
4.3.2 传感器数据处理 |
4.4 MPU6050数据误差分析与滤波 |
4.4.1 MPU6050误差分析 |
4.4.2 数字滤波器算法策略 |
4.5 数据通信 |
4.5.1 ESP8266配置 |
4.5.2 数据格式 |
4.6 本章小结 |
5 3D数字远程虚拟控制模拟软件系统的研究与实现 |
5.1 整体设计 |
5.2 IDE软件选择 |
5.3 服务器选择与配置 |
5.3.1 服务器选择 |
5.3.2 服务器SSH服务配置 |
5.4 3D虚拟控制软件设计 |
5.4.1 建模软件选择 |
5.4.2 利用Pro/E建模 |
5.4.3 利用3DsMax进行渲染 |
5.4.4 利用Unity3D建立虚拟控制场景 |
5.4.5 设计Unity3D虚拟机械手控制程序 |
5.4.6 3D虚拟控制软件UI设计 |
5.4.7 通信方式 |
5.5 平台整体调试 |
5.5.1 SSH配置 |
5.5.2 软件调试 |
5.6 本章小结 |
总结与展望 |
参考文献 |
致谢 |
攻读学位期间发表的学术论文目录 |
(6)虚拟实验温度触觉再现系统的设计与实现(论文提纲范文)
摘要 |
ABSTRACT |
第一章 绪论 |
1.1 课题研究背景和来源 |
1.1.1 研究背景 |
1.1.2 课题来源 |
1.2 研究目的和意义 |
1.3 研究现状 |
1.3.1 温度触觉再现的研究现状 |
1.3.2 温度触觉呈现设备的应用现状 |
1.3.3 温度控制方法的研究现状 |
1.4 本文的工作与章节安排 |
第二章 温度触觉再现系统的整体设计方案及原理 |
2.1 虚拟实验中的温度触觉再现需求分析 |
2.1.1 温度触觉再现的形式 |
2.1.2 温度触觉再现技术的需求分析 |
2.2 系统方案和制冷制热元器件型号的确定 |
2.2.1 温度触觉再现方案 |
2.2.2 半导体制冷片 |
2.2.3 PTC发热片 |
2.2.4 碳纤维发热片 |
2.3 系统的整体结构和各模块的组成 |
2.3.1 系统的整体结构和应用场景 |
2.3.2 桌面式温感装置的设计 |
2.3.3 温感触觉手套的设计 |
2.3.4 系统的数据通讯方式 |
2.4 本章小结 |
第三章 桌面式温感装置的实现 |
3.1 外形初步方案的设计 |
3.2 温感装置的硬件设计 |
3.2.1 各组件型号的确定 |
3.2.2 PCB电路板的设计 |
3.2.3 温感装置的实物制作 |
3.3 温感装置的初始化设计 |
3.4 热源位置和温度的系统控制 |
3.4.1 温感装置的热源位置控制 |
3.4.2 温感装置的温度控制 |
3.5 温感装置的通信协议和驱动开发 |
3.5.1 串口通信的协议设计 |
3.5.2 软件驱动和接口程序的开发 |
3.5.3 温感装置调试工具的开发 |
3.6 装置的人机交互设计与分析 |
3.7 本章小结 |
第四章 温感触觉手套的实现 |
4.1 手套的外形方案设计和实物制作 |
4.1.1 手套外形方案设计 |
4.1.2 各组件型号的确定 |
4.1.3 手套电路板和实物制作 |
4.2 温感手套的控制程序 |
4.3 温度采集与控制方案的设计 |
4.3.1 温感手套的温度采集与分析 |
4.3.2 温度控制方案的设计 |
4.4 手套的人机交互设计与分析 |
4.5 本章小结 |
第五章 温度触觉实验验证与分析 |
5.1 装置的温度等级和温感位置判别实验 |
5.1.1 温度等级判别实验 |
5.1.2 温度感知定位实验 |
5.2 虚拟实验案例开发环境搭建 |
5.3 热触觉再现虚拟实验案例——铝热反应 |
5.3.1 虚拟实验场景介绍 |
5.3.2 实验验证与分析 |
5.4 冷触觉再现虚拟实验案例——氢氧化钡和氯化铵晶体混合 |
5.4.1 虚拟实验场景介绍 |
5.4.2 实验验证与分析 |
5.5 本章小结 |
总结与展望 |
工作总结 |
工作展望 |
参考文献 |
攻读学位期间发表的成果 |
致谢 |
(7)连铸三维仿真系统的人机交互设计与实现(论文提纲范文)
摘要 |
abstract |
引言 |
第1章 绪论 |
1.1 研究背景 |
1.2 研究目的和意义 |
1.3 国内外研究现状 |
1.3.1 虚拟现实交互技术 |
1.3.2 手势识别研究 |
1.3.3 虚拟仿真应用 |
1.4 本文研究内容 |
第2章 数据手套设计 |
2.1 手势识别方案对比分析 |
2.1.1 基于计算机视觉的手势识别方案 |
2.1.2 基于数据手套的手势识别方案 |
2.1.3 手势识别方法对比 |
2.2 总体方案设计 |
2.2.1 手势数据采集 |
2.2.2 虚拟现实交互任务分析 |
2.3 数据手套硬件电路设计 |
2.3.1 电源电路设计 |
2.3.2 最小系统电路设计 |
2.3.3 传感器电路设计 |
2.4 数据手套数据采集程序设计 |
2.4.1 数据传输介绍 |
2.4.2 数据通信系统 |
2.4.3 系统应用方向 |
2.5 本章小结 |
第3章 手势识别算法设计 |
3.1 手势概述 |
3.1.1 手势定义 |
3.1.2 难点分析 |
3.2 手势识别算法对比 |
3.2.1 人工神经网络 |
3.2.2 动态时间规整 |
3.2.3 隐马尔可夫模型 |
3.3 HMM模型 |
3.3.1 HMM求解 |
3.3.2 HMM模型构建 |
3.3.3 GMM-HMM算法手势识别 |
3.3.4 手势识别算法框架 |
3.4 手势识别实验 |
3.4.1 动态手势定义 |
3.4.2 动态手势分割 |
3.4.3 特征提取 |
3.4.4 实验过程 |
3.5 本章小结 |
第4章 连铸三维仿真系统设计与实现 |
4.1 连铸仿真系统框架 |
4.1.1 连铸仿真系统培训内容 |
4.1.2 连铸仿真系统技术路线 |
4.2 连铸设备及工艺 |
4.2.1 连铸设备介绍 |
4.2.2 连铸工艺介绍 |
4.2.3 连铸设备三维建模 |
4.3 虚拟场景的实现 |
4.3.1 系统模型导入 |
4.3.2 系统声音的实现 |
4.3.3 系统灯光渲染 |
4.4 手势交互实现 |
4.4.1 手势交互框架 |
4.4.2 人机交互设计 |
4.5 本章小结 |
结论 |
参考文献 |
致谢 |
导师简介 |
作者简介 |
学位论文数据集 |
(8)基于VR技术的工程制图三维沉浸式学习系统的研究与实现(论文提纲范文)
摘要 |
Abstract |
第一章 绪论 |
1.1 课题研究背景及来源 |
1.2 国内外研究综述 |
1.2.1 虚拟现实技术的研究现状 |
1.2.2 工程制图学习平台的研究现状 |
1.2.3 在工程制图教育中应用沉浸式VR技术的优势 |
1.3 研究意义和内容 |
1.3.1 研究目的及意义 |
1.3.2 研究的创新点 |
1.3.3 研究方法 |
1.3.4 研究内容与框架 |
第二章 基于沉浸式学习的理论研究 |
2.1 建构主义理论 |
2.1.1 理论分析 |
2.1.2 建构主义理论的指导价值 |
2.2 沉浸理论 |
2.2.1 理论分析 |
2.2.2 沉浸理论的指导价值 |
2.3 游戏化学习理论 |
2.3.1 理论分析 |
2.3.2 游戏化理论的指导价值 |
第三章 VR沉浸式学习系统的设计与开发 |
3.1 系统设计要求 |
3.1.1 用户群需求分析 |
3.1.2 系统设计要求 |
3.1.3 系统功能分析 |
3.1.4 系统开发总体框架设计 |
3.2 系统硬件环境设计与构建 |
3.2.1 虚拟环境展示设备 |
3.2.2 手势识别设备 |
3.2.3 数据处理设备 |
3.3 系统软件架构设计与开发 |
3.3.1 VR开发平台 |
3.3.2 虚拟零件模型库的搭建 |
3.3.3 Unity和 Leap Motion的集成 |
3.4 人机交互设计 |
3.4.1 手势交互设计 |
3.4.2 人机界面设计 |
3.4.3 信息反馈设计 |
3.4.3.1 视觉反馈设计 |
3.4.3.2 听觉反馈设计 |
3.5 本章小结 |
第四章 工程制图沉浸学习知识结构设计与实现 |
4.1 点线面及投影学习模块 |
4.2 基本体和组合体学习模块 |
4.2.1 基本立体 |
4.2.2 截切立体 |
4.2.3 组合立体 |
4.3 装配体学习模块 |
4.3.1 结构认知 |
4.3.2 工作原理 |
4.3.3 拆装步骤 |
4.3.4 拆装实践 |
4.4 拓展学习模块 |
4.5 本章小结 |
第五章 可用性研究与实验分析 |
5.1 实验设计 |
5.2 实验内容 |
5.2.1 预实验训练 |
5.2.2 正式实验 |
5.3 实验数据分析 |
5.4 实验结论 |
总结与展望 |
参考文献 |
附录1:实验后的知识问卷 |
附录2:用户主观满意度评分 |
攻读硕士学位期间取得的研究成果 |
致谢 |
附件 |
(10)基于数据手套的虚拟拆装培训的研究与应用(论文提纲范文)
摘要 |
Abstract |
1 引言 |
1.1 课题研究背景与意义 |
1.2 课题国内外研究现状 |
1.3 论文主要研究内容 |
1.4 论文的组织结构 |
2 相关理论与技术的研究 |
2.1 虚拟现实技术 |
2.1.1 概念与发展 |
2.1.2 特征与分类 |
2.2 虚拟培训技术 |
2.2.1 传统培训模式 |
2.2.2 虚拟培训的优势 |
2.3 虚拟拆装与教育培训 |
2.3.1 虚拟拆装概念与特点 |
2.3.2 虚拟拆装培训概念与分类 |
2.3.3 虚拟拆装培训的系统组成与工作原理 |
2.4 虚拟拆装培训涉及的硬件设备 |
2.4.1 数据手套 |
2.4.2 其他相关硬件设备 |
2.5 虚拟拆装培训涉及的软件 |
3 计算机主机拆装培训系统的设计与实现 |
3.1 系统设计 |
3.1.1 需求分析 |
3.1.2 模型结构设计 |
3.1.3 数据库设计 |
3.1.4 系统模块设计 |
3.2 系统开发 |
3.2.1 开发环境介绍 |
3.2.2 三维模型建立 |
3.2.3 系统开发 |
3.2.4 系统测试 |
3.3 系统总结 |
4 虚拟拆装培训原则的讨论 |
4.1 培训方式的选择原则 |
4.2 系统软硬件的选择建议 |
4.2.1 桌面式虚拟培训与沉浸式虚拟培训对比 |
4.2.2 无力反馈数据手套与力反馈数据手套对比 |
4.2.3 编程方式实现与软件方式实现对比 |
4.3 系统功能设计原则 |
5 总结及展望 |
5.1 主要结论 |
5.1.1 主要研究成果 |
5.1.2 研究局限性 |
5.2 前景及展望 |
致谢 |
参考文献 |
附录 |
在学期间发表的学术论文及研究成果 |
四、桌面虚拟现实系统中数据手套的应用研究(论文参考文献)
- [1]视触觉增强现实技术在康复训练中的应用研究[D]. 郭斌. 南京信息工程大学, 2021(01)
- [2]基于深度信息的手指交互技术研究[D]. 于霄洋. 北方工业大学, 2021(01)
- [3]交互式肢体训练系统的研究与实现[D]. 张莹. 北京邮电大学, 2021(01)
- [4]自动铺布裁剪单元虚拟仿真的设计与实践[D]. 王灿. 齐鲁工业大学, 2020(02)
- [5]虚拟控制机械手的关键技术研究[D]. 王民江. 青岛科技大学, 2020(01)
- [6]虚拟实验温度触觉再现系统的设计与实现[D]. 许明西. 广东工业大学, 2020(02)
- [7]连铸三维仿真系统的人机交互设计与实现[D]. 周自朋. 华北理工大学, 2020(02)
- [8]基于VR技术的工程制图三维沉浸式学习系统的研究与实现[D]. 武玲玲. 华南理工大学, 2019(02)
- [9]虚拟现实的人机交互综述[J]. 张凤军,戴国忠,彭晓兰. 中国科学:信息科学, 2016(12)
- [10]基于数据手套的虚拟拆装培训的研究与应用[D]. 张浩. 首都经济贸易大学, 2014(09)