传统的 VR 手势操作一般有两种方案,一个是通过 VR 头显上的摄像头识别,另一个是手握控制器检测。但研究人员认为这两种方案都不能很好的满足 VR 交互需求,因此提出这种名为 TapID 的手环。
TapID 是一种可以用来检测手部动作的腕带设备,将跟踪的手部姿势与 VR 设备联动。用户在左右手佩戴 TapID,就能够配合 VR 体验虚拟现实交互。比如,可以向用户显示一个像电脑键盘一样的页面,进行文本输入。
可以像面前有一台电脑一样,预览网页,进入搜索引擎搜索信息。
还可以在熟悉的应用程序,进行图片、文档操作。
也可以使用 TapID 来检测手臂上的触觉,比如识别到手指的触碰,从而旋转手握的模型。
是不是轻装上阵,又获得了沉浸感十足的体验?
下图为 TapID,中心的芯片为 Dialog 半导体公司的 DA14695,该芯片是 Dialog 的蓝牙低功耗微控制器,最大的特性是 “多核 + 蓝牙 BLE5.1”。DA14695 对所有惯性传感器进行采样,通过串行连接将 IMU 数据传输到电脑上。
TapID 配置两个意法半导体的 LIS2DH,是两个低功耗加速度计,通过柔性 PCB 嵌入腕带,以及两个板载加速度计,用于测试和比较不同的传感器配置。
上图为动作识别的流程示意模型。数据采集来自于两个 3D 加速度计的连续流,通过其使用变化率分数识别手指点击动作。在检测到动作后,输入到神经网络分类器中识别点击动作。
神经网络分类器架构包括五个卷积层块和两个最终的线性层,它们构成 softmax 激活函数,根据手指动作呈现概率分布。当确定了那个手指导致波动后,会检测指尖位置,从而将动作传输给应用程序。TapID 在灵活的表带上嵌入了一对惯性传感器,可以可靠地检测表面触觉,更重要的是,它还可以识别手指作动。研究人员在一批用户中评估了 TapID 的识别精度,能够达到 99.7%。
自 2020 年以来,VR、AR 出现回暖的迹象,并且朝着更加深层次的交互方向发展。本次我们看到的 TapID 就是从手势控制角度打破原有边界的研发。
正如扎克伯格所说,VR、AR 在未来十年有望改变智能手机统治的霸权。以 TapID 为代表的触觉反馈技术有望成为 VR、AR 释放潜力的关键技术。
广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。