从Orion看肌电手环的发展潜力

发布时间:2024-12-06 18:28  浏览量:8

新的计算平台背后往往也意味着全新的交互范式。

今年9月,Meta亮相了其首款真AR眼镜Orion,并给我们展示了一套基于“眼动+手势+肌电手环”的交互解决方案。

其中肌电手环受到了不少人的关注,虽然它已经不算是新鲜的玩意,不过从Orion这款产品身上我们可以看到,肌电手环将有望“一统江湖”,成为未来AR眼镜的关键一环。

在谈及真AR眼镜之前,我们先来回顾一下早些时候市场上所出现的AI眼镜、带屏类主打信息提示的眼镜产品。AI眼镜(典型的是Ray-Ban Meta),这类产品所承载的功能相对简单,因而眼镜上面的小型触摸板+实体按键再结合语音指令已经可以充分满足AI交流、拍照录像等使用需求。

当眼镜设备引入显示屏幕后,功能变得日益丰富,为了跟视觉化界面相匹配,这时候就有必要引入更多交互方式,为此雷鸟X2、影目AIr 2、星纪魅族MYVU等产品进一步引入了指环。

随着后续进一步过渡到真AR时代,我们可以设想应用生态将会爆发式增长,并且可能会出现例如游戏、办公等更加频繁、精细化操作的应用场景,这时候无论是眼镜按键、指环都显然有点力不从心了,真AR眼镜需要全新的交互解决方案。而Meta Orion所给予的答案是前面所提到的“眼动+手势+肌电手环”。

AR眼镜不同应用场景的交互难度指数,图源:Wearable Devices

拆开来看,“眼动+手势”其实是Vision Pro为MR头显所定义的交互范式,这套交互的优势是符合我们使用直觉、并且无需引入外部的操作手柄,操作更为优雅。

但是这一套交互其实也有自身的缺陷,原因之一在于裸手交互基于计算机视觉,通过调用摄像头检测手势,需要面临弱光、遮挡、视野盲区等问题。此外,裸手交互精度一般、功耗也偏高。那么肌电手环表现如何?

根据维基百科,肌电图(EMG)是一种评估和记录骨骼肌产生的电活动的技术,当肌肉细胞在活动时,会出现相应的生物电变化,通过记录、分析这些信号可以获悉用户的意图。

测量获取肌电图的方式有两种,一种是肌内肌电图,一种是表面肌电图。前者通过皮下注射针等方式侵入人体以采集信息,主要应用于医疗等场景;后者则通过贴在人体表面的电极采集信息,对于用户更加友好,这也是Meta Orion等产品所采用的方案。

基于肌电手环特性使然,它应用于交互领域自然有其独到之处。首先,肌电手环不依赖于视觉算法,因而它不像手势交互一样对你双手的摆放位置有所要求,它可以理解仅1mm的手指移动,即便双手插兜也不妨碍操作,私密性很高。

准确率方面,肌电手环目前仍不及键鼠等按键设备,并且只能识别双指点击、挥手、转腕等常规输入,但从长远来看,后续在AI能力的加持下,体验将会有明显的提升。如Meta一直在从事基于肌电手环实现打字输入等方面的研究,2022年,其团队甚至表示,到2028年,神经腕带的精度足以比肩普通键盘。

图源:Meta

其他方面,肌电手环同属于可穿戴式设备,因而相较于手柄等产品携带更加方便;肌电手环检测电信号,具有更好的功耗表现,据悉Orion所配备的肌电手环满电状态下可以支撑一天的使用时长;肌电手环可以进一步集成心率、血氧传感器、震动单元、甚至是AR眼镜核心的处理单元等,这可以解决AR眼镜交互反馈缺失、体积笨重等问题。

EMG并非什么新鲜的技术,有关资料指出,EMG历史最早可以追溯到1666年Francesco Redi对于电鳗的研究;1960年代开始出现了表面肌电图在临床医疗上的应用。

后来,科学家逐步尝试将EMG技术引入到人机交互等领域,如2008年微软联合西雅图华盛顿大学展开了利用EMG技术执行计算机交互等相关研究。

图源:网络

2014年,加拿大企业Thalmic Labs推出了一款名为Myo的EMG体感控制器,它需要套在手臂上使用,可以检测握拳、手指双击、挥手等7种动作,单次充电可以提供一天的使用时长,初期产品售价200美元。

这款产品让很多人看到了EMG技术广泛应用于人机交互领域的曙光,创始人Stephen Lake透露,产品首次预告期间便收获了10000份订单,并曾获得了《时代》杂志最佳发明。不过可能受限于应用相对单薄以及企业战略转型,Myo在2018年宣告停产。

Myo神经臂环,图源:网络

值得一提的是,Thalmic Labs于2019年改名为North,全力开发AR眼镜。North于2020年被谷歌收购,收购价格为1.8亿美元。

2019年,另一家穿戴式交互解决方案商CTRL-labs接棒Thalmic Labs,收购了后者的知识产权,并着手于开发名为CTRL-kit的肌电交互套件。同年,Facebook收购了CTRL-labs,传言收购价格在5-10亿美元之间。原CTRL-Labs CEO Thomas Reardon是一名神经科学博士,伴随此次收购,他出任Meta Reality Labs神经运动接口总监一职。(耐人寻味的是,Reardon已于今年5月辞职,正处于Orion发布的前夕。)

这里不难发现,其实很早的时候,很多企业便已关注到“AR+肌电手环”的结合可能性。在随后数年中,Meta持续押注肌电手环赛道,并试图逐步将原型小型化以及提升鲁棒性以满足消费级用例。

2022年,Meta展示了将个性化人工智能与EMG技术相结合的研究:集合了AI系统的EMG手环可以在使用过程中越来越理解用户的个性化意图,未来用户能以更加自然并且舒服的姿势执行交互操作,而随着使用时长的提升,交互的准确率也会更高。

如下图中,两位参与者玩同一款游戏,虽然他们执行的是同一套操作指令,但是双方手势动作却并不相同,这正是AI的功劳。

图源:Meta

今年9月,Meta博客发表了一篇题为《看看我们专注于公平性和可及性的表面肌电图研究》的专题文章,里面提到了团队在EMG技术方面与美国大学的最新合作研究成果。如与卡内基梅隆大学的合作研究表明,其腕带、算法和用户体验可以引导脊髓损伤患者产生微小的肌肉信号,并利用这些信号来控制基于计算机的活动;而加州大学正在开发更加稳健的EMG算法,充分考虑到了皮肤弹性、水分、身体质量指数等特性,可进一步扩大适用性。

基于肌电手环的游戏demo演示,图源:YouTube

产品落地方面,去年年初,一份网传的Meta产品路线图提到,2025年,Meta或将会发布一款AR眼镜新品(应该是Ray-Ban Meta继任者),它的一大亮点在于将会配备一款用以交互的肌电手环。而今年年初,扎克伯格在接受采访时曾直言,肌电手环/腕带“有望在未来几年内应用到产品当中”。

除了前面所提到的Thalmic Labs以及CTRL-labs外,市场上也已经不乏关注EMG交互赛道的企业。

在Orion发布不久后,国内的雪梦未来也官宣了代号为Soxus的运动神经接口手环,该手环融合了神经电信号、肌电图等技术,可实现微手势隔空交互以及全手实时手势动作捕捉,据悉产品具有低延迟、高准确性、高鲁棒性和低误触率等特点。

图源:雪梦未来

国内的傲意科技也早在2016年便发布了其首款肌电手环产品,傲意科技CEO 倪华良在早期采访中曾透露,小规模量产化的gForce可以将价格控制在600元以内,未来迭代产品成本甚至能控制在100以内。

倪华良最早所关注的是VR/AR赛道,不过当时仍处于VR/AR发展早期,行业经过短暂喧嚣后市场回归平淡。现如今,傲意科技的主要业务集中在医疗、仿生智能、教育等领域。当然,AR交互仍有涉猎。

目前在消费级赛道走在前沿的神经交互企业可能是以色列的Wearable Devices,它曾于2023年发布了一款交互手环Mudra Band并在今年上市,产品售价299美元,产品可充当Apple Watch表带,并可实现对iPhone、Mac、Apple TV等产品的手势控制。

今年9月,Wearable Devices发布了更高级版本的Mudra Link,它除了可以控制苹果设备外,进一步兼容了任何支持蓝牙的设备。目前产品处于预售阶段,售价199美元。这款产品近日获得了CES 2025创新奖。

不同于Meta等产品,Mudra Band所搭载的是SNC(表面神经传导)传感器而非EMG,前者可通过将皮肤表面的离子电活动转换为电压(离子交换)来感知来自手腕的生物电势。

这两者有一个有趣的差异,只有用户自主驱动手指等活动时才会产生相应的SNC信号,外力驱动肢体时并不会表现出来,而这两种情况均会有肌电图信号产生。某种意义上说,SNC传感器更具私密性。

Wearable Devices团队选择了从电脑、手机等设备切入开发手环类产品,不过从企业的公开演讲来看,团队显然对于神经腕带在VR/AR的应用颇为看好,并且内部有一个专门的XR团队。今年6月的AWE展会期间,联想所展示的ThinkReality A3眼镜便搭配使用了Wearable Devices的产品。

今年10月,Wearable Devices宣布与国内的雷鸟创新达成合作,双方将共同开发下一代神经接口AR眼镜的量产级解决方案。本月早些时候,雷鸟创新公布了其2024-2025年产品路线图,里面便出现了神经交互手环的身影。

雷鸟X3和肌电手环,图源:网络

基于肌电手环的特性来看,它在私密性、可穿戴、控制精度等方面都具有不错表现,其实非常契合AR眼镜这一新的计算平台。

虽说EMG手环并非是未来AR眼镜的唯一解,其本身仍存在成本以及易用性等问题,不过由于Meta等厂商全力押注可能会使其市场化的时间节点提前。

根据前面所提到的Meta以及雷鸟创新的产品路线图来看,2025或将是神经手环AR交互的应用落地元年。

外部推荐