Meta发布AR眼镜Orion：70°FOV，集成手势、眼动、EMG、AI等等

团队正在继续优化产品，降低成本，并朝着可扩展的消费设备迈进，从而彻底改变人们与世界交互的方式

（映维网Nweon 2024年09月26日）在今天举行的Connect大会中，马克·扎克伯格发布了第一副真AR眼镜Orion（代号是Project Nazare）。Meta表示：“凭借行业领先的视场，碳化硅透镜，复杂的波导和投影仪等，Orion是我们迄今为止最先进，最精致的产品原型。”

现在，团队正在继续优化产品，降低成本，并朝着可扩展的消费设备迈进，从而彻底改变人们与世界交互的方式。

下面是Meta的博文介绍：

在Meta，我们的使命非常简单：帮助人们建立社区，令世界更紧密地联结在一起。在Reality Labs，我们开发的工具可以帮助人们随时随地感受到联结。这就是为什么我们正在努力构建下一个以人为中心的计算平台。

Ray-Ban Meta眼镜已经展示了它的力量，人们无需用手就能从现实生活中走进数字生活。我们可以与智能人工智能助手交谈，与朋友联系，捕获重要时刻——所有这一切都不需要拿出手机。这种时尚的眼镜与我们的日常生活天衣无缝，你绝对会喜欢它们。

然而，尽管Ray-Ban Meta开创了一种全新的、由人工智能驱动的无屏眼镜，但XR行业一直梦想着真正的AR眼镜，一种将大型全息显示器和个性化人工智能辅助的优势结合在一起的产品，一种舒适、时尚、全天可穿戴的外形。

今天，我们把这个梦想推向了现实：Orion。我们相信这是有史以来最先进的一副AR眼镜。事实上，它可能是继智能手机之后最具挑战性的消费电子产品。Orion是现代计算几乎每个领域的突破性发明的结果，并以我们过去十年在Reality Labs所做的研究作为基础。

Orion的输入系统将语音、眼睛注视和手部追踪与EMG腕带无缝地结合在一起，这样你就可以将手臂舒适地放在身边并进行滑动、点击和滚动等操作。在你与丰富的数字内容交互时，你依然可以与周围的人保持联系。

从今天的Connect开始，并持续一整年，我们将向Meta员工和精选的第三方受众开放Orion产品原型，以便我们的开发团队可以学习，迭代和构建我们的消费者AR眼镜产品线。我们计划在不久的将来开始发货。

为什么是AR眼镜？

AR眼镜是开启人本计算领域的下一个巨大飞跃的关键，主要有三个原因。

它们令数字体验不受智能手机屏幕的限制。借助大型全息显示器，你可以将物理世界作为画布，把2D和3D内容和体验放置在你想要的任何地方。它们无缝地集成了情景人工智能，它可以感知和理解你周围的世界，从而预测并主动满足你的需求。它们非常轻便，适合室内和室外使用，而且它们允许大家看到彼此的面容、眼睛和表情。

这是我们行业一直在努力实现的目标：一款将可穿戴设备的便利性和即时性与大屏幕、高带宽输入和情境化人工智能相结合的产品，并令人们在日常生活中感到舒适。

紧凑的外形，复杂的挑战

多年来，我们一直面临着一个错误的选择：要么是虚拟现实和混合现实，要么是适合全天候使用的眼镜，但后者由于缺乏大屏幕和相应的计算能力，所以无法提供丰富的视觉应用和体验。

但我们想要一切，不愿妥协。多年来，我们一直在努力利用VR和MR头显提供的令人难以置信的空间体验，并将必要的技术小型化，把一切融入到一副轻巧、时尚的眼镜中。但这是我们行业面临的最困难的挑战之一。它非常具有挑战性，以至于我们认为我们只有不到10%的机会成功完成它。

直到现在。

开创性的AR显示，无与伦比的形态

大约70度的视场，Orion拥有迄今为止小型AR眼镜的最大视场。从多任务窗口和大屏幕娱乐到真人大小的人物全息图，这个视场为Orion解锁了真正沉浸式的用例。

对于Orion而言，视场是我们的圣杯。我们必须以非自然的方式弯曲光束，而且我们必须在以毫瓦为单位的功率范围内做到这一点。

我们用碳化硅代替玻璃制作镜片，而这是增强现实眼镜的一种新应用。碳化硅非常轻，它不会产生光学伪影或杂散光，而且它具有高折射率。所述光学特性都是大视场的关键。波导本身具有非常复杂的纳米级3D结构，并以衍射或传播光的方式来实现这个视场。投影仪是uLED，这是一种新型的显示技术，体积非常小，而且非常节能。

Orion无疑是一副眼镜形态，外观和感觉上都是。不像今天的MR头显或其他AR眼镜，你依然可以看到对方真实的眼睛和表情。为了将工业设计降低到你每天都能舒适佩戴的现代眼镜外形，我们需要进行数十项创新。Orion是一次小型化的壮举，组件压缩到一毫米的几分之一。我们设法在镜框嵌入了7个微型摄像投头和传感器。

我们必须将光学精度维持在人类头发十分之一的厚度。系统可以检测到微小的运动，比如在不同的室温下框架的扩张或收缩，然后在几毫秒内进行必要的光学校准。我们使用与F1赛车和宇宙飞船相同的材料镁来做镜框，因为它既轻又硬，所以它能保持光学元件对齐，有效地传导热量。

加热和冷却

一旦我们破解了显示器并克服了物理问题，我们接下来就要应对真正强大的计算以及真正低功耗和散热需求的挑战。不像今天的MR头显，你不能把风扇塞进一副眼镜里。所以我们必须要发挥创意。大多数用于冷却Orion的材料与美国宇航局用于冷却外层空间卫星的材料相似。

我们构建了高度专业化的定制芯片，它非常节能，并针对我们的人工智能、机器感知和图形算法进行了优化。我们构建了多个定制芯片和数十个高度定制的silicon IP block。这允许我们将手眼追踪所需的算法，以及SLAM技术缩小到几十毫瓦。

是的，定制芯片继续在Reality Labs的产品开发中发挥着关键作用。

肌电图

每一个新的计算平台都会带来我们与设备交互方式的范式转变。鼠标的发明为如今主导世界的图形用户界面铺平了道路，而智能手机直到触控屏的出现才开始真正获得关注。同样的规则适用于可穿戴设备。

多年来，我们一直在谈论肌电图EMG方面的工作，因为我们相信AR眼镜的输入需要快速、方便、可靠、微妙，并为社会所接受。现在，这项工作已经准备妥当。

Orion的输入和交互系统将语音、眼睛注视和手部追踪与肌电图腕带无缝结合，允许你轻松滑动、点击和滚动。

它的效果和感觉就像魔术一样。想象一下，你只需轻轻一点指尖就可以在晨跑时拍张照片，或者用你几乎察觉不到的操作来浏览菜单。我们的腕带结合了高性能纺织品和嵌入式肌电信号传感器，以检测即便是最微小的肌肉运动所产生的电信号。

然后，设备端的机器学习处理器解释相关的肌电图信号，产生无线传输到眼镜的输入事件。这个系统会适应你，所以随着时间的推移，它在识别最细微的手势方面会变得更好。

无线计算包

真正的AR眼镜必须无线，而且必须很小。所以我们为Orion做了一个无线计算包。它减轻了眼镜的负荷，实现了更长的续航和更好的外形，并带来了低延迟。

眼镜运行所有的手部追踪、眼动追踪、SLAM和专门的AR世界锁定图形算法，而应用逻辑则在无线计算包里运行。

无线计算包搭载双处理器，其中一个是由Meta定制，它提供了低延迟图形渲染、人工智能和额外机器感知所必需的计算能力。

由于它又小又光滑，你可以轻松地把它放到袋子或口袋里。

增强现实体验

当然，就像任何硬件一样，Orion的好坏取决于你能用它做的事情。尽管现在依然处于早期阶段，但Orion所提供的体验是对未来的令人兴奋的一瞥。

Orion搭载Meta AI，它可以理解你在物理世界中看到的一切，并能帮助你实现有用的可视化。所以你可以打开冰箱，根据里面的东西询问一份推荐食谱。或者，你可以一边洗碗一边调整数字家庭日历，一边给朋友打视频电话。

你同时可以进行免提视频通话，实时与朋友和家人联系，另外可以在WhatsApp和Messenger保持联系，查看和发送消息。对于以上所描述，你全程都不需要掏出手机，解锁，并找到合适的应用程序。你可以通过眼镜完成这一切。

你可以和国家另一边的家人或沙发另一边的朋友一起玩共享AR游戏。另外，Orion的大屏幕允许你通过多个窗口同时处理多项任务，不必随身携带笔记本电脑。

今天在Orion提供的体验将有助于绘制我们未来消费者AR眼镜系列的路线图。团队将继续迭代，与我们的开发者合作伙伴一起创造新的沉浸式社交体验。

有的放矢的产品原型

尽管Orion不会进入消费者市场，但不要误会，因为它不是一个研究原型。Meta表示：“这是我们开发过的最精致的产品原型之一，是真正能够向消费者推出的产品的代表。我们没有急着把它放到货架，而是决定先专注于继续开发优化，这意味着我们可以保持快速建设，继续推动技术的发展，从而帮助我们更快地推出更好的消费产品。

接下来是什么？

从今天的Connect开始，并持续一整年，Meta将向旗下员工开放，以及特定的第三方受众Orion产品原型，以便开发团队可以学习，迭代和构建消费者AR眼镜产品线。团队计划在不久的将来开始发货。

Meta已经与世界分享了Orion，而我们将专注于下面几件事情：

调整AR显示质量，使视觉效果更加清晰优化所能做的一切，使尺寸更小降低成本

在接下来的几年里，你可以期待看到我们在研发努力的基础上推出的新设备。Orion不仅仅是一扇通往未来的窗户，它同时展示了今天触手可及的真实可能性。

另外，Orion的一系列创新已经扩展到我们目前的消费产品以及我们未来的产品路线图。我们已经优化了空间感知算法，并支持Meta Quest 3S和Orion。尽管眼睛注视和微妙的手势输入系统最初是为Orion设计，但我们计划在未来的产品中使用它。我们同时在探索在未来的消费产品中使用肌电腕带。

---