史上最强AR眼镜来了!成本7万块,黄仁勋亲自站台|Meta Connect 2024一文看尽
发布时间:2024-09-26 23:20 浏览量:2
Meta首款AR眼镜Orion终于亮相!
一年一度的年度盛会Meta Connect 2024上在加州Menlo Park举办。一如既往,扎克伯格又从Meta员工戴手铐的保险箱中小心翼翼地取出了憋了许久的大招——首款AR眼镜Orion。据Meta介绍,每副眼镜的生产成本大约1万美元(约7万人民币),这可能也是史上最贵AR眼镜。
Orion为分体式设计,采用波导方案设计,拥有厚重黑色边框,重98g。该AR眼镜能与Meta自研的肌电手环相适配,拥有手部跟踪、眼部跟踪、头部追踪等多种交互方式。
从演示视频上来看,用户戴上Orion可以刷网页、看短剧,甚至玩一些简单的3D游戏。当然,你也可以在Orion上听音乐、接视频电话。
不过,现阶段的Orion 眼镜仅用作演示和内部开发套件,大约仅生产1000副,并不对外正式开售。
这次Meta官方几乎没有提任何有关Orion的参数信息,芯片、光学、续航均未涉及。小扎只是拉来一众好友体验这款AR眼镜,为其站台。英伟达CEO黄仁勋在体验这款AR眼镜时,直言:“显示很棒,追踪很棒,色彩也很不错。”
不过,别着急惊艳,圈内一众科技博主早已拿到了Orion进行深度体验。
我们也进一步梳理了Orion详细信息:
1、AR眼镜采用分体式设计:Orion眼镜本身(98g)、独立计算单元、肌电手环;
2、基本硬件配置:7个摄像头、定制芯片、碳化硅光波导镜片、Micro LED微型显示器;
3、成本:每幅Orion成本高达1万美金,仅1000副、不发售;
4、Orion二代:Meta首款消费级AR眼镜、镜片更薄、非碳化硅光波导镜片、分辨率更高;
此外,Meta还推出了Quest 3平价版Quest 3S,主芯片采用的是高通骁龙XR2 Gen 2芯片,其他基本配置与Quest 2相差不大,128G版本售价299.99美元,9月25日开售,10月15日上架。
Meta还展示了生成式AI如何与自家的社交全家桶相结合,并且推出Meta AI高级语音功能、AI视频以及AI翻译功能。
在大模型方面,Meta推出第一个能够同时处理图像和文本的开源模型Llama 3.2。该模型可以创建AI应用程序,例如提供实时视频理解的AR应用程序、基于内容对图像进行视觉搜索引擎或长文本分析。
发布会结束后Meta股价一路上涨,截止发稿前,最高点涨至575.77美元/股。
碳化硅+Micro LED波导方案,拥有超大70度视场角
Meta最秀肌肉展现实力的部分,是Orion的光学设计,可以看出Meta用材用料相当舍得。
Orion采用衍射光波导设计,波导片选择了碳化硅镜片,重量更轻、更耐用,折射率高。Meta首席技术官Andrew Bosworth在谈到这些镜片时表示:“你无法想象产量有多低。”
并且,Meta选择了Micro LED微型LED显示器,从发布会展示的图片中,我们推测大概率采用的是三色合一的光机方案。
从视频显示效果来看,Orion眼镜中间采用相当大的棱形四边形波导片,较大的波导片能够带来更广范围的显示区域。测评显示,Orion拥有70度超大FOV,远超业内常规波导类AR眼镜25度FOV(视场角)水平。
分体式设计,采用定制化芯片
Orion采用的是分体式设计,这意味着该AR眼镜还拥有一个单独的计算单元,承担主要的计算能力。Meta称之为“可以忽略不计的冰球”。
具体而言,有关Orion位置跟踪、手部跟踪、眼部跟踪以及一些图形算法将会在眼镜端运行。一些渲染和常规计算处理在控制器上运行,并将数据结果无线传输到眼镜。
Meta提到Orion的眼镜端采用了定制芯片。联合黄仁勋鲜少站台的行为,有不少网友推测,这款定制芯片有可能是英伟达打造。同时,眼镜端的轻质镁框架可以快速散热。
与肌电手环适配,支持四大交互方式
在交互方面,Orion可能是目前业内支持最多交互形式的AR眼镜,可以支持眼动、头动、语音以及手势四大交互方式。
Meta专门为Orion开发了肌电手环。该手环主要采用了肌电图 (EMG) 技术,采用高性能纺织材料,可以通过感知手腕的肌肉活动来追踪微小的手指运动。
目前,腕带可以识别几种基本操作:用拇指捏住食指可选择内容;捏住中指和拇指可调用或隐藏应用启动器;用拇指在闭合的手掌上做出抛硬币手势可向上或向下滚动。
结合眼动交互的肌电手环,Orion主要用眼睛充当指针,而捏合手指充当点击。这一点也是和苹果相似的交互逻辑。
Meta 表示,该肌电手环不受眼镜摄像头的视野限制,用户在任何位置都可以进行滑动、点击、滚动等操作。在两年前的Connect大会上,Meta展示了一系列肌电手环的酷炫操作,其中,最炫酷的则是,AR眼镜实现键盘“投影”,用户用肌电手环进行文本输入。
采用7颗摄像头,支持SLAM空间定位
据The Verge的记者介绍,镜框内嵌有七个摄像头,可以将虚拟物体固定在现实空间中,协助眼球和手部跟踪,并让 Meta 的 AI 助手了解您正在看什么。Meta的这一摄像头围绕镜框布置的设计,与苹果Vision Pro的设计异曲同工。
用户可以让虚拟窗口保持打开状态,转过头走开,只要眼镜还在,当您用户来时,窗口仍然在那里。这意味着Orion拥有SLAM空间定位功能,可以称上真正意义上的AR眼镜。
游戏几乎无延迟,与小扎对打乒乓球
在内容上,Orion目前的主要功能是结合Meta AI进行一些基础的交互,玩一些简单的AR 游戏、实现免提视频通话和多个虚拟屏幕同屏共享等功能。
比如说,The Verge的记者就和小扎当面来了一场3D版本的虚拟乒乓对决。(gif)两位Orion用户需要扫描二维码配对眼镜,然后使用手势跟踪来控制球拍。“游戏几乎没有延迟。”The Verge的记者说。
记者还通过Orion中的Meta AI识别摆放在桌子上的配料,制作冰沙。几秒钟后,它就正确地将标签放在各类配料上,并在配料上方的窗口中生成冰沙的配方指南。
Orion二代将于未来几年推出,或是首款消费级AR眼镜
Meta透露,Orion的二代版本将于未来几年推出,这可能是Meta首款消费级AR眼镜,其价格应该与当今的手机和笔记本电脑相当。
据了解首款消费级AR眼镜的镜片不会采用碳化硅制成,视野也不会那么大,但分辨率会更高。如果一切按计划进行,镜框厚度将只有现在Orion眼镜的一半左右。
Orion产品负责人Rahul Prasad透露:“获得更大的视野是一个科学问题。下一阶段是工程问题,即获得更高的分辨率、更高的亮度和更低的成本。
扎克伯格提到AR眼镜必须很好,用户才想要会将其佩戴在脸上。AR眼镜需要在用户不使用AR时,也能够提供一些基础服务。他还谈到AR眼镜的发展并非一蹴而就,不同的智能眼镜将会起到不同的功能,像是Ray-Ban智能眼镜适合一些轻应用的场景。
AI视频、AI翻译、AI高级语音,Meta AI打造内容创作工具箱
Meta与OpenAI接连上线了AI高级语音功能,可以帮助AI模型配上许多知名演员的声音,用户可以选择Dame Judi Dench、John Cena、Keegan Michael Key和Kristen Bell的声音,与之交互。
发布会上,扎克伯格与AI版Stevenson进行了对话。史蒂文森的AI助手回答了有关其创作过程的问题。同时,Meta AI还可以将西班牙语的视频直接转换成英语视频。“与文本相比,用语音与AI互动是一种更好的方式。”扎克伯格说。
同时,Meta AI还助力Ray-Ban智能眼镜的功能升级。现在,Ray-Ban智能眼镜与AI结合后,用户可以直接借助智能眼镜记录自己做菜过程,或者一键记录自己的停车位置。
如果你在街上拿到了一张海报,也可以直接借助智能眼镜拍摄相关二维码,或者一键拨打电话。如今,Ray-Ban智能眼镜还支持了AI翻译功能。用户可以借助AI直接翻译用户的话语。可以说,该功能直接为用户打造了一个同声传译助理。
不过,在现场的演示过程中,Meta AI的翻译似乎翻车,无法翻译扎克伯格与西语讲述者之间长时间对话。
扎克伯格说,Meta Ray-Ban智能眼镜的对话功能越来越强,它们将能更好地记忆你所看到的内容。它们还将配备多模态人工智能,能够实时为用户提供帮助。
AR眼镜加持,Meta借生成式AI重回宝座
2024年,Meta凭借生成式AI的突破性进展,成功逆转了其元宇宙领域发展的困境,股价一路飙升,重返美股市值前十的宝座。作为AVR领域的领军人物,Meta在Connect大会展示出的产品和技术,往往会成为业内瞩目的焦点。
过往几年以Quest系列为代表的头显一直是Meta Connect大会的主旋律,我们也看到了Meta在高端头显Meta Quest Pro、消费级头显Quest 3、Quest 3上做出不同探索。但今年,Meta终于在AR方向亮相了憋了许久的大招——首款AR眼镜Orion。
与业内常见波导类的AR眼镜相比,Orion用材相当舍得。其中,最为惊艳的是超大视场角,这也是Meta堆料展现了AR眼镜天花板。不过,从现有视频显示来看,似乎仍然出现掉帧、显示不清晰等情况。
此外,Meta还拥有其他AR厂商所不具备的强大AI底层能力。Ray-Ban智能眼镜和AI的结合玩法,究竟会在用户中反馈如何?这或许将影响不带显示功能的智能眼镜市场变化。
“我曾以为元宇宙在AI出现之前就能实现。”扎克伯格说:“命运的转折很有趣,AI在元宇宙真正能够以可普及前就先爆发。”