一文看懂Meta开发者大会:更便宜混合现实头显、全息AR眼镜、AI助手能说话了
发布时间:2024-09-26 14:20 浏览量:7
9月25日周三,Meta公司在Connect年度开发者大会上尽展AI与VR实力,推出了新一代更便宜的混合现实头显设备Quest 3S、去年推出的Quest 3降价决策,以及首款Orion 全息AR智能眼镜的原型机。Meta还发布了最新多模态LLAMA 3.2人工智能模型,能够同时理解图像和文本。
公司CEO扎克伯格称,Meta 正致力于通过头显、眼镜和人工智能系统“将未来带给每个人”。有分析称,Meta今日试图展示其人工智能实力,以及超越智能手机和电脑的下一代计算平台。
上述消息推动Meta股价在午盘后触及日高,一度涨2.4%,尽管收盘时涨幅砍半,但股价创历史新高。
Quest 3S起售价几乎较Quest 3砍半,性能却不减,被定位成“多任务计算机”最新推出的Meta Quest 3S正式加入Quest 3产品线,共享与Quest 3相同的混合现实功能和快速性能,但价格更低,被公司称为“最实惠的混合现实头显设备”,适合刚开始接触混合现实和沉浸式体验的新手,以及一直等待Quest和Quest 2降价的忠实用户。
Quest 3S中的“S”意味“开始(Start)”,现在开启预定,10月15日正式上市,共有两款,其中128GB内存版本起售价299.99美元,存储空间更大的256GB版本起售价399.99美元。
同时Meta还宣布,去年推出、“面向科技发烧友和游戏玩家的最佳头显设备”Quest 3 512GB版本从起售价649.99美元大幅降至499.99美元,128GB版本从499.99美元降至429.99美元。
值得注意的是,Meta强调了Quest 3S混合现实头显设备的多任务处理和运行应用程序的能力,将其定位为“多任务计算机”,而不仅仅是一台游戏和娱乐设备。Meta创始人兼CEO扎克伯格称,Quest 可以完成通用计算机所能做的所有事情,“它是具有全套设备的完整计算机”。
例如展示中,在Quest 3S视界内的浮动屏幕上可以同时运行最多六个应用程序,包括YouTube视频、网络浏览器、亚马逊音乐和Meta应用商店等。但也有人称,演示体验并不流畅,亚马逊音乐的app会崩溃、窗口控件会消失、如果不按按钮几分钟后Meta控制器就会休眠。
Meta还重点介绍了“全彩透视模式”(passthrough)功能的改进体验,主要是在Quest 3S上增加了一个专门打开该功能的实体按钮“操作按钮(Action Button)”,用来在透视模式和看不见外部世界的沉浸模式之间切换,此前在Quest 3和Quest Pro上需要通过“双击”来实现。
透视模式指的是通过VR头显设备的摄像头和传感器来在数字体验上同步展示外部物理世界,方便用户与现实世界互动。有分析称,新增实体按钮可能会方便用户更频繁地切换去查看周围现实。
有报道称,Meta的最新头显设备是希望消费者花更多时间在关于VR和AR的游戏、视频、聊天上,这也将直接与苹果售价高达3500美元的Vision Pro混合现实头显展开竞争,因为Quest 3S许多新功能都直接与Vision Pro对标。
例如,用户可以在影院大小的屏幕中沉浸式观看电视节目,或者随时随地拥有健身私教,还能在飞机上使用头显,Quest 3S甚至还搭载更贵Quest 3中的高通骁龙XR2第二代芯片,续航时间更长,Meta称:“再加上多任务处理和游戏,市场上没有比这个价格更好的混合现实设备了。”
Meta还发布了Meta Horizon OS操作系统的更新版本“以实现空间计算”,更好地支持YouTube、Facebook和Instagram等基础2D应用,还添加了更好的空间音频,改进了透视模式的对比度和颜色,使其更加逼真和提供沉浸式身临其境的体验。
在外观上,Quest 3S与传闻一致,总体比Quest 3稍大一些,将前置传感器排列成两个三角形,Quest 3 则排列成三个药丸形切口。Quest 3S没有Quest 3的深度传感器,显示器分辨率更低且与旧款Quest 2 一样,Quest 3S的视野也更窄,但平均使用时间2.5小时大于Quest 3的2.2小时。
此外,Meta 表示将停产2022年推出的售价999美元Quest Pro头显,对Quest 2的销售也会到今年底或者库存完全出清为止。公司称未来希望将“旅行模式”拓展到火车上、支持躺下使用头显、继续改进Quest上的Meta AI助手并启用“Hey Meta”唤醒词来调用它等。
有科技媒体的体验者称,尽管有些Quest 3S游戏玩起来有点糟糕,但绑在头上的Y形分体带让佩戴更加舒适,而且Quest 3S比预期更接近Quest 3,售价则几乎较后者砍半,对于从未拥有过混合现实头显设备的人来说,可能是非常具有吸引力的购买选择。
Orion眼镜被称为“首款真正的增强现实眼镜”和“迄今最先进AR眼镜”,暂时买不到Meta还展示了首款Orion增强现实(AR)智能眼镜的原型机,之前代号为“Project Nazare”,暂时不面向消费者出售,而是为公司内部员工和特定外部受众提供访问权限,力争不断学习、迭代和构建在未来某个时刻适合消费者级别的AR眼镜产品线。
Meta强调,这是该公司“首款真正的增强现实眼镜”,也是“迄今为止最先进的AR眼镜”,将搭配Wristband手环,从而支持用户进行手部控制,后者源于Meta于2019年收购的CTRL-Labs:
“Orion将普通眼镜的外观和佩戴感觉,与增强现实的沉浸式功能相结合,这是现代计算领域几乎所有突破性发明的成果。Orion连接了物理世界和虚拟世界,并以人为本,让用户能够更加身临其境、更加互联互通、更加强大。”
图片来自Meta官网公司称,Orion原型机是“一窥未来的窗口”,并不是一个特别初期的研究原型机,而是“我们开发过的最精致的产品原型之一,真正代表了可以交付给消费者的产品,不过目前仍决定先专注于内部开发,接下来几年将在研发成果基础上推出新的设备。”
在功能方面,智能助手Meta AI可以在Orion AR眼镜上运行,能理解用户在现实世界中看到的东西,并帮助进行有用的可视化,例如可以根据冰箱里现有的原材料提供食谱,或者“洗碗的同时调整数字家庭日历,还一边给朋友打视频电话”。
与此前推出的雷朋Meta智能眼镜类似,Orion AR眼镜也无需拿出手机便可与AI智能助手交谈、进行免提视频通话、实时与朋友和家人保持联系、通过WhatsApp和Messenger应用程序查看和发送消息、拍照等,力图构建“新的沉浸式社交体验”,但雷朋眼镜没有任何显示屏。
公司称,尽管雷朋Meta智能眼镜已经开辟了一个全新、无显示屏、由AI强力驱动的眼镜类别,但XR行业长期以来一直梦想着真正的AR眼镜,即将大型全息显示屏和个性化AI辅助优势结合在一起的产品,并具有舒适、全天候可佩戴的普通眼镜外形,Orion已可实现这些诉求:
“Orion是微型化(miniaturization)的一项壮举,其组件被压缩到几分之一毫米,需要进行数十项创新才能将设计变成现代化的形式,让您每天都能舒适佩戴。
Orion拥有迄今体型最小AR眼镜中最大的视野,解锁了真正身临其境的沉浸式使用场景,从多任务窗口、大屏幕娱乐到真人大小的人物全息图,所有数字内容都能与对物理世界的视野无缝融合。
但Orion的独特之处在于,无论从外观还是感觉上看,它都毫无疑问是一副眼镜,配有透明镜片。与当今的混合现实(MR)头显设备或其他增强现实(AR)眼镜不同,用户仍然可以看到其他人的眼睛和表情,因此可以塑造现场感并与周围的人分享体验。”
图片来自Meta官网公司还称,“增强现实眼镜是开启以人为本计算的下一个重大飞跃之关键”,首款Orion AR眼镜原型机恰好提供了“前所未有的突破性AR显示体验”:
“确定眼镜的外形尺寸、提供全息显示(holographic)、开发引人入胜的AR体验、创建新的人机交互(HCI)模式,并将所有功能整合到一款统一的产品中,这是我们行业面临最困难的挑战之一。这个挑战如此之大,以至于我们认为成功的可能性不到10%。直到Orion的诞生。”
而Orion势必将不断迭代,未来将专注于调整AR显示质量,使视觉效果更加清晰;尽可能进行优化,使外形尺寸更小,以及大规模生产,使售价更便宜。全行业的终极目标是希望开发出一款将可穿戴设备的便利性和即时性,与大显示屏、高带宽输入和情境化人工智能相结合的产品,并让人们在日常生活室内和户外的使用中都感到舒适。
扎克伯格表示,制造AR眼镜的技术挑战非常大,首先必须是眼镜形态而不是笨重的头显,不能有电线、重量必须小于100克,除了与佩戴者的声音、打字或手势互动之外,Orion还要有一个“神经接口”(neural interface) ,让用户可以将信号从大脑发送到设备:
“但它们是人工智能的完美形态。Orion AR眼镜可以让人工智能助手看到你所看到的,听到你所听到的,并帮助你度过一天。比如,你可以让眼镜提醒你在哪里停车或去取杂货,看到一堆水果就给你一份制作冰沙的食谱,或者帮你挑选派对服装。”
有报道称,Orion原型机的推出恰逢社交媒体公司Snap宣布其第五代Spectacles AR眼镜的一周后。Meta的这款厚框眼镜将仅向开发者提供,但必须承诺每月支付99美元且订阅一整年。
此外,Meta今日还发布了与雷朋合作智能眼镜的全新Meta AI功能。例如能够检测用户是否正在看西班牙语的标识,如果用户提出要求将能通过声音将其翻译成英文,眼镜摄像头还能扫描二维码、从拍摄的照片中提取书名、记住用户停车位置和酒店房间号等信息。
扎克伯格对雷朋Meta智能眼镜非常兴奋,据市场研究公司IDC统计,这款眼镜在上市前三个季度的销量已超过73万副。今年7月的财报电话会上他称,这款眼镜“比预期更早地取得了更大成功”。上周,雷朋母公司EssilorLuxottica宣布扩大与Meta的合作伙伴关系,以开发更多智能眼镜。
Meta AI“会说话了”,还提供好莱坞明星授权云集的声音,发布最新版大模型Llama 3.2除了混合现实硬件设备,Meta还发布了多模态AI大语言模型的最新版本Llama 3.2,能够同时理解图像和文本。Meta AI聊天机器人也升级成“会说话了”,方便用户用语音、而不是书面文字与其进行直接互动。一天前,竞争对手ChatGPT也想付费用户提供了更高级的语音功能。
有报道称,这项类似于苹果Siri的全新Meta AI语音功能将于10月份向美国、加拿大、澳大利亚和新西兰的WhatsApp、Instagram、Facebook 和 Messenger用户率先推出,可以通过上述App应用程序与Meta AI实现自然语音对话,比如让Meta AI启动智能手机来拍照等。
而且新款聊天机器人搭载了诸多好莱坞明星的计算机生成声音,包括首位亚裔金球奖影后林家珍(Awkwafina)、英国“老戏骨”朱迪·丹奇(Judi Dench)和美国演员约翰·塞纳(John Cena)等。
扎克伯格称,语音有可能成为人类与人工智能互动的最常见方式之一,甚至是“没有之一”。据悉,超过100万广告主正在使用Meta的生成式AI工具,其人工智能聊天机器人每月有超过4亿人至少使用过一次,每周有1.85亿人使用。公司正在测试Meta AI翻译工具,以实现英语和西班牙语短视频的自动配音和口型同步。
不过,由于担心违反欧盟数据保护法和可能被罚款,Meta AI 将无法在欧洲使用,其人工智能依赖于平台大量用户的内容和数据,这种做法在欧洲涉及许多义务和保障措施。与 ChatGPT 或谷歌Gemini一样,Meta AI是一款可以回答问题、创建图像、编写消息甚至提供陪伴的人工智能助手。
有分析指出,Meta目前几乎所有收入都来自广告,在二季度超过390亿美元的收入占比98%。但公司同时也在大力投资人工智能和扎克伯格口中的“下一代计算平台”,例如VR头显和AR眼镜。包括2014年收购Oculus在内,Meta已在VR/AR硬件方面投入了超过650亿美元,但其元宇宙部门的运营亏损超过500亿美元,引发不少投资者担忧,毕竟元宇宙尚且属于“非主流”。
对此,扎克伯格的说法是大力投资VR/AR是一项战略举措,目的是防止苹果控制未来的硬件平台。而Meta 之前的Quest设备受益于大力营销和低于许多竞争对手的价格,成功跻身市面上最畅销的VR头显设备,出货量达数百万台,相比之下苹果的头显设备可能销量较小。
但消费者科技研究机构Creative Strategies的分析师Carolina Milanesi表示,当想到人工智能时,目前Meta可能并不是人们首先想到的品牌,这令其重磅投资AR/VR的逻辑面临一定质疑,毕竟不知道何时才展现增收和提升利润的切实成果:
“而该公司面临的最大障碍将是隐私和信任:很多消费者无法相信这些数据不会被用于其他原因。”