Meta Connect 2024:AI 全家桶来袭,从Llama 3.2到 全球最强AR 眼镜

发布时间:2024-09-29 16:43  浏览量:3

Meta Connect 2024 真是高潮迭起!扎克伯格这次憋了个大招,一口气发布了一堆 AI 新功能和产品,从 Meta AI 语音,图像,视频配音 到 Llama 3.2 模型,再到 Ray-Ban 智能眼镜和 Orion AR 眼镜,简直是 AI 全家桶!

照例给大家划重点:

类似于 ChatGPT,你现在可以分享照片,Meta AI 会在聊天中对任何照片作出回复。

但 Meta 走得更远,允许用户在聊天中实时编辑照片,比如移除对象、添加帽子或更换背景等。

目前仅限于美国推出(语音模式将在下个月推广到美国、加拿大、澳大利亚和新西兰)。

3、Meta 为 Reels 推出实验性 AI 功能,包括自动视频配音和对口型同步,允许任何人跨语言创作内容

用户的 脸书 和 Ins Feed 上将会出现 AI 生成的内容。

你可以“点击帖子,将内容引向新的方向”或“滑动查看更多 AI 实时为你生成的内容”。

有强大的生态融入AI实属正常操作。

两个中等规模的视觉大语言模型(11B 和 90B),在图像识别方面可以与 Claude 3 Haiku 和 GPT4o-mini 相媲美。

两个轻量级的文本模型(1B 和 3B),可以运行在边缘设备和移动设备上,支持 128k 上下文 tokens,并且在多种本地设备用例中达到最先进状态。

根据 Meta 的说法,本地运行模型可以使提示词和响应“感觉瞬间完成”,因为处理是在本地进行的。

但最重要的是,由于处理是在本地进行的,你的数据保存在设备上,确保隐私与安全。

视觉模型

为了让 Llama 模型支持视觉任务,Meta 训练了一组适配器权重,将预训练的图像编码器集成到预训练的语言模型中。适配器由一系列交叉注意力层组成,将图像编码器的表示馈送到语言模型中。

轻量级模型

Meta 使用了剪枝和知识蒸馏两种技术来减小模型的体积,同时保持其性能。剪枝技术通过系统地移除网络的某些部分来减小模型的大小,而知识蒸馏技术则使用较大的网络来将知识传递给较小的网络。

6、Meta 还为 Ray-Ban Meta 眼镜推出了新的 AI 改进!

亮点包括:

能够记住你看到的事物,还可以设置提醒。支持多模态,并且现在能够扫描 QR 码。能通过视频实时看到你所做的事情!实时语言翻译。

Meta AI 和 Orion 是多模态的,能够理解你所看到的一切。

配备眼部、手部和神经追踪。

视频通话时,朋友会变成栩栩如生的虚拟形象,出现在你身边。

新的 AR 眼镜,将 AR 和 AI 融入日常生活。对于 AI 可穿戴设备来说,眼镜是最合适的形式。

外部推荐