Meta Connect 2024：AI 全家桶来袭，从Llama 3.2到 全球最强AR 眼镜
发布时间：2024-09-29 16:43 浏览量：12
Meta Connect 2024 真是高潮迭起！扎克伯格这次憋了个大招，一口气发布了一堆 AI 新功能和产品，从 Meta AI 语音，图像，视频配音 到 Llama 3.2 模型，再到 Ray-Ban 智能眼镜和 Orion AR 眼镜，简直是 AI 全家桶！
照例给大家划重点：
类似于 ChatGPT，你现在可以分享照片，Meta AI 会在聊天中对任何照片作出回复。
但 Meta 走得更远，允许用户在聊天中实时编辑照片，比如移除对象、添加帽子或更换背景等。
目前仅限于美国推出（语音模式将在下个月推广到美国、加拿大、澳大利亚和新西兰）。
3、Meta 为 Reels 推出实验性 AI 功能，包括自动视频配音和对口型同步，允许任何人跨语言创作内容用户的 脸书 和 Ins Feed 上将会出现 AI 生成的内容。
你可以“点击帖子，将内容引向新的方向”或“滑动查看更多 AI 实时为你生成的内容”。
有强大的生态融入AI实属正常操作。
两个中等规模的视觉大语言模型（11B 和 90B），在图像识别方面可以与 Claude 3 Haiku 和 GPT4o-mini 相媲美。
两个轻量级的文本模型（1B 和 3B），可以运行在边缘设备和移动设备上，支持 128k 上下文 tokens，并且在多种本地设备用例中达到最先进状态。
根据 Meta 的说法，本地运行模型可以使提示词和响应“感觉瞬间完成”，因为处理是在本地进行的。
但最重要的是，由于处理是在本地进行的，你的数据保存在设备上，确保隐私与安全。
视觉模型：
为了让 Llama 模型支持视觉任务，Meta 训练了一组适配器权重，将预训练的图像编码器集成到预训练的语言模型中。适配器由一系列交叉注意力层组成，将图像编码器的表示馈送到语言模型中。
轻量级模型：
Meta 使用了剪枝和知识蒸馏两种技术来减小模型的体积，同时保持其性能。剪枝技术通过系统地移除网络的某些部分来减小模型的大小，而知识蒸馏技术则使用较大的网络来将知识传递给较小的网络。
6、Meta 还为 Ray-Ban Meta 眼镜推出了新的 AI 改进！亮点包括：
能够记住你看到的事物，还可以设置提醒。支持多模态，并且现在能够扫描 QR 码。能通过视频实时看到你所做的事情！实时语言翻译。Meta AI 和 Orion 是多模态的，能够理解你所看到的一切。
配备眼部、手部和神经追踪。
视频通话时，朋友会变成栩栩如生的虚拟形象，出现在你身边。
新的 AR 眼镜，将 AR 和 AI 融入日常生活。对于 AI 可穿戴设备来说，眼镜是最合适的形式。