Meta与高通合作，2024年前实现设备上的Llama 2 LLM AI应用

一、Meta与高通合作，推动设备上的Llama 2 LLM AI应用

最近关于Meta的Llama 2 LLM发布的热闹已经过去了，但有一个重要的消息并没有得到太多关注。Meta正在积极与高通合作，高通是Snapdragon系列移动CPU的制造商，旨在将设备上的Llama 2 AI能力引入到高通的芯片平台上。目标日期是在2024年之前实现设备上的Llama。点击这里阅读他们的完整公告。这为什么重要呢？目前大多数强大的LLM都在云端运行，比如Bard、GPT等，它们都依赖于昂贵的云计算资源。云资源是有限的，这会影响生成式AI的规模。早期的科学实验已经在本地设备上运行了LLM，但这些只是概念验证，尚未进行任何突破性的优化。这将是首个将LLM引入移动设备的重大企业合作伙伴关系。这将使我们摆脱科学实验阶段，为未来的移动设备带来重大的范式转变。

二、设备上的LLM能够带来什么？

让我们来看看这个令人兴奋的点。隐私和安全：你的请求不再发送到云端进行处理，一切都只存在于你的设备上。速度和便利：想象一下更快速的响应，对手机所有数据的后台处理等等。无需互联网连接，它也可以在飞行模式下运行。精细调整的个性化：考虑到Llama 2的开源基础和其易于调整的特点，想象一下本地LLM随着时间的推移以更个性化、更亲密的方式了解用户。受益于设备上LLM的应用程序包括：智能虚拟助手、生产力应用、内容创作、娱乐等等。新闻稿中提到了Meta与高通合作的核心观点：“为了有效地将生成式AI推向主流，AI需要在云端和边缘设备上运行，如智能手机、笔记本电脑、车辆和物联网设备。”主要观点是：在云端运行的LLM只是个开始。设备上的计算代表了一个新的领域，未来几年中，随着越来越强大的AI模型可以在越来越小的设备上本地运行，这个领域将会崛起。开源模型可能会从中受益最多，因为它们可以被缩小规模、为特定用例进行优化，并快速个性化，从而为可扩展的个人AI提供了一个快速而动态的路径。考虑到隐私和安全的影响，我预计苹果也会认真考虑设备上的生成式AI。但鉴于苹果的“做到尽善尽美”的理念，这可能需要更长的时间。P.S.如果你喜欢这种分析，我写了一份免费的通讯，追踪生成式AI技术的最重要问题和影响。