OpenAI详解今明两年GPT发展计划:10万美元部署私有GPT、最高支持100万tokens、建立微调模型应用市场

AI学习,AI绘画,ChatGPT

前几天,OpenAI的CEO Sam Altman与二十多位开发者一起聊了很多关于OpenAI的API和产品的规划问题。Sam Altman透露了一些非常重要的OpenAI的发展方向,包括GPT产品功能的未来规划等。Humanloop的CEO记录了这些内容,目前这份原始内容已经应OpenAI的要求被删除,本文来自原始内容的备份结果,我们简单总结一下这些内容。

OpenAI详解今明两年GPT发展计划:10万美元部署私有GPT、最高支持100万tokens、建立微调模型应用市场

  • OpenAI短期产品规划
    • GPT上下文长度在年内将开放更长的结果,但目前最多不会超过100万tokens
    • OpenAI将开放可以微调的API接口,甚至允许大家提交自己微调模型给他人使用
    • OpenAI将允许部署GPT副本,前提是至少充值10万美元
    • 目前OpenAI最高优先级是提供更快更便宜的GPT-4
    • 今年将提供有状态的API接口
    • 明年将提供多模态的GPT-4
  • 其它内容
  • OpenAI短期的规划总结

OpenAI短期产品规划

尽管目前的GPT可能是全球最好的大语言模型(LLM)的产品。但是,受制于算力和模型本身的架构原因,依然有很多问题需要解决。以下是Sam Altman描述的OpenAI短期准备解决的问题。

GPT上下文长度在年内将开放更长的结果,但目前最多不会超过100万tokens

目前,常规的GPT-4模型最多的上下文长度是8k,而最高的一个版本是32k,但是能申请到GPT-4 32k版本的人很少。这大概率还是受到目前GPU算力短缺的影响。

但是,在年内,即2023年接下来的某个时间,GPT-4将开放更长的上下文,最多支持100万个tokens。不过,由于目前OpenAI也无法解决模型上下文长度增长带来的模型规模指数级增长问题()。因此,如果未来模型技术无法突破,100万个tokens是目前OpenAI的极限。这相当于75万个单词。

OpenAI将开放可以微调的API接口,甚至允许大家提交自己微调模型给他人使用

目前,OpenAI没有使用Adapters或者LoRA技术来降低模型微调的成本。因此,对模型进行微调的话资源消耗极大。但是,Sam Altman说他们会在不久的将来开放fine-tuning接口。而且将会创建一个应用市场社区,让大家贡献自己的微调的模型

这将是一个比插件更加令人兴奋的信息。如果大家可以用fine-tuning让GPT读取自己的私有数据,并将微调结果发布到市场上,那么这可能是私有数据变现的一个重要途径,也可能是未来中小企业可以利用GPT赚钱的重要方法!

OpenAI将允许部署GPT副本,前提是至少充值10万美元

目前,GPT都是一个版本,且与他人共享模型接口。当OpenAI的GPU算力缓解之后,将允许用户部署一个副本,这个GPT副本将有专有的GPU来为其提供计算。因此,其速度上可能会非常快。但是,目前的消息是至少你得承诺充值10万美元以上,OpenAI才会为你单独开辟一个GPT副本

目前OpenAI最高优先级是提供更快更便宜的GPT-4

这一点和马斯克做特斯拉的想法一致。OpenAI希望尽可能降低大模型的使用成本,所以在竭尽全力降低GPT-4的成本。这也是当前OpenAI的第一优先事项。

今年将提供有状态的API接口

这是另一个重磅的好消息!目前,GPT-4等模型的接口都是无状态的。你和它进行多轮对话之后,如果需要在此前的基础上继续对话,需要将历史信息重复地发送给GPT的接口。在今年晚些时候,这个接口将会发生变化,到时候API接口将记住历史信息,不再需要你重复发送以前的内容,也不需要额外为这些重复的tokens付费了!

明年将提供多模态的GPT-4

尽管此前GPT-4未发布的时候,大家都认为GPT-4将会是多模态模型。而微软也透露认为GPT-4会支持多模态。但是迄今为止,GPT-4都支持文本数据。本次Sam Altman也透露了,没有开放GPT-4多模态的原因是因为GPU不够!在2024年,GPT-4的多模态能力将开放

其它内容

这次的聊天里面Sam Altman也透露了一些其它内容。首先,目前OpenAI最大的问题是GPU算力不够。包括支持更长的上下文、fine-tuning接口、多模态GPT-4等都是因为GPU不足而没有开放。

其次,OpenAI也不会发布插件的API访问接口。目前很多开发者希望能通过API访问插件。但是,Sam Altman认为,插件的API功能没有很好的匹配市场需求,未来将不会发布API访问插件的功能。

最后,模型的扩展规律依然有效(即模型参数规模增长,性能更强)。从OpenAI内部的数据看,模型的参数规模增长依然会提高性能,只是不像前几年那样增长几百倍(GPT-1参数1.17亿,GPT-2参数15亿、GPT-3参数1750亿,GPT-4未公布)。可能会增长几倍这样子。OpenAI将会继续尝试扩大模型规模,可能每年增长1倍或者3倍这样子。从这个讨论点看,GPT-4估计参数规模还是比GPT-3要大的!

OpenAI短期的规划总结

以上就是这次讨论的重点内容,可以看到还是非常多信息量的。而且未来一段时间OpenAI将要发布的产品和能力也很清楚:基本上就是围绕GPT-4模型,开放更长的上下文、降低GPT-4的使用成本,并在不久的将来开放模型微调、私有化部署以及多模态的能力。

从这些看,OpenAI在大模型上的应用的确是非常有战略性的。尽管目前Google的Bard、Anthropic的ClaudeAI以及一些开源社区的模型也很强大。但是从市场成熟度和未来规划来说,还是比OpenAI差不少的。但是,OpenAI这个严格的动不动删号退款的限制也是让人头疼的很。还是希望,竞品快速成长,让我们多一点选择。

原始博客备份地址:https://web.archive.org/web/20230531203946/https://humanloop.com/blog/openai-plans

© 版权声明

相关文章

暂无评论

暂无评论...