科技新闻:Databricks发布强大的开源大型语言模型DBRX

摘要: Databricks宣布了DBRX的推出,DBRX是一种强大的新开源大型语言模型,它声称,通过在行业基准上胜过诸如GPT-3.5(例如GPT-3.5),为开放模型设定了新的标准。

科技新闻:Databricks发布强大的开源大型语言模型DBRX

科技新闻:Databricks发布强大的开源大型语言模型DBRX

Databricks公司宣布推出了DBRX,这是一个强大的新型开源大型语言模型,据称在行业基准测试中超越了GPT-3.5等已建立的选项,树立了新的开源模型标准。

DBRX模型拥有1320亿参数,在语言理解、编程和数学任务上超越了流行的开源LLM模型,甚至在某些基准测试中也超过了Anthropic的闭源模型Claude。

DBRX在编码任务中表现出色,击败了专门的模型,如CodeLLaMA,尽管它是一个通用型LLM。它在几乎所有评估基准测试中与GPT-3.5相匹敌甚至超越。

DBRX拥有更高效的专家混合架构,使得它的推理速度比LLaMA 2 70B快2倍,尽管活跃参数更少。Databricks称,训练该模型的计算效率也比密集替代方案高出大约2倍。

“DBRX正在为开源LLM设定新标准—它为企业提供了一个平台,可以基于自己的数据构建定制的推理能力,”Databricks联合创始人兼首席执行官Ali Ghodsi表示。

DBRX在大量“精心策划”的文本和代码数据上进行了预训练,利用了旋转位置编码和课程学习等技术。客户可以通过API与DBRX互动,或使用公司的工具在其专有数据上对模型进行微调。它已经被整合到Databricks的AI产品中。

合作伙伴包括Accenture、Block、Nasdaq、Prosus、Replit和Zoom赞扬了DBRX加速企业采用开源、定制大型语言模型的潜力。分析师表示,细调的开源模型与专有性能匹敌可能会推动从闭源到开源的转变。

你可以在Hugging Face上找到DBRX基础和微调模型。该项目的GitHub上有更多资源和代码示例。

(照片由Ryan Quintal提供)

© 版权声明

相关文章

暂无评论

暂无评论...