AI公司Guardrails AI推出开源平台，帮助企业应对GenAI风险

6.4K 0 0

摘要: Guardrails AI是一家创业公司，旨在众包战斗和减轻Genai Models倾向的趋势。

近日，Guardrails AI创始人Shreya Rajpal表示，大多数企业在部署AI应用时都面临着相同的问题，即如何负责任地应对AI带来的风险，并找到最佳、最高效的解决方案。为了解决这一问题，Rajpal创办了Guardrails AI。

根据最近的一项调查，复杂性和风险是企业采用GenAI的主要障碍之一。英特尔子公司Cnvrg.io的一项调查发现，合规性和隐私、可靠性、实施成本高以及缺乏技术技能是约四分之一的企业在实施GenAI应用时共同关注的问题。另一项来自风险管理软件提供商Riskonnect的调查显示，超过一半的高管担心员工基于GenAI工具提供的不准确信息做出决策。

Guardrails AI的平台是一个开源的封装层，用于使GenAI模型更加可信、可靠和安全。与市场上其他类似产品不同的是，Guardrails AI采用了开源的商业模式，并通过名为Guardrails Hub的市场来实现众包的方式。

Guardrails Hub是一个开放的论坛，用于分享知识、寻找进一步推动AI应用的最有效方法，以及构建可重用的防护措施，供任何组织采用。Guardrails AI的开发人员可以在Guardrails Hub上提交名为“验证器”的模块化组件，用于检测GenAI模型的行为、合规性和性能指标。其他开发人员和Guardrails AI的客户可以部署、重新利用和复用这些验证器，作为定制GenAI模型调控解决方案的构建块。

Guardrails Hub的验证器范围从简单的基于规则的检查到算法检测和缓解模型中的问题。目前已经有大约50个验证器，包括幻觉和政策违规检测器、专有信息和不安全代码过滤器。

Guardrails AI最近完成了一轮750万美元的种子轮融资，由Zetta Venture Partners领投，Factory、Pear VC、Bloomberg Beta、GitHub Fund以及AI专家Ian Goodfellow等参投。Rajpal表示，这笔资金将用于扩大Guardrails AI的团队和开展更多的开源项目。

Guardrails AI的目标是解决许多企业和开发者因为缺乏保证和风险缓解而无法推出GenAI应用的问题。他们希望成为解决这一问题的先驱者。