开源 AI 模型得到广泛应用，使世界各地的开发人员能够构建定制的 AI 解决方案并将其托管在他们选择的地方。
长期以来，开源一直推动着创新和尖端技术的采用，从 Web 界面到云原生计算。在蓬勃发展的开源人工智能 (AI) 领域也是如此。开源 AI 模型以及构建和使用它们的工具正在成倍增加，使世界各地的开发人员能够构建自定义 AI 解决方案并将其托管在他们选择的地方。
它发生的速度比你想象的要快。在我们对美国、德国、印度和巴西软件开发团队的 2,000 名企业受访者进行的调查中，几乎每个人都表示他们曾尝试过开源 AI 模型。调查没有具体询问生成式 AI 模型和大型语言模型 (LLM)，因此这些结果可能包括其他类型的 AI 和机器学习模型。值得注意的是，我们在开放源代码倡议发布其对开源 AI 的定义之前进行了调查。
但调查结果表明，开源 AI 模型的使用已经非常广泛 — 而且随着更多模型的激增和更多用例的出现，这一趋势预计还会进一步增长。让我们来看看开源 AI 的崛起，从小型模型的日益兴起到生成式 AI 的用例。
在本文中，我们将：
- 探索当今公司在生产中使用开源 AI 模型的方式和原因。
- 了解开源如何改变开发人员使用 AI 的方式。
- 展望未来小型开源模型的使用范围。
为什么要使用更小、更开放的模型？
开放的（或至少不那么专有的）模型，例如 DeepSeek 模型、Meta 的 Llama 模型或 Mistral AI 的模型，通常可以下载并在您自己的设备上运行，并且根据许可证，您可以研究和更改它们的工作原理。许多模型都是在较小、更集中的数据集上进行训练的。这些模型有时被称为小型语言模型 (SLM)，它们在某些情况下开始与 LLM 的性能相媲美。
什么样的人工智能模型才算是开源的？
开放源代码倡议 (OSI)将开源 AI 系统定义为授予以下自由的系统：
无需请求许可即可将系统用于任何目的。 研究系统如何工作并检查其组件。 为了任何目的修改系统，包括改变其输出。 与他人共享系统，以供其出于任何目的使用（无论是否修改）。 根据 OSI 的定义，开源 AI 系统的开发人员需要提供：
源代码 权重等模型参数 有关所有训练数据的信息以及获取位置 值得注意的是，这一定义仍然存在激烈争论，因为一些被描述为开源的模型不会披露训练代码或数据，并且可能有一些使用限制。最好将开放性视为一个范围，有些模型比其他模型更开放。
GitHub Next 负责人 Idan Gazit 解释说，使用这些小型模型有很多好处。它们运行成本更低，可以在更多地方运行，包括最终用户设备。但也许最重要的是，它们更容易定制。
人工智能顾问、前 GitHub 员工 Hamel Husain 解释说，虽然 LLM 在需要回答各种问题的通用聊天机器人方面表现出色，但组织在需要小众解决方案时往往会求助于较小的人工智能模型。例如，使用开源 LLM，您可以定义语法并要求模型仅根据该语法输出有效的标记。
“开放模型并不总是更好，但你的任务越狭窄，开放模型就会越出色，因为你可以对该模型进行微调并真正区分它们，”侯赛因说。
例如，一家可观察性平台公司聘请侯赛因来帮助构建一种解决方案，该解决方案可以将自然语言转化为公司的自定义查询语言，以便客户更轻松地编写查询，而无需了解查询语言的来龙去脉。
这是一个狭义的用例——他们只需要生成自己的查询语言，不需要其他语言，并且需要确保它能产生有效的语法。“他们的查询语言并不像 Python 那样流行，所以模型没有见过很多例子，”Husain 说。“这使得微调比处理不那么深奥的主题更有帮助。”该公司还希望保持对 LLM 处理的所有数据的控制，而无需与第三方合作。
Husain 最终使用 Mistral AI 当时最新版本的广泛使用的开放模型构建了一个定制解决方案。“我通常使用流行的模型，因为它们通常已经过微调，并且通常有一条实现它们的铺平道路，”他说。
开源为大语言模型 (LLM) 的世界带来了结构
您可以看到开源模型的快速采用的一个地方是与它们配合使用的工具。例如，Outlines是一种越来越流行的工具，用于使用开源和专有模型构建自定义 LLM 应用程序。它可以帮助开发人员定义 LLM 输出的结构。例如，您可以使用它来确保 LLM 以 JSON 格式输出响应。它的创建很大程度上是因为需要精细调整、特定于任务的 AI 应用程序。
在之前的工作中，Outlines 的联合创始人兼维护者 Rémi Louf 需要从大量文档中提取一些信息并将其导出为 JSON 格式。他和他的同事 Brandon Willard 尝试使用 ChatGPT 等通用 LLM 来完成这项任务，但他们在生成结构良好的 JSON 输出方面遇到了麻烦。Louf 和 Willard 都具有编译器和解释器方面的背景，并且注意到构建编译器和构造 LLM 输出之间存在相似之处。他们构建了 Outlines 来解决自己的问题。
他们将这个项目发布到 Hacker News 上，很快就取得了成功。“事实证明，许多其他人对无法使用 LLM 可靠地输出到特定结构感到沮丧，”Louf 说。该团队继续努力，扩展其功能并创办了一家初创公司。它现在有 100 多名贡献者，并帮助启发了 OpenAI 的结构化输出功能。
“我不能透露名字，但一些非常大的公司正在生产中使用 Outlines，”Louf 说道。
下一步
当然，使用开源模型构建定制解决方案也有缺点。最大的缺点之一是需要投入时间和资源进行快速构建。而且，根据您的应用程序，您可能还需要建立和管理底层基础设施。所有这些都比使用 API 需要更多的工程资源。
“有时组织希望对其基础设施有更多控制权，”Husain 说。“他们希望成本和延迟可预测，并愿意自己做出权衡的决定。”
虽然开源 AI 模型可能并不适合解决所有问题，但这仍处于早期阶段。随着小型模型的不断改进，新的可能性也随之出现，从在本地硬件上运行模型到在现有应用程序中嵌入自定义 LLM。
经过微调的小型模型在某些任务上的表现已经优于大型模型。Gazit 预计开发人员将把不同的小型定制模型组合在一起，并用它们来完成不同的任务。例如，应用程序可能会将有关实现数据库的最佳方式的问题提示路由到一个模型，而将代码完成的提示路由到另一个模型。“许多大卫的力量可能比一个歌利亚更强大，”他说。
与此同时，大型专有模型也将继续改进，你可以预期大型和小型模型的开发将相互促进。“在短期内，将会出现另一场开源革命，”Louf 说。“创新通常来自资源受限的人。”
准备好尝试开源 AI 了吗？ GitHub Models 为开源和专有模型提供了一个平台。您可以使用公开预览版来制作 AI 应用程序的原型、进行并排比较等。
免费开始使用 GitHub 模型。只需选择一个模型并单击>_ Playground即可开始。
评论