在基础模型时代开发AI系统

从 MLOps 到 FMOps

分析师认为我们正在进入人工智能的工业化时代。基础模型（FMs）是大型预训练的人工智能模型，可以轻松地适应新的用例，正在革新创意工作，并预计在未来几年中，随着越来越多的不同行业的用例被基于FMs的人工智能解决，将会增强或接管更多的知识工作。

在创意和知识产业中的公司正在努力制定策略，因为他们感觉他们的业务在未来几年可能会经历一次过山车式的飞翔。顾客向我们报告，对于某些任务，他们的工人使用现成的生成式AI工具已经提高了五倍生产力，在一天内完成了一周的工作。没有人想落后，但对许多人来说，不清楚从哪里或如何开始。

在这篇博客文章中，我们试图理解我们周围发生的一些变化，并提出了一个如何思考和应对持续的FM革命的总体策略。首先，我们将看看FMs本身以及它们与过去的区别。此后，我们将看看MLOps以及它如何被Foundation Model Ops（FMOps）所取代，后者更多地关注于使模型输出相对于仅关注性能和稳定性。总体而言，我们相信公司现在可以建立数据和AI基础设施，以便能够跟上即将发生的任何创新。关键在于建立坚实的内部数据管理并开始优化内部流程。FMOps为启动这种进化提供了关键。

逐渐地，然后突然：基础模型

基础模型(Foundation Model，FM)一词由斯坦福大学的研究人员在2021年的一份报告中首次提出并定义为以下内容：

基础模型是一种机器学习模型，它在广泛的数据规模上进行训练，以便可以适应各种下游任务。

虽然大多数人都认为这种转变确实正在发生，但行业内许多人并不认为这具有重要意义，因为这些新模型最初仅限于研究实验室和偶尔的演示应用。然而，随着ChatGPT等模型的出现，对于每个人来说，我们正在见证根本性的范式转变。以前，机器学习模型是被训练来完成特定任务，然后与其他模型和业务逻辑链接在一起进行决策。FMs是预先训练在数千亿参数上、使用大量计算（例如LLaMA：118 gpu年）的多模态数据（例如文本和图像）进行的模型，然后被引导相对独立地执行复杂任务。

斯坦福大学的研究人员指出，出现和同质化是理解正在发生的转变的有用概念。随着模型变得越来越大并且受到更多数据的训练，它们开始展现出自发行为。这意味着，虽然它们被训练执行非常简单的任务，如预测下一个单词或从这张图片中移除噪音，但它们将开发出复杂的行为来达到这个目的。这些更复杂的模式，例如阅读理解（类似于人类推理）或像梵高画画（类似于人类创造力），从未被明确地训练。它们只是从学习重建数据中出现。