从“令牌”到“GPT魔药”

通过释放开源LLMs和GPU租赁，我与开源LLMs一起展开的计算探索之旅，揭开储蓄的奥秘。

你好，好奇的学习者！

想象一下，我们身处于一个充满魔力的世界，这个世界里有一种特殊的计算机程序被称为大型语言模型（LLMs）。这些LLMs就像巫师一样，能够理解并生成类似人类的文本。

现在，我想告诉你关于我最近承担的一个大项目。我必须给这些LLMs四百万个不同的任务，比如回答问题或者写句子。每个任务就像是一个有很多碎片的拼图，而且总共需要巨大的工作量，大约五十亿个碎片！

通常情况下，当我们使用这些LLM时，我们必须为它们工作的每个小部分付费，就像把硬币放入自动售货机一样。如果我为这个项目付费，将会花费很多钱！

但是这里有个有趣的部分：我找到了一个聪明的方法来节省很多钱。我不是为每一件东西付钱，而是根据LLMs工作的时间付费，就像租用一个魔法咒语一样，付一定时间的费用。事实证明，这样做要便宜得多。

因此，在这个故事中，我会告诉你我是如何做到的，什么有效，什么无效。

切记，这些东西的价格可能会变动，就像商店里的价格一样，可能会上涨或下降。但主要的想法是，当你有一个大项目时，使用这些特殊的LLM并像魔法咒语一样租借它们，可以节省很多钱。

聊天GPT API的编年史

在我的项目开始时，我使用了两个特殊的计算机程序，分别叫做GPT-3.5和GPT-4。这些程序在处理文字任务方面非常出色，比如回答问题或写句子。在这些任务中，GPT-4比GPT-3.5稍微好一些。

现在，这是重点：使用这些程序就像在商店购买东西一样需要花费很多钱。想象一下，如果我必须使用这些程序来处理四百万个不同的任务，那将会非常非常昂贵。 保持HTML结构

但有一个问题：尽管GPT-4要比GPT-3.5更好，但价格却比GPT-3.5贵得多。然而，GPT-3.5有时会犯错误，大约有2到3%的时间。因此，我不得不决定是否值得花更多的钱来用GPT-4得到稍微更好的结果。最后，花7600美元在一个主要用于个人使用的项目上是没有意义的。

简单来说，就像在一个昂贵但稍微更好的工具和一个便宜但相当好用（即使存在一些错误）的工具之间做选择，而这就是有趣之处。

开源魔法书的救赎

所以，有一种神奇的做事方式叫做“开源魔法书”。它就像一本特殊的法术书，任何人都可以免费使用。有趣的是我们如何支付。与其为每个小事情付费，比如使用一个魔法词语，我们为使用魔法书的时间付费。

想象一下有一个叫做Petals.ml的地方，你可以免费使用这本魔法书，但是你需要遵守一些规则。

我尝试了一些来自“拥抱之脸”（Hugging Face）团队的不同魔法书籍，我发现有一本名为“稳定白鲸2”（Stable Beluga 2）的书已经相当不错了。它比另一本名为“GPT-3.5 Turbo”的书要好，但却不如“GPT-4”那本好。然而，“稳定白鲸2”需要一台非常强大的计算机才能良好运行。因此，我决定尝试更大版本的“稳定白鲸2”，但结果并不如我所希望的那样。

简单来说，就像使用免费的魔法书来完成你的工作，但是你必须小心规则。有些魔法书的效果比其他书更好，有时候更大的魔法书需要非常强大的电脑才能正常工作。

The Art of Enchantment: 细致调校

为了让我的魔法更加强大，我结合了两个特殊工具：GPT-4和Petals.ml（它就像一本巨大的叫做“稳定白鲸2-70B”的魔法图书馆）。我使用这些工具制作了自己的特殊魔法书，就像一个巫师的咒语书一样。

我用Petals.ml写下了25,000套问题和答案，还用GPT-4写了2,000套。因为Petals.ml就像一个图书馆，需要等一会儿才能得到神奇的书籍，所以速度有些慢。如果我做了全部四百万套问题和答案，那得花上一整年！

但好处是，Petals.ml让我免费使用它的魔法，我用它制作了27,000套问题和答案。通过我创建的这本特殊魔法书，我使得GPT-4变得更好。这只花费了6.6美元，并且只需要使用一台被称为Nvidia A100 GPU的强大计算机进行了六个小时。最终，我的魔法书比GPT-3.5效果更好，尽管它仍然略微落后于GPT-4。

“推理”的熔炉

现在，让我们谈谈我们使用魔法完成工作的一部分。为了使用这种魔法，我需要一个特殊的工具，称为RTX 3090 GPU，它就像一个超级快速和强大的巫师魔杖。

我有四个选择来获取这个工具：AWS，LambdaLabs，RunPod和Vast.AI。

亚马逊云服务（AWS）就像一座坚固可靠的堡垒，但价格相当高昂。RunPod就像一个价格不太高且易于使用的场所。Vast.AI引起了我的注意，因为它似乎价格实惠，但一些人称其可能有些不可预测。

我决定使用Vast.AI是因为我想省钱，尽管它有一些风险。这就像选择一个租借强大工具给你的魔法的地方，我选择了那个更符合预算的，即使它有一些小问题。

以更简单的方式来说，就好像确定在哪里租用一个强大的工具来进行工作，而我选择了价格较便宜的那个，即使它可能存在一些不确定性。

通过对Vast.AI的观察，我找到了价格性能最理想的庇护所，下面是我找到的几个宝藏：

地图：使用经过调整的LLama2 7B计算的项目总成本。根据每秒迭代的节奏、每小时GPU租赁的收费和所需的迭代次数进行计算。

正如我之前所提到的，使用魔法来完成我的工作的费用可能只需99美元。我使用了一种称为RTX A5000的特殊工具，它就像一件神奇的乐器，提供了极佳的性价比。

但这里有一个真正的秘密：我使用了一个特殊的助手叫做VLLM，它就像是一个超高效率的助手，使我的工作速度比没有使用它的情况下快了20倍。所以，尽管我整个项目花费了575个小时（相当于24天），但是通过同时使用几个这样的神奇工具，我可以让工作进程加快很多。

以简单的方式来说，我找到了一种方法，通过使用特殊的工具和助手，使我的工作变得更便宜、更快速。就像有一支魔法师团队一起快速、经济地完成任务。

结论：一个胜利和创新的故事

简而言之，以下是发生的事情：我进入了计算机魔法的世界，发现了一些非常强大的工具，它们能够像人类一样理解和创造文本。通常情况下，使用这些工具可能非常昂贵，就像花费许多钱一样。

但我发现了一个聪明的方法来省很多钱。与其为每一点小事付费，比如用硬币买糖果，我选择为使用这些强大工具的时间付费。结果证明这样更便宜。

所以，最后，我只在我的大项目上花了150美元，就像找到了一颗节省的宝藏。如果我使用了其他一些强大的工具，那就会花费我更多的钱，像是150,000美元或7,000美元！

这次冒险显示出，使用这些特殊工具并按小时支付费用可以节省很多钱，尤其是对于大型项目来说。这就像找到一种在不花太多钱的情况下完成大型、神奇任务的方法。这个想法不仅可以帮助大型团体，还可以帮助希望使用这些魔法工具做重要事情的普通人。

所以，最后，这个故事证明了聪明地使用这些神奇的工具可以让大任务变得更加容易和便宜。这就像一堂关于明智使用魔法并在过程中节省大量金钱的课程。

价格说明

我在这个故事中谈到的价格是基于我自己的经验，它们就像路标一样，可以帮助你理解事物之间的比较。但是请记住，价格可能会根据你所在的地方和所做的事情而变化。所以，最重要的是要记住，你可以通过使用特殊工具并按照一定的时间租用它们来节省很多钱，而不是过分纠结于它们的具体成本。

简单来说，主要的想法是价格可能会有所不同，但关键是明智地使用特殊工具，并通过租用它们以节省费用在你需要的时候。

如果你想详细教程，只需在评论中告诉我，我会像邓布利多一样展示给你看如何做。

感谢您深入这些迷人的编年史！请与我一起踏上神秘之旅，探索机器学习和生成人工智能的未知领域。

如果您一直旅行到这里，请在下面的卷轴中分享您的存在，并与我在神秘的领英山谷相连。

GPU租赁推荐：

最佳总体：RunPod.io（GPU租赁）最节俭：Vast.AI

愿你的法术强大而你的魔力无穷无尽！