AI开发技巧＃9：GPT4ALL-本地运行AI。免费。私人/脱机。

打开这个免费的本地AI应用，它使用开源LLM模型，并致力于让AI更容易、更易获取。

GPT4ALL，由Nomic AI提供，是一个非常容易设置的本地LLM界面/应用程序，它允许您像在ChatGPT或Claude中一样使用AI，但不需要通过互联网在线发送您的聊天。

总结一下：这款产品非常有趣、简单且值得推荐。赶快下载吧。顺便说一下，我与这家公司/产品没有任何关联，只是觉得它很酷。

AI在您下载了LLM模型后完全脱机运行（对于非远程使用本地—您还可以选择远程API密钥模型，将您的聊天发送）。所以，如果您想在喜马拉雅山区或遥远的蒙大拿州徒步旅行和露营，您可以把AI带在帐篷里！

当然，还有许多其他原因可以使用本地人工智能。

在这篇文章中，我将展示如何进行“开箱”并向您展示如何安装和开始使用 — 以下是全部内容。

首先让我们来看一下所提供的概览…

GPT4All的优势和特点

可以在本地运行：无需互联网，隐私性更好。您还可以选择远程模式，鉴于这种情况将不是本地的。
私人的。聊天信息保留在您的设备上，确保数据安全。（除非选择数据共享或像ChatGPT这样需要 API 的远程模式）

本地私人文档。它使您能够与本地存储的私人文档进行聊天，这样您就不必将这些文档提供给其他服务提供商，例如您的财务或个人文档。
更加安全。他们称没有数据离开您的设备（尽管在安装时存在数据共享选项，所以如果您想要贡献您的数据，或者选择一个API远程LLM模型，数据共享是可能的）
UI看起来不错，非常容易使用。
速度。由于它全部位于本地，响应时间更快。
支持多种硬件。CPU，GPU，Mac M系列芯片。
LocalDocs 功能。如前所述，与您的私人文件聊天，并支持 PDF、Word、文本、Excel 文件等等。
可定制的提示：为了更好的结果，可以定制互动。您可以更改设置和提示模板。
支持1000多个开源模型。选择一个模型。预先安装很多模型。比其他人工智能在线网站更容易尝试不同的模型。
开源。MIT许可证，完全可审计。
社区驱动。得到大量用户和开发者支持。
企业版可用。额外功能供企业使用，额外收费。
Python SDK 可用。文档：“在Python中使用GPT4All编程，使用llama.cpp后端和Nomic的C后端实现的LLMs。Nomic为像llama.cpp这样的开源软件做出贡献，使LLMs对所有人都更加可访问和高效。”
民主数据培训。选择性参与培训贡献。
嵌入式索引：为更快文件检索创建索引。

可能要探究的缺点：

在其他人工智能网站上一些定制的在线功能，如我们在ChatGPT在线上所获得的，可能不可用。但是，您可以自定义提示。
没有实时更新。离线模型无法访问最新信息，除非手动更新，可能会更过时。
企业有额外费用。企业级功能可能会更昂贵。
企业功能或多种模型可能增加复杂性。根据业务需求定制解决方案可能需要额外的配置和技术专长。
硬件限制。离线运行AI模型可能需要大量资源，需要强大的硬件，这些可能并不是所有用户都可以使用的。
如果使用选择性数据共享可能会涉及隐私问题。为了改善模型而贡献数据可能会引发隐私或安全方面的担忧，尤其是对于敏感业务数据。
一些模型（比如ChatGPT）需要API密钥，这意味着数据会离开您的本地设备。有关API密钥远程LLM模型的文档：“这不会将模型文件下载到您的计算机上以进行安全使用。相反，与模型交互的方式是让您的提示离开您的计算机，发送到API提供商并将响应返回到您的计算机。”

🥰 感谢阅读... 如果您喜欢这篇文章，请鼓掌、关注和分享，谢谢！🚀

阅读以下内容以获得“开箱”和截图。

安装GPT4All

您可以在GPT4ALL主页或此URL上看到下载链接：

下载：https://docs.gpt4all.io/

快速入门：https://docs.gpt4all.io/gpt4all_desktop/quickstart.html

点击下载链接后，它首先下载安装程序。这不是完整的应用程序，也不是LLM 模型，仅仅是安装程序。

双击它，然后启动设置。

再次强调，这只是安装程序，不包括完整的应用程序和模型。

以下是实际安装情况，写作时，我在MacOS上下载的文件大小为733.18 MB — 这不包括LLM模型，只是应用程序，我认为我的还添加了开发模块。

在选择的模型中，LLM的大小取决于您选择的模型 - 大多数在3GB到7GB之间，平均约为4GB，迄今为止我见过的最小的是894MB。您还可以像ChatGPT这样使用远程LLM，而无需下载完整的模型，但这样您的聊天将不是本地的。

请参阅本文末尾有关热门车型更多详细信息。

下载二进制文件。

安装完成并启动应用后的第一个屏幕。在屏幕的右下角，您将被要求选择数据使用分享…您必须选择加入，否则您的数据应该保持私密（根据文档）。

主屏幕 — 我已在菜单所在的位置添加了红色框。

你可以：

开始聊天。但是，我们还没有添加LLM模型。我们需要首先添加它，才能开始在本地与AI聊天。
添加LocalDocs。这是我们上传文档以供AI消化的地方。
找模型 - 这是我们下载和加载LLM模型所需进行聊天的地方 - 这是“人工智能”的部分

我没有安装模型。所以当我点击聊天时，我得到了这个结果：

现在您可以通过搜索或浏览来浏览模型 - 只有少数模型已经在列表中，无需搜索，例如Llama 3x（Meta的开源模型）:

您在这里看到了ChatGPT 4，但需要API密钥。

我选择了Llama 3.2 3B Instruct，这是目前较好的开源模型之一。这是Meta团队发布的。

现在我回到了聊天选项卡。

我输入了提示:

请问你能给我一个马来西亚小贩档口前15名食物清单吗？每个项目都要以项目符号为标题，并附有口味和食材描述。

正如你所看到的，如果你了解马来西亚美食，它表现得相当不错！我爱马来西亚美食。

您也可以在这里更改设置。让我们来看看设置屏幕。

正如您所看到的（上面和下面），您可以更改一些设置，添加模板，CPU线程，温度（以获取更多聊天的变化性），代币数量，字体大小，主题等。

令牌变量:

暗色模式:

您可以从聊天框底部的小菜单和上面的图片中获取Markdown。

Prompt: Can you give me a list of the top 15 foods in Malaysia at hawker stalls, with each entry as a bullet point having a label and a description of the flavors and ingredients?
Response: Here's a list of the top 15 foods in Malaysia at hawker stalls, along with their flavors and ingredients:

• **Char Kway Teow** (Stir-Fried Noodles)
 + A classic Malaysian dish made from stir-fried flat rice noodles, prawns, pork, vegetables, and soy sauce. The combination of sweet, savory, and umami flavors makes it a crowd favorite.

• **Hainanese Chicken Rice**
 + Poached chicken served with fragrant coconut milk-infused rice, chili sauce, ginger paste, and ginger slices. This dish is a staple in Malaysian cuisine, offering a perfect balance of spicy and soothing flavors.

• **Laksa** (Spicy Noodle Soup)
 + A popular noodle soup made from a rich broth flavored with spices like cumin, coriander, and cinnamon, served with rice noodles or egg noodles. The spiciness level can vary depending on the type of laksa, but it's always satisfying.

• **Roti Canai** (Indian-Style Flatbread)
 + A thin, flaky flatbread made from flour, water, and ghee (clarified butter). It's often served with curries or dhal (lentil soup) for a delicious and comforting meal.

• **Nasi Lemak** (Coconut Rice)
 + Steamed rice cooked in coconut milk, pandan leaves, and spices. This fragrant dish is typically served with fried anchovies, peanuts, boiled egg, and spicy sambal sauce.

• **Wonton Mee**
 + A Cantonese-style noodle soup made from thin noodles topped with dumplings filled with shrimp or pork broth. The combination of savory flavors and soft noodles makes it a hawker stall favorite.

• **Kueh Pie Tee** (Fried Dumpling)
 + Crispy fried dough wrapped around sweet fillings like coconut, bean paste, or egg yolk. This classic snack is perfect for satisfying your cravings on-the-go.

etc.

当前流行的用于 GPT4All 的模型：

您可以在此处阅读有关不同LLM的更多信息：AI Dev技巧＃8：面向开发人员的顶级AI LLM（大型语言模型）

这是我在GPT4ALL看到的模型列表中排名靠前的内容：

阿帕 3 (说明): 这个由 Meta 开发的模型是一个优化用于基于指令的任务的 80 亿参数模型。它在消费级硬件上高效运行，为日常任务提供良好性能。
诺斯 Hermes 2 （Mistral DPO）：这个模型拥有70亿个参数，是Mistral和诺斯研究之间的合作。它旨在提供高效性能，同时具有稳固的通用语言功能。
小型虎鲸（小型）：微软推出的一个小巧型号，具有 30 亿个参数。这个模型专为轻量级任务而设计，同时保持高效性能。
Mistral 7B 基本版：一种流行的开源模型，设计用于更高级的任务，特别是在需要遵循指示和进行对话的情景中。具体领域和任务，使其适用于专业应用程序。

在GPT4ALL应用程序中，你可以搜索更多的型号。

希望你觉得这很有趣！很快我们会发布另一篇文章，深入探讨这个应用程序，我将在接下来的几天内深入研究LocalDocs、代码以及更多可能性。

🥰 感谢阅读... 如果您喜欢本文，请拍手、关注并分享，谢谢！🚀

快速推广：请查看我在Store.SystemsArchitect.io上的云工程PDFs/Ebooks——它们在云架构师/工程师的最佳实践和云成本节省方面非常强大。