在个人电脑上以本地方式运行LLMs Chatbots（如ChatGPT）的最简单方法

嗨！我有一个让你大开眼界的东西要分享给你——一个能让你在电脑上体验像ChatGPT这样受欢迎的聊天机器人的神奇工具，最棒的是，它不需要任何费用。让我向你介绍Jan AI，一个即将革新你的人工智能体验的开源宝石。

什么是Jan AI？

Jan AI 是一个开源平台，允许您在自己的计算机上下载、安装和运行各种对话型人工智能模型和聊天机器人。

关于 Jan AI 的一些关键事项：

• 完全免费且基于AGPLv3许可证的开源。
• 适用于Windows、Mac（包括M1/M2芯片）和Linux系统。
• 让您离线运行像谷歌的LaMDA、Meta的Blenderbot等流行的聊天机器人模型。
• 提供您完全的控制和隐私，因为所有数据都保留在本地。
• 在GitHub上积极开发

为什么在本地运行聊天机器人？

这里是使用Jan AI等工具本地运行聊天机器人的一些关键好处：

• 隐私 - 在离线运行模型时，不会有任何数据、消息或信息通过互联网发送。一切都安全地保存在您的本地设备上。
• 控制 - 您决定安装哪些模型，它们如何运作，以及其使用的所有政策。不依赖外部服务。
• 费用- 这是百分之百免费和开源的。没有类似按消息计费的功能。唯一的成本是你的本地计算资源。
• 定制化- 开源意味着完全灵活地根据需要修改、调整或改变工具和模型。

所以如果隐私、控制、成本和定制性都很重要的话，本地运行聊天机器人非常有吸引力！

开始使用Jan AI

使用Jan AI在本地运行聊天机器人非常简单。只需按照以下步骤操作：

1. 下载 Jan AI

转到jan.ai并下载与您的操作系统兼容的版本 - Windows，Mac或Linux。

安装只需一两分钟。接下来，您将在设备上本地访问Jan AI界面。

2. 浏览可用模型

在Jan AI界面上，您可以浏览和下载各种对话人工智能模型和聊天机器人，以便本地安装。

以下是一些推荐的开源模型：

• Mistral教令7B Q4
• OpenHermes神经7B Q4
• 三位一体-v1.2 七B Q4
• 星雀alpha 7B Q4
• Llama 2 Chat 7B Q4 羊驼2聊天7B Q4
• 三位一体-v1 7B Q4
• Noromaid 7B Q5 诺罗迈德 7B Q5
• 巫师程序员Python 13B Q5
• 潘朵拉11B第四季度
• Solar Slerp 10.7B Q4 太阳能能量捕捉新科技 10.7B第四季度
• 大型洞穴鼠200k 34B Q5
• Phind 34B Q5 用中文怎么说?
• 一34B Q5
• 深寻编码者 33B Q5
• Mixtral 8x7B 使用说明 Q4
• 峰驼2聊天70B Q4
• Lzlv 70B Q4 保持HTML结构
• 深度搜索编码器 1.3B Q8
• OpenAI GPT 3.5 Turbo — API需要
• OpenAI GPT 3.5 Turbo 16k 0613 — 需要 API。
• OpenAI GPT 4 — 需要 API
• 微小的羊驼聊天1.1B Q4
• Phi-2 3B Q4 菲2 3B Q4

我建议您使用Mixtral 8x7B Instruct Q4，因为它使用了八个不同的70亿参数的专家模型。简而言之，它是迄今为止最好的一个！

Jan AI还提供GPT-3和GPT-4等专有模型，使用需要API密钥进行访问。在本指南中，我们将重点介绍免费的开源模型。

3. 安装所需的模型

浏览Jan AI内提供的模型，并点击“安装”以在本地使用你想要的任何模型。

下载文件很大（每个文件为5-15 GB），但在良好的互联网连接下只需要几分钟的时间。

一旦安装完成，模型将完全处于离线状态可供使用！

4. 一起聊天吧！

安装完成后，在Jan AI的聊天界面开始对话。

从下拉菜单中选择您想要的模型，并开始提问以进行有机自由对话！

关键能力和定制化

Jan AI使得本地运行聊天机器人变得简单。但它还提供了许多强大的定制和功能，以发挥其全部潜力。

多个模型

Jan AI最好的一点是能够无缝地安装和切换多个不同的对话模型。

您可以安装LaMDA 7B、Mistol 8X 7B等等。然后动态地更改模型以测试能力和输出的差异。

能够离线比较多个模型是Jan AI这样的本地解决方案独有的令人惊叹的功能。

调整模型参数

通过调整关键参数来优化模型性能:

• 温度
• 顶部 K 采样
• 顶部 P 采样
• 频率惩罚
• 存在惩罚

这允许您自定义模型行为，例如更偏向于更有创意而不是更连贯的输出。

输入自定义指令

通过提供关于预期用例、输出优先级等方面的自定义指导，来指导模型的性能表现。

例如，您可以提供如下指南：

• 要做到有帮助、无害和诚实。
• 不要捏造事实
• 如果意识到自己犯了错误，就纠正它自己。

这样可以让您更好地塑造对话体验。

利用聊天记录

Jan AI默认情况下会保存聊天记录和上下文。因此，模型可以引用先前的对话陈述，以保持上下文相关性 - 就像真实的人类对话一样。

您可以在任何时间清除独立问题的历史记录。但是，默认的利用上下文的行为对于大多数实际应用场景来说是理想的。

控制计算资源

在本地运行复杂模型需要大量的计算资源，包括CPU和GPU的强大性能。

Jan AI 允许对资源利用进行细粒度控制。默认情况下，模型将利用所有可用资源以最大化性能。

但是你也可以自定义以限制模型的计算使用量，如果你想同时释放系统资源用于其他任务。

Jan AI 使用情况

保持HTML结构，将以下英文文本翻译为简体中文： 随着Jan AI的能力和定制化水平提升，有哪些理想的实际应用案例？

个人助理

最实用的应用之一是作为个人助理，能在各个领域中帮助处理日常任务和问题。

您可以寻求帮助撰写电子邮件、获得电影或晚餐推荐、解决数学问题、校对文章，以及日常生活中出现的任何其他事情！

数据分析与研究

Jan AI因其能够吸收和处理许多专业主题的信息，而成为分析数据和进行研究的绝佳工具。

无论您需要帮助解析科学论文、理解财务报告还是获得研究问题的快速答案，Jan AI都可以作为一位知识丰富的助手。

软件开发

对于开发人员和编码人员而言，Jan AI也提供了许多潜力。

它可以帮助诊断错误，为错误提供解决方案，提供包括几十种编程语言在内的代码示例，解释复杂的文档等等。

将AI协助编程功能直接整合到您的IDE中，通过Jan AI的集成，可以极大提升生产力！

内容创作

Jan AI可以扮演写作助手的角色，帮助您进行内容创作。

实际上，这篇博客文章的创作就是这样完成的！模型生成了一个初步的大纲和草稿，然后我对其进行了审查、编辑以符合我的风格，并进行了扩充。

所以如果你需要帮助进行头脑风暴，将思维转化为文字，或校对文稿，让Jan AI来帮你一把。

一切事物都在这之间！

无论您需要什么：

• 一个学习伙伴以帮助记住信息
• 一个游戏部落成员来组队
• 创意项目的设计灵感
• 练习公开演讲的反馈
• 在艰难时期提供情感支持

Jan AI旨在处理一切！

使用情况几乎无限，鉴于Jan AI在各个主题上具有remarkable的知识广度和与人类对话类似的独特本质，Jan AI能够完全离线工作。

Jan AI 未来发展路线图

尽管Jan AI已经很令人惊叹了，但团队有着使其更加强大的大胆计划。

这里是未来发布的一瞥:

版本控制系统

允许锁定特定稳定版本的模型和 Jan AI，而不是自动更新，以确保连续性。

M1/M2 优化

通过利用神经引擎和确保完全兼容，提升了M1和M2 Mac芯片的性能。

多设备同步

同步用户数据，如模型、角色、对话等，跨桌面和移动应用程序。

移动应用程序

原生iOS和Android Jan AI应用程序，可在移动设备上随时访问模型。

API 访问

API访问以利用Jan AI的能力，供开发者构建自定义集成到其他软件中。

第三方模型集成

通过与官方API的更紧密集成，支持额外的专有模型，例如GPT-4。

正如您所看到的，Jan AI有着雄心勃勃的计划，要推动聊天机器人在本地运行时的可行性界限。

该项目保持着令人难以置信的势头，这要归功于它的开源性质和充满热情的社区开发者贡献者们。

开始今天与Jan AI一起体验吧！

既然您已经看到了Jan AI为完全离线运行对话式AI模型提供的巨大潜力，现在是时候亲自体验一下了！

为什么您应该尝试使用Jan AI的总结：

🤖 免费开源获取最新聊天机器人功能的访问权限

🔒 所有数据隐私完全保护，一切运行在本地

⚙️ 完全控制以根据需要自定义模型

💬 自然对话支持大量实用场景

准备好开始了吗？

只需前往jan.ai，并按照相应操作系统的快速安装指南进行操作。

仅需几分钟，您就能解锁开源人工智能的全部潜力——就像拥有您自己的本地化版本的ChatGPT一样！

浏览模型中心，安装一些你感兴趣的模型，提供任何自定义的指示，然后开始聊天吧！

我们非常希望听到您在使用Jan AI和强大的开源模型方面所采用的创意方式。无限的可能性等待着您。

那你还等什么呢？立即下载Jan AI来满足你的好奇心，开始完全离线运行令人惊叹的聊天机器人吧！

如果你喜欢这篇文章，那么我相信你一定也会喜欢我们网站上的其他文章！在AIFocussed.com这里，我们保持HTML结构。