LLM chatbots的介绍和实施-指南
聊天机器人和语音机器人通过大语言模型（LLM）的集成，在质量和实施方法方面发生了重大变化。过去，公司不得不费力地预定义每一个问题和回答，这使得开发过程漫长且不灵活。如今，LLM和检索器辅助生成（RAG）等方法使得聊天和语音机器人能够快速高效地训练，使它们能够以非常具体和针对性的方式进行沟通。这自然也对LLM聊天机器人的实施和引入过程产生影响。即使在使用案例发现阶段，也有新的要求意味着LLM聊天机器人实施过程需要在某些地方重新定义。在接下来的帖子中，我将逐步为您介绍LLM聊天机器人的规划、实施和发布过程。
重新概括
何为大型语言模型（LLMs）？
一个大型语言模型（LLM）是一种先进的机器学习模型，专门用于理解和生成人类语言。这些基于深度神经网络架构如变压器的模型，通过大量的文本数据训练。通过这种训练，它们学会了识别模式、结构和单词、句子背后的意义，从而使它们能够用自然语言进行交流。
检索增强生成（RAG）是什么意思？
检索增强生成（RAG）是一种自然语言处理方法，它结合了信息检索器和文本生成器，以生成用户问题的精确答案。该过程始于检索器从大型数据库中拉取相关文档或数据，基于它们与用户问题的匹配程度。然后将选定的信息传递给生成器，通常是一个高级语言模型，比如基于转换器的大型语言模型。生成器利用这些信息来形成一个连贯而知情的回应。
什么是LLM聊天机器人？
LLM聊天机器人，或大型语言模型聊天机器人，是先进的人工智能系统，使用生成式人工智能来理解和生成人类语言。这些智能聊天机器人基于大型语言模型，如GPT-4或其他开源模型，经过大量文本数据训练，以深入理解上下文、语法和语义。这种先进的语言处理使LLM聊天机器人能够承担各种任务，从回答问题和创建内容到自动化客户支持。
在LLM聊天机器人的背景下，检索扩充生成（RAG）等方法起着重要作用。RAG结合了检索系统的功能，从数据库中检索相关文件或信息，以及大型语言模型的生成能力。这使LLM聊天机器人不仅可以基于训练模型作出回应，还可以整合公司自有信息源中的特定上下文信息，生成更精确和有根据的回应。使用RAG显著扩展了LLM聊天机器人的功能，使公司能够个别地补充聊天机器人的知识。公司甚至可以定义LLM聊天机器人只能访问公司提供的内容。这确保了机器人不会访问不需要或错误的信息。
LLM聊天机器人：这就是一个项目的进展方式
自2022年年底以来, 越来越多的LLM聊天机器人开始进入市场。当然, 每个LLM聊天机器人项目都是独一无二的, 需要不同的资源和优先考虑事项。然而, 一般来说, 公司在规划、实施和执行LLM聊天机器人时会经历以下步骤。
根据公司的预算和目标，每个阶段的范围可能会有所不同。
1. 澄清需求和定义用例
在计划LLM聊天机器人时，最初的步骤在其核心上并没有改变。每个项目都从仔细分析需求和确定合适的使用案例开始。
然而，LLM聊天机器人可以比以前基于意图的聊天机器人更有效地实施，这改变了关于以下问题的成本效益分析：‘聊天机器人对我们公司有意义吗？’越来越多的公司现在能够轻松实施他们的第一个LLM聊天机器人。
LLM和RAG技术的可能性也带来了在使用案例方面的重大变化。过去在限定话题上定义较小的使用案例时，现在LLM聊天机器人可以同时处理广泛的话题，只有当第三方系统或其他合作伙伴需要在后续流程中集成时，使用案例的限制才变得相关。
您可以通过查看我的LLM聊天机器人最佳实践的收藏来为您的用例找到灵感。
2. 定义技术和内容要求
一旦LLM聊天机器人的用例已经明确，第二步是详细定义技术和内容要求。
内容要求包括确定LLM聊天机器人应当具备的知识，包括回答特定查询和执行额外任务的能力，比如执行进一步的流程步骤，例如更改地址。LLM聊天机器人的语调也是需要考虑的重要方面，包括LLM聊天机器人应该具有多少个性以及该个性如何与公司和用户相关联。一些LLM聊天机器人强烈将他们的个性与用户的个性对齐，而另一些更加与公司的语调对齐，还有一些几乎没有个性或语调。
在技术要求方面，数据保护的问题至关重要，包括LLM聊天机器人使用和存储的数据可能被处理的位置。公司可以选择自己的服务器、自己国家的服务器或全球服务器，如美国的服务器。进一步的技术要求包括与其他系统的集成，例如CRM系统或内部工单系统，以及决定聊天机器人将在哪里实施，例如在网站上、在应用程序中或在封闭的登录区域。另外，多语言也是一个重要的考虑因素。
这一步骤的仔细和详细执行至关重要，因为缺少要求可能会对项目成功产生负面影响。因此，在这个项目阶段中，重要的是要让所有相关利益相关者参与，并考虑他们的需求。
3. 选择语言模型和技术
一旦所有要求都被明确定义，就会选择技术和语言模型。对特定语言模型的偏爱决策主要基于公司的数据保护要求。数据保护要求越高，对内部托管的渴望越强，就越可能选择开源语言模型。
在技术或技术合作伙伴方面，第一步是检查公司是否已经与可能实施LLM聊天机器人的技术提供商存在现有合作伙伴关系或合同。例如，许多公司与微软合作伙伴建立了伙伴关系，他们也可能实施计划中的LLM聊天机器人。（如果公司没有这样的合作伙伴，我可以推荐一些可信赖的合作伙伴，并乐意在此方面提供支持）。
可能需要一份官方招标书作为技术选择过程的一部分。这取决于公司内部的指导方针和项目的范围。
4. 收集和准备数据
一旦技术和语言模型确定，就需要提供数据。在这里，公司应与技术提供商密切合作，以确保数据以可用的结构提供。
同时，公司在这里必须非常小心地工作。如果培训数据被遗忘或质量低劣，那将对LLM聊天机器人的最终质量产生重大影响。
您可以在我的帖子LLM-Chatbots中阅读更多关于数据提供的信息 - 介绍机器人的新世界。
5. 创建提示
除了LLM chatbot要学习的数据外，提示也在最终chatbot的性能和行为方面起着重要作用。借助提示，公司可以定义chatbot的行为。这包括话语的主题，还有在不同情况下它的行为方式。例如，公司可以利用提示确定LLM chatbot应该如何处理侮辱。
当创建提示时，即刻工程的技能是显而易见的。同样，提示越精确和准确，LLM聊天机器人表现如何的可能性就越大。然而，值得注意的是，尽管有好的和经过测试的提示，LLM聊天机器人永远不会100%受控。可能会出现异常情况。
6. 实施：通过提示和数据丰富和微调LLM
一旦数据准备就绪并提示已定义，就可以开始实施。这个过程步骤通常是技术合作伙伴的责任。当然，公司也可以不需要额外的技术合作伙伴，自行连接语言模型。
一般来说，如果数据和提示已经清晰定义并提前准备好，实际执行就应该相对迅速。接下来的步骤将需要更多的资源和时间。
7. 测试和优化
该阶段展示了准备工作的质量。LLM聊天机器人必须经过彻底测试，并可能进一步优化。功能测试通常不会出现问题; 然而，内容相关的测试则要复杂得多。在这里，重要的是评估LLM聊天机器人在不同场景下的行为方式，以及是否以适当的方式提供所期望的答案。如果结果不令人满意，就必须制定优化措施。通常需要调整提示或增加额外内容。必要时，培训内容也必须进行更正或删除，如果存在误导或不正确的情况。
这个测试阶段会一直重复，直至LLM聊天机器人达到令人满意的质量。
8. 将聊天机器人集成到现有的渠道中（聊天或网站）。
在测试和优化完成后，LLM聊天机器人已经准备好集成到最终的聊天渠道中。大多数公司会将他们的LLM聊天机器人直接部署在他们的网站或者自己的应用程序中。这一集成过程在此阶段进行。
9. 发布LLM聊天机器人
完成后，LLM聊天机器人已经可以发布了。公司可以自行决定他们是希望软发布还是有广泛宣传的发布。对于软发布，LLM聊天机器人通常会在不事先宣传和少量推广的情况下上线。其他公司甚至可能会发布新闻稿以纪念这一时刻。
无论选择软启动还是大规模启动，公司都必须告知员工关于新的LLM聊天机器人。这包括详细的LLM聊天机器人工作原理和功能信息。
10. 获取反馈，优化并进一步开发LLM聊天机器人
如果您认为LLM项目的最后一步是发布，那么您是错误的。发布之后，工作还在继续。LLM聊天机器人必须持续监控，用户反馈必须仔细审查和分析。在大多数项目中，这个阶段会导致对LLM聊天机器人进行进一步优化和调整，尽管之前已经进行了测试阶段。
除了优化现有使用情况的方案之外，还应在发布后考虑进一步发展聊天机器人。很可能在未来将确定LLM聊天机器人可以承担的使用情况扩展或附加功能。
LLM 聊天机器人项目：常见问题
一个LLM聊天机器人项目需要多长时间？
LLM聊天机器人项目的持续时间取决于使用案例的范围。原则上，公司应该至少计划两个月或更长时间。非常快速的公司也可以在一个月内完成。然而，这更多是个例外。
LLM聊天机器人的成本是多少？
LLM聊天机器人的成本通常是可以控制的。小型项目的起始成本可能只需1万欧元。然而，需要注意的是LLM聊天机器人还有运营成本，这取决于语言模型和技术合作伙伴。此外，进一步发展当然也需要额外资源。
在这里也有LLM语音机器人吗？
LLM 语音机器人就像LLM 聊天机器人，但它们使用口语。LLM 语音机器人项目的过程几乎与LLM 聊天机器人项目相同。
LLM chatbots有多安全？
LLM聊天机器人的安全性取决于所选择的语言模型和技术提供商。原则上，LLM聊天机器人可以实现高度安全。在金融领域已经有一些LLM聊天机器人。如果安全性不能得到保证，这些聊天机器人就不会存在。
顧客如何對待LLM聊天機器人的反應？
LLM chatbot的初步评估显示客户对LLM chatbot的反应积极。 客户正在逐渐了解LLM和RAG的新技术对chatbot质量产生的积极影响。 客户越来越多地使用LLM chatbots，他们的查询复杂性也在增加。
在哪里可以看到LLM聊天机器人的示例？
在我关于LLM聊天机器人最佳实践集合的帖子中，您将找到按行业分类的各种LLM聊天机器人的概述。
而你什么时候开始？
您是否想要开始自己的LLM聊天机器人项目？或者您有其他问题需要先解决吗？
在这两种情况下，请务必与我联系。我已经支持和管理过许多LLM聊天机器人项目，也很乐意支持您。
只需给我发送消息 — 最好通过WhatsApp消息或电子邮件。
联系Sophie.
顺便提一下，这篇文章也可作为播客的一个集数。
注意！这个播客完全是由我的 AI 助手根据我的帖子创建的 —— 不保证内容的准确性。
听Sophie的AI助手播客。
我使用了SwissGPT的人工智能技术来优化这篇文章的语言。
