使用 ChatGPT 分析 SimilarWeb 数据
简介
市场分析在这个数据驱动的时代已经迈入了新的阶段。收集准确有用的数据，变得与有效解读数据一样至关重要。在本文中，我们聚焦于两种极为强大的工具的交叉领域：由SimilarWeb提供的综合数据集和ChatGPT的先进人工智能能力。这些资源共同可以为一个非常动态的市场——计算机游戏商店（例如Steam商店）提供引人入胜的视角。
在本文中，我们将通过逐步的过程向您介绍如何使用LetsScrape强大的API（https://letsscrape.com/scrapers/similarweb-api/）从SimilarWeb中提取有价值的数据。但我们不会止步于此。我们还将向您展示如何利用ChatGPT将这些数据转化为可行的见解。
这篇文章不仅涉及这些技术背后的理论。我们将提供实际的Python代码示例来说明这个过程。在本指南的结尾处，您将了解如何利用这些工具，无论您是经验丰富的数据分析师、渴望成为人工智能爱好者还是寻找数据驱动策略的企业主。
SimilarWeb和ChatGPT的融合为我们理解和操控当今数字市场复杂景象带来了前所未有的机遇。让我们一起开发这些机遇！
揭开ChatGPT的力量！
其中一个关键元素是数据及其质量。为此，我们将利用由LetsScrape.com（https://letsscrape.com/scrapers/similarweb-api/）提供的API从SimilarWeb获取数据。
我们将使用.NET C#检索数据。为了加快处理速度，我们将在项目中加入专门的NuGet包。
对于其他技术，LetsScrape.com 还提供了专用库：
✔️ https://bit.ly/3MDOh8S - PHP (Packagist) ✔️ https://bit.ly/3N2w7fY - .NET C#（Nuget） ✔️ https://bit.ly/3N0Zy3i - Python（PyPI） ✔️ https://bit.ly/3qqNaAN - Ruby（RubyGems） ✔️ https://bit.ly/3Cjg4W5 - JavaScript（Npm）
现在，我们需要考虑在这个实例中想要分析什么。每个人都无疑与之交互过的一个领域是电脑游戏。因此，让我们专注于您可以购买它们的商店。让我们选择一些商店和它们的域名。
编程时间！
让我们编写一段代码，以获取我们选择的领域的完整数据并将其保存到JSON文件中。
太好了。现在我们有了一些东西可以使用。
现在我们转向Python。我们将提供我们的数据集（在这种情况下，JSON文件），并向ChatGPT提出各种问题。我们将看到它如何处理它们。
为了安装OpenAI库，我们需要输入以下命令：pip install—upgrade openai
这已经足够让我们与 ChatGPT 进行通信，但我们还需要一个干净利落地传递数据集的方法。我们不会直接与 ChatGPT 进行工作，而是使用 LLM LlamaIndex 框架，这将简化我们的工作。对于那些对了解细节感兴趣的人，我建议您参阅 https://gpt-index.readthedocs.io/en/latest/index.html。
让我们安装必要的库：pip install llama-indexpip install llama-hub
什么是llama-hub？感谢这个库，我们可以使用来自https://llamahub.ai/的数据读取器。在我们的例子中，我们将使用JSONReader。
让我们首先设置记录器，这样我们就可以看到屏幕上发生的一切：
好的，现在我们已经获取了数据，让我们创建一个索引，这将允许我们向ChatGPT提出各种问题。
接下来，我们需要设置OPENAI_API_KEY变量。我们将从此处生成此密钥：https://platform.openai.com/account/api-keys
我们创建了一个JSONReader：
目前，我们拥有14个域。每个域都位于单独的 .json 文件中。我们需要将所有这些文件加载到 JSONReader 中，然后从中创建以上提到的索引。
这段代码会读取每个json文件，从中创建一个文档，然后将其附加到文档列表中。
在这个阶段，文档有14个元素，和我们有的JSON文件一样多。
要创建索引，我们首先需要定义llm_predictor和service_context。
为什么我们设定了这些值？在接下来的帖子中，我们会详细解释这到底是怎么回事。所以，请将我们添加到您的关注列表中！
回到我们的话题，一旦我们建立了索引，让我们将其保存到磁盘。这样，我们就不必每次都做了。
记住，建立索引也消耗词汇。
在（.py）文件的末尾添加此行也是值得的：
这将向我们展示该操作花费了多少代币。
我们已经构建了索引。现在是查询ChatGPT的时间了。我们在上面定义了llm_predictor，将使用text-davinci-003模型。值得注意的是，llm_predictor的设置可以极大地影响我们得到的结果。
让我们编写代码询问ChatGPT并检查一切是否正常。
这段代码会从persist_dir变量中加载上下文，然后加载索引。最后一行创建了一个查询引擎，这个查询引擎会将我们的问题发送给ChatGPT。
我们运行完整的代码：
然后我们得到了回应：
ea.com: 电子艺界官网
嗯，好的，但知道这个值会很好，这样我们可以验证答案。
响应：
这是正确的答案。我们已经校对过它与文件内容。值得注意的是，ChatGPT已经知道SimilarWeb中的GlobalRank是什么，因为它没有返回具有最高GlobalRank值的域名，而是返回了最低值，这是正确的。
让我们问问它关于GlobalRank的排名情况：
一个非常好的答案。它甚至保持在我们的来源范围之内。
给我更多！
让我们开始做一些实际的事情。
想象一下，我们想要开设一个类似于我们的竞争对手gog.com，steam.com等的游戏商店。要进入市场，我们需要弄清楚是否值得，我们是否有成功的机会。换句话说，我们需要进行市场分析。
我们会在下一篇文章中讲解这个。请订阅我，以便不错过下一部分！
开始您的人工智能之旅，AI Harmony Tech 与您同行。
如果您对本文内容感到好奇，想要探索人工智能如何融入您的业务，或者您对人工智能在转型行业中的角色感到好奇，请访问我们的网站 https://aiharmonytech.com/。我们专注于ChatGPT的人工智能和业务集成，非常乐意帮助您在这个不断发展的领域中前进。
我们AI Harmony Tech相信商业和人工智能之间的共生关系，每一个都能丰富和提升对方。无论您是小型初创企业还是成熟的组织，我们的团队致力于寻找量身定制的人工智能解决方案，推动您的业务向前发展。所以，不要错过这个激动人心的机会-今天就与我们一起走进商业的未来。
