OpenAI推出其AI内容检测器—AI复制/粘贴抄袭实践的结束?

ChatGPT中文站

自从ChatGPT推出以来,人们对AI抄袭内容,尤其是学术领域的抄袭问题越来越关注。实际上,ChatGPT因能够以60%的准确率通过美国医学执照考试而被广泛关注。

为了检测人工智能生成的内容,许多服务最近推出了人工智能抄袭检测器。OpenAI虽然加入较晚,但最近推出了自己的“AI文本分类器”以检测人工智能生成的文本。

作为一名专业的内容撰写人,我很好奇OpenAI的AI内容检测器的有效性,特别是考虑到它是ChatGPT的构建者。在这篇博客中,我们将测试OpenAI AI分类器在不同情境下的实用性,并将其与其他选项进行比较。

OpenAI关于其人工智能分类器的说法

在我们开始实验之前,了解OpenAI AI分类器的特点和限制非常重要。

根据 OpenAI 的说法,该 AI 分类器经过训练,可以区分来自不同 AI 工具而非仅限于 ChatGPT 的人类写作和 AI 写作。奇怪的是,OpenAI 自己表示其分类器并不完全可靠。它甚至通过自己的测试来证实这一点。分类器能够正确识别 26% 的 AI 写作文本,但有时会错误地将人类写作内容标记为 AI,错误率为 9%。

乍一看,OpenAI人工智能分类器并没有让我们对这个工具产生好的期望。所以,让我们亲自测试这个分类器,看看OpenAI的声明是否正确,或者更糟糕。

实验#1:使用完整ChatGPT文本测试OpenAI AI分类器。

我通过使用我在ChatGPT上创建的短博客来测试分类器,我请求 ChatGPT创建一篇关于“2023年商业的5种最佳营销策略”的短博客文章。

ChatGPT中文站
ChatGPT Prompt #1

之后,我将整个内容复制并粘贴到OpenAI AI分类器中。一旦我点击了“提交”按钮,AI分类器便回复道:“如果是由人工智能生成的文本,则分类器认为文本不清晰”。

ChatGPT中文站
OpenAI AI Classifier Prompt #1

那么,这是彻底的失败。它应该将其标记为“非常可能”或“可能”的AI生成内容。

实验 #2:使用完整的人工撰写内容测试OpenAI人工智能分类器

在第二个测试中,我使用完全由人类撰写的内容测试了分类器。最近我写了一篇1300字的博客文章,标题为“勒索软件详细指南”,其中没有任何人工智能工具的输入。

因此,当我要求OpenAI人工智能分类器测试这个内容时,它回答说:“分类器认为这段文本不太可能是由人工智能生成的。”

ChatGPT中文站
OpenAI AI Classifier Prompt #2

嗯,这是一个准确的结果。但是这使我想知道它是否能为较少的字数文章提供相同准确的结果。因此,我要求它扫描了我的500字博客“Mad Sad Glad回顾性练习——易解释法”,它回答说:“分类器认为这段文本不太可能是人工智能生成的”。

ChatGPT中文站
OpenAI AI Classifier Prompt #3

令人震惊的是,它再次给出了正确的回答。因此我们可以假设无论单词数量多少,它都可以成功地给出人类写作文本的正确回答。

实验#3:使用混合AI编写和人工编写的内容测试OpenAI AI分类器

现在我测试了OpenAI人工智能分类器对涉及人工智能写作和人类写作文本两种内容的反应。我写了一篇关于“如何保护企业免受高通胀”的博客文章,使用了约50%人工智能编写和50%人类编写的内容。

当我通过AI分类器的博客文章时,它回应道,“分类器认为这个文本极不可能是由AI生成的”。

ChatGPT中文站
OpenAI AI Classifier Prompt #4

一个巨大的失败!它未能检测到AI内容的存在,甚至与我们测试人工编写的内容时得到的更高的无AI评分相比。

OpenAI AI分类器与市场上其他AI探测器相比如何有效?

有一种认识认为很难检测到人工智能内容,这就是为什么用户可以在OpenAI AI分类器中遇到错误结果的原因。因此,让我们通过其他可用的人工智能检测器来验证这一点,看看我们能得到什么结果。

我使用了Copyleaks AI Content Detector并为同样的三个实验得到以下结果:

  • 实验一:92.8%人工智能和7.2%人类。
ChatGPT中文站
Copyleaks Prompt #1
  • 实验2a:27%人工智能和73%人类
ChatGPT中文站
Copyleaks Prompt #2
  • 实验2b:99.8% 人类
ChatGPT中文站
Copyleaks Prompt #3
  • 实验3:44.6%人工智能&55.4%人类。
ChatGPT中文站
Copyleaks Prompt #4

查看Copyleaks的上述结果,一件显而易见的事情是它提供比OpenAI AI分类器更准确的结果。因此,这也消除了AI内容难以检测的说法。

总体来说,在对OpenAI AI分类器进行不同实验并与Copyleaks AI检测器进行比较后,很明显表明OpenAI AI检测器并不是一个改变游戏规则的东西。它仍然需要大量的改进,以展示更可靠的结果。

排名:

  • 准确性:2/5 — 即使是从它自己的ChatGPT软件中撰写的,它也无法检测人工智能内容。
  • 使用方便:4/5 —易操作、基于点击的在线平台。
  • 定制性:1/5 — 无法定制。它只提供基本的网络接口用于输入文本,扫描和获取结果。
  • 可伸缩性:4/5 — 可以处理长文本,没有具体的单词计数限制。

2023-10-20 16:58:23 AI中文站翻译自原文