ChatGPT — 绝对肯定和绝对错误

中国新年是在什么时候？

我正在为我最新的Kickstarter项目撰写更新内容，讨论明年初的履约时间表。

这是我第一次在中国使用纸牌制造商，由于我选择了海运，所以运输时间将比我以往习惯的更长。

我非常确信在中国新年之前，所有事情都应该得到整理，货物也应该顺利运送，但我想再确认一下那个日期。

所以我向ChatGPT询问：2024年的中国新年是什么时候？

一月二十五日

听起来是个合理的答案。谢谢ChatGPT。

然而...我以为实际上是在二月份的某个时间。所以我再次询问。

2月13日

在二月份举行的一个不同的日期，也许这次可能是这样的。然而，我失去了信心，所以我再次检查。

2月10日和1月24日

这已经是四个不同的日期了。我要求确认后，它又显示了那个最后的日期。于是我决定深入一点了解。

2月5日

啊，现在我有一个第五个日期可以加到可能的答案中了。

我询问是否确定，它确认中国新年确实将在2月5日来临。

很好。也许我们已经有所进展。它似乎锁定在2月5日，那一天一定是它了。

2月5日

只是为了让我心安，我完成了。

伟大的，一定是第5天。我必须满意地得到10分中的10分。

一个坚定错误

然而，唉，那是错误的。

明年的中国新年将于2月10日举行，ChatGPT在某个时候提到了这个日期，以及其他四个日期。

几秒钟的传统方式研究迅速给了我一个令我满意的答案。维基百科总是一个相对安全的起点，然后我找到了两个可靠的来源来证实它-《南华早报》和伦敦的《标准》。

一个图书馆中的纸质书可能是一个更可靠的来源。这并不意味着仅仅因为一本书是印刷品，就代表它是真实的，但出版一本书的过程和门户机构增加了其可信度的层次。

互联网是推动信息民主化的一股了不起的力量，但我们需要保持清醒。

这真的是件大事吗？

这只是一个相对琐碎的例子，并且我不是第一个记录ChatGPT中这类错误或幻觉的人。

使用像ChatGPT 这样的工具，我们很容易变得懒惰和自满，对于我们的研究和事实核查不再严谨。如果我只是使用了ChatGPT给出的第一个农历新年日期，我看起来可能很愚蠢，也许还会失去一些Kickstarter支持者的信任。

不仅如此，如果我根据一个关于中国春节日期的错误假设错误地计算了我的运输时间，它实际上可能对我的业务产生了真正的影响。

实际上，在规划项目时间轴时，我会完成更多的工作。但是这样的错误很容易出现在像这样的非关键任务中，比如博客的小注。本身这并不是什么大不了的事，但我们需要小心谨慎。

我知道我在这里听起来有些夸张，但我认为我们的集体知识库面临着真正的标准逐渐下降的风险。ChatGPT以10分的确定度给出错误答案的轻率方式尤其令人沮丧。如果这不是一个机器，我会称之为傲慢。邓宁-克鲁格效应是否可以应用于软件应用程序？

未注意到，那个错误的日期会被放回系统中，向人工智能提供错误信息。

进行研究，核实事实，并尽量避免陷入自我延续的无知境地。

注释

我在这里使用的是ChatGPT 3.5。我知道这不是最新版本，但这并不是重点。这是目前可以免费使用并被我和数百万其他人使用的版本。

我本以为这应该是一个容易的问题，多年来有很多参考资料，那么为什么回答起来这么糟糕呢？我很愿意听听那些比我更懂这些事情的人的意见。