ChatGPT在某些方面存在问题——新年版 ChatGPT是一个强大的语言模型,但它在某些方面仍然有困难。以下是一些ChatGPT在新年版中难以处理的事情:

TL/DR; 永远使用正确的工具来完成工作。

如同许多人在2020年代所做的,我和我的妻子在假期的一部分时间里通过向ChatGPT提问来娱乐自己。一个看似简单的问题却引发了比我预期更深入的探索,其中可能对我们所有人都有一个教训(或者说是一个提醒)。

请问你能告诉我过去一百年里每个1月1日所对应的星期几吗?

您可以在共享聊天中自己观看ChatGPT的努力:https://chat.openai.com/share/d57d3f17-84ff-4b36-a625-707fd7f65164

首先,它甚至无法列出过去的100年,而是每隔11年跳过,并且走得很远进入未来。

然后它完成了任务,但数据是错误的。非常错误。当我们随机抽查某几天并向ChatGPT询问时,它承认错误,并且只告诉我列表中某些年份的正确日期。当我们要求更新列表时,它又出现故障了。

我们询问了ChatGPT过去100年中哪一天是最常见的。它错得离谱,说星期天发生了26次(实际上只有14次)。

我无法理解日期的分布之荒谬,尽管我请ChatGPT解释多次并且更详细地解释,但最后我只是简单地让它写一些Python代码来生成答案。

在Python中,数据完美无缺,一月一日的星期分布更加均匀,正如常识所预期的那样。

1923年:星期一,平年 1924年:星期二,闰年 ... 2022年:星期六,平年

天数总结:星期日:14,星期一:14,星期二:15,星期三:14,星期四:14,星期五:15,星期六:14

最终,ChatGPT面临这个问题是因为它必须从预先计算好的模型中检索这些答案,而这些答案显然并不存在。它无法简单地计算这些答案 - 离散算法和已经被充分理解的库将继续主导。

将这与网络安全联系起来......

ChatGPT 在另一个聊天中惨败地无法回答一个类似的问题(很遗憾我无法在这里分享),问题是:给出一个端点安全警报,指示执行了以下操作,这是安全的还是危险的?rundll32.exe msrating.dll,RatingSetupUI

ChatGPT写了一篇了不起的散文,解释了rundll32.exe是一个微软签名的可执行文件,从其本质上来说是安全的,在这种情况下,它调用了一个名为msrating.dll的微软动态链接库,该库的入口点是RatingSetupUI,据知它用于微软内容管理器。

保持HTML结构,将以下英文文本翻译为简体中文: ChatGPT:世界上一切都安全,请继续睡觉。

聪明的人会立刻意识到问题:我们不知道rundll32.exe的完整路径,也不知道msrating.dll的散列值或数字签名,因此无法确定这些是真正的微软二进制文件还是伪造的。它们可能在%appdata%目录中,而不是C:\Windows\system32目录中。总之,需要进行调查工作来排除这是否是一个值得进行事件响应的实时事件,还是一个良性误报。

为什么ChatGPT不能做出更好的决策呢?

首先,它基于其模型中的数据。ChatGPT基本上是在街上的一个陌生人和它吸入神经网络中的海量文件之间的一种反映。需要深度领域专业知识的决策需要一个经过深度调整的模型,而这种模型目前还不存在。

其次,如果你随机问10个路人以上的终端安全警报是危险的还是无害的,他们猜对的几率就像抛硬币一样。如果你让他们解释为什么他们的答案是正确的,除非你在一个安全会议上,否则很可能没有一个正确的参与者回答正确。

外卖

  1. 这是又一个关于人工智能和安全的博客。对此表示抱歉,但这是我的博客。如果你不喜欢,我会退还你的购买价格。
  2. LLM绝对会是一个分界线 - 在LLM之前和之后,无论是企业级还是消费级应用都将不再是相同的。那些无法跟上步伐的人将被抛在后面。
  3. 但与此同时,离散算法和有能力的人类直觉在做出重要决策,特别是安全决策方面仍然卓越。

2024-01-04 04:15:14 AI中文站翻译自原文