GPT-4，PaLM，Auto-GPT: 人工智能将何时接管世界？（第1/2部分）
危险的超智能只是一种吓唬我们的故事吗？还是人工智能奥本海默们说得对，我们面临人类的真正威胁？
回顾过去…三年前，GPT-2是市场上最先进的语言模型之一。然而，即使是最简单的对话，它仍会出错。它不仅会幻想，还会产生毫无结构和意义的反应。现在，ChatGPT（包括集成的GPT-4模型）可以回答极为广泛的专业领域的问题，涵盖物理、生物、历史、艺术、工程、体育和甚至娱乐等领域。它善于推理，具有创造力，能写代码和理解代码，并且在许多专业测试中的结果比人类更好。
...展望未来... 如果OpenAI、Google、亚马逊或其他任何人像我们在过去三年中看到的那样再次取得像帽子戏法一样的胜利，我们很快就可能会遇到一个在认知表现上远远优于人类的人工智能。
哎哟...
一些科技名人，如埃隆·马斯克（特斯拉，推特）、史蒂夫·沃兹尼亚克（苹果）和尤瓦尔·诺亚·哈拉利（人类简史，人类未来），连同数万名其他签署者，在几周前呼吁暂停、停止营业。
我们呼吁所有的人工智能实验室立即暂停至少六个月的 AI 系统训练，这些系统的能力超过 GPT-4 [...]。
我们应该开发非人类的智能吗？它们可能会在数量、智慧、取代方面超过我们。 我们是否应该冒着失去对文明控制的风险？ [...]
社会已暂停其他可能对社会产生灾难性影响的技术。我们可以在这里这样做。公开信页面。
如果没有暂停会怎样呢？2或3年内人工智能系统会远远超过我们的智力水平吗？到了五年，它会达到超级智能的门槛——在绝大多数感兴趣的领域中远远超过人类的智力？
AI会在5、10或20年内试图统治世界，甚至灭绝我们吗？还是这只是科幻小说？
许多人似乎认为，如果SMI（超级人工智能）得到开发，它将非常危险，但认为这要么永远不会发生，要么绝对非常遥远。这种想法很粗糙、很危险。blog.samaltman.com
山姆·奥特曼是OpenAI公司的CEO，该公司开发了GPT-4和ChatGPT。在ChatGPT甚至GPT-2进入市场之前，他多年前写下了这些话。现在，OpenAI要求建立一个像IAEA（核能使用监督机构）一样的国际机构。
阿尔特曼和许多“知名人士”以及一长串的人工智能科学家最近签署了有关人工智能风险的以下声明。
AI信徒是否完全高估他们的模型能力以使自己变得重要？
让我们看看事实。
超级智能不是指一种硅基神童，能够将相对论和量子理论融合在一个优美的单行方程中。相反，超级智能是指一种实体，其智力与我们对蚂蚁的智力相似。如果这个实体费心写下一种卓越的想法，我们甚至都无法理解它属于什么类型。
当我们看待我们作为地球上最聪明物种之一如何对待其他物种（驯化、屠杀、灭绝），以及技术或组织上更优越的社会如何对待不如先进的社会（抢劫、征服、奴役、摧毁），那么如何一个智力更高的生命体对待我们是一个有趣的问题。
所以，高级机器智能真的会对我们造成伤害吗？甚至会毁灭地球上的生命吗？我会试着将问题分成四个子问题并回答它：
☐ 1. 机器是否已经接近人工智能（AGI）？超智能图像识别，棋类，音乐创作或聊天机器人仅仅缺乏接管世界所需的技能。要做到这一点，AI需要有说服人类的力量，攻破计算机系统，建造机器和武器，折叠蛋白质和优化自身（还有许多其他技能）。它必须制定并追求多步长期战略才能成功。如果AI离AGI还很远，那么仍然可能存在来自专业超智能机器的风险。但是没有证据表明它可以接管。
☐ 2. 机器智能真的在迅速增长吗？它会在可预见的未来达到超级智能吗？虽然第一个问题是关于机器功能广度的问题，但这个问题是关于机器智能的深度，即机器性能与人类相比：它们到底有多强？如果在未来几十年内，机器只能与人类匹敌或略胜一筹，那么我们现在无需担心。
☐ 3. 超级智能人工智能真的想要统治世界吗？这些只是数据科学家的床边故事吗？为什么人工智能会变得邪恶？我们不能构建一个友好的人工智能，或者至少集成一些自动控制来在那个废品变得任性时自动拉电源？
☐ 4. 人工智能通过卓越的智能力量简单地接管世界可能吗？像GPT-4这样的系统已经展示了惊人的智能水平。但它们甚至不能自行开启或关闭服务器，它们怎么可能会把我们关闭呢？
当我们可以回答完所有四个问题时，那么我们就有了一个问题。一个很大的问题 - 需要在短时间内解决。
1. GPT-4和其他公司：机器至少接近人工通用智能（AGI）了吗？
我们总是试图让自己放心，我们还没有到那个地步。人工智能远远不及人类聪明。我们倾向于淡化所有那些需要真正聪明的能力，而在这些能力上机器已经表现出色，事后解释为不是真正聪明的能力：
一个系统能够在数百页上完成数学证明？ “不是聪明，只是纯粹地应用规则”。通过他们的图片识别数百万人？ “不是非常聪明——我的狗也可以做到，他甚至不需要图片！”。在不发生事故的情况下行驶数千英里？ “Uber司机也可以做到——这是否意味着他们是聪明的生命形式？”在诸多其他测试中以10％的百分位数通过美国律师资格考试？ “不是聪明，只是记忆可在互联网上获取的内容”，大多数Reddit用户说。
这些声明有点像沙文主义物种的撤退。核心沙文主义或物种主义口号是：“当其他人做我们所做的事情时 - 当然 - 这不是一样的事情，它是另一回事” 。另一方面，有一点是正确的：人工智能显示出色，但不像人类那样具有广泛的智能：象棋AI在其他领域无知 - 不像一位出色的人类象棋选手，通常也可以回答电子邮件，买一些晚餐，还能在照片中认出马格努斯·卡尔森。
一台想要掌握世界的人工智能必须能够像人类一样或者更好地执行各种各样的任务。它必须能够处理世界知识，规划，用语言进行交流，作出推断，理解视觉信息并控制其他系统。仅会下棋、开车或进行数学证明等特殊才能是不够的。目前，这样的系统还不存在。但从我的角度来看，我们正在走向完全的通用人工智能（AGI）。让我们来看看语言系统的表现。
经典的基于规则的聊天机器人具有编程意图 - 用户的目标是系统可以处理的：time_inquiry => 输出当前时间与该意图相关的用户话语可以非常广泛：告诉我时间？ 现在几点？ 白天时间？
小型系统，例如自助机，可以处理少量的意图；汽车可以处理数百个。Siri、Google Assistant、Alexa – 可以处理几十个或数百个更多的意图（其中一些仍可参数化，即在话语中的数字、姓名或地点等可以更改）。
使用这样的系统，即使您在语言领域年复一年地扩展它，也永远无法达到AGI级别。人类能够理解他们正在交谈的人的无数意图（即使他们不能满足所有这些意图）。即使您将话语的最大字数限制为15个单词，也有数万亿的意图可以表达。换句话说，即使您将系统可以处理的意图数量扩展到1000、10K、100K，您也几乎无法接近处理它们的总量。
大型语言模型不仅能回答更多的问题。这是对理解范围的新维度 —— 有点像整数和实数之间的关系。虽然传统的基于规则的聊天机器人可以回答有限可数的意图，但LLMs可以填补它们之间的所有空间。它们原则上可以理解和回答所有语法和语义上合法的短语 —— 长的和短的 —— 甚至那些不合法的短语。
而且，我们越来越接近真正的AGI。虽然它仍然局限于语言交互，但它的智能并不完全“通用”。但是语言是人类表现与其他哺乳动物最不同的关键认知领域。也许更恰当的说法是LLM已经达到了人工中将军智能（ALGI）的阶段。
只是一张简短的纸条——能够理解并回答每一个问题并不意味着能够回答所有问题。大多数LLMs现在的关键口号是古老的意大利谚语“se non è vero, è ben trovato”——它可能不是真的，但它被幻想得很好。
如果我们探索其他领域，例如图像识别和创作、空间移动、游戏掌握（MuZero）或语音转文字翻译，那么很明显我们正在向跨多个领域的人工通用智能（ALGI）进步。
具有挑战性的部分可能已经在我们身后了：从解决有限的单一问题（自然数）向控制完整问题空间（实数）的转变。
它可能是这样，能够在不同而高能力的域ALGI之间来回切换是如此简单，以至于只稍微比Auto-GPT或BabyAGI更先进一点的平台就能在几个月内这样做。这些自治代理构建代理层，使用模型作为颗粒化推理器来解决长期任务中的单个步骤。
坦白地说，我们已经到了人工智能通用智能还没有完全实现却明显近在眼前的地步。所以，不幸的是，我们对第一个问题的答案是肯定的——我们已经接近实现了。
☑ 1. 机器至少接近人工通用智能吗？ ☐ 2. 机器智能的发展速度真的很快，可以在可预见的未来达到超级智能吗？☐ 3. 一台超级智能的人工智能真的会想要统治世界吗？ ☐ 4. 一个人工智能是否可能仅凭借卓越的智能就能接管世界？
2. 爆炸式增长 - 机器智能是否真的在迅速增长，以致于在可预见的将来达到超级智能？
人工智能的发展与芯片性能（按照摩尔定律呈现出递减的指数增长）大相径庭。我们无法精确衡量智能的增长，因为我们没有机器智能的通用度量方法（尤其是以下的定量陈述不是完全可靠的）。
在长期内，“人工智能”中的“I”增长呈指数级。但当AI或其子领域达到当前方法的极限时，总会有缓慢或停滞增长的阶段。加速阶段发生在发明和实施如感知器、深度学习、CNN、自我博弈强化学习、变形金刚架构或基础模型等新概念时。然后，自动化的学习、探索、添加资源和优化迭代通常会开始，使系统在很短的时间内得到极大的改善。此外，实际成功可以补充AI可以茁壮成长的培养皿，吸引了研究资金、初创公司的资金、企业的预算或在该领域工作的专家。
我用“爆炸性增长”这个词，因为回顾起来，这通常看起来像指数增长。然而，在初期阶段，它似乎会表现得像一颗定时炸弹。很长时间内没有什么或几乎没有什么事情发生，我们倾向于说它不会爆炸——也就是说，我们永远无法达到这个或那个目标。在基金会模型出现之前，人工智能社区的调查结果通常是在未来50或100年内回答的不错的高斯分布。它基本上是凭猜测——没有合理清晰的增长率可以被推断到未来。
指数增长长期以来适用于AI作为一个整体的情况较少，通常适用于像图像识别、聊天机器人或游戏等子领域。举个简单例子：尽管DeepBlue在1997年打败了国际象棋世界冠军，但AI开发者在数十年间一直难以解决围棋这个棋类游戏。直到2015年，AlphaGo突然取得了一次进展，击败了学前或初级水平的围棋手（类似围棋大师），最终战胜了世界最佳围棋选手。随后的AlphaZero在极短的训练期内击败了AlphaGo以及其他最佳的AI选手，包括国际象棋和将棋。
所有这些进展都发生得非常迅速，尽管之前几十年的进展很少。爆炸性的增长阶段建立在完全新的概念之上（包括自我游戏学习），而不是几十年前人工智能游戏开发取得的成就。我的个人收获是：即使一个问题在很长的时间内对机器似乎是不可解决的，但是给出一个新的方法和几年时间，我们很容易看到机器智能提供的解决方案远远超出人类的想象。
在自动语音识别（ASR）中，我们在爆炸性增长开始前更明显地进入了“休眠”阶段。早在1952年，贝尔实验室的“奥黛丽”能够识别口头数字。在60年代初，IBM的“鞋盒”能够识别16个单词（算术运算符加上奥黛丽的10个数字），并（这真的是一个突破）进行计算。十年，6个单词。ASR的进展保持这个步伐。在第一批技术开发约60年后，基于新技术（DNN，深度神经网络）的系统真正能够大幅降低识别错误率，使我们达到了目前口头语言识别的质量，无需重复输入三次或训练系统适应我们的声音。一个漫长的时期内没有太多实质性的进展。想象一下，如果万维网在1989年发明，直到2040年或2050年才出现诸如搜索，在线购物或维基百科等应用程序，那将会是什么情况。
再次强调，“爆炸性增长”意味着在长时间内似乎我们根本没有进展（至少在该领域内不是）。看起来人工智能已经达到了极限。这个阶段有时会伴随着“AI冬季”期，其特点是对研究经费的兴趣减弱和冻结（例如，当时的领先机构贝尔实验室在20世纪60年代停止了语音识别的资助）。爆发式推进阶段几乎是唯一实现增长的途径。我们无法预测推进阶段何时会出现以及它会带来多少进展。
在眼下的巨变加速阶段，它覆盖了广泛的领域，或者说在最新的巨变阶段中，智能机器极有可能会发展出全新的概念方法。它们可能一开始只是在较小的规模范围内出现，之后就会雪崩式地扩大规模，这样其他机器就可以在很短的时间内变得更好。然后，更高级的概念将被研发出来，以供未来的超级机器使用。根据约翰·冯·诺伊曼或沃纳·芬格的说法，这被称为“失控反应”，会导致智能的爆发，进步迅速超越人类的智能。这是最后一个巨变的推动阶段，最终可能会受到限制，例如量子大小、光速或宇宙的扩张。嘿，奇点！
如果我们假设机器智能的发展在未来不会发生根本性的变化，那么我们必须谨慎地回答第二个问题——机器智能有可能以如此之快的速度增长，以至于在几年内实现超级智能。
重要的是，我们可能不需要一个失控反应来满足第二个要求——智力的正常增长，在这一阶段或下一次爆发阶段应该就足够了。
☑ 1. 机器至少接近AGI吗？ ☑ 2. 机器智能真的在以如此快的速度增长，以至于它在可预见的未来就能达到超级智能吗？ ☐ 3. 一个超级智能的人工智能真的想要统治世界吗？ ☐ 4. 一台AI是通过卓越的智能就能够接管世界吗？
关于人工智能发展的一些好书：
哈佛的AI历史。https://sitn.hms.harvard.edu/flash/2017/history-artificial-intelligence/
人工智能的详细早期历史。https://courses.cs.washington.edu/courses/csep590/06au/projects/history-ai.pdf
两篇维基百科文章介绍人工智能的历史、时间线和成就：https://en.wikipedia.org/wiki/History_of_artificial_intelligencehttps://en.wikipedia.org/wiki/Timeline_of_artificial_intelligence
请持续关注第二部分，我们将回答第三和第四个问题。
