关于生成式人工智能的思考

阅读Transformer研究是ChatGPT和LLMs基础，我意识到我上次参加棕色纸袋谈话，讨论自然语言处理和自然语言理解的最新研究已经有多久了。

我已经挣扎了一段时间，如何开始以语言学家的身份在ChatGPT上提供我的观点以及最近对LLMs的超级关注。现在似乎人人都在谈论生成式人工智能，而我的语言学博士学位是让人们询问我的意见的邀请。即使我的主要研究领域是自然语言处理（并不是这样），我至少6年没有接触到最近的研究。而我的，这片领域已经发生了巨大的变化。

我在研究生阶段使用的语音处理方法在ChatGPT的流畅时尚响应和似乎无数的酷功能之下显得古板笨重。我学习的任何东西都能真正适用吗？这就是我的冒牌者综合症想要让我感觉的方式，但不知怎么的，这也不太对。

我记得上了一门本科荣誉课程——人工智能，并使用 Perl 作为作业的一部分编写了一个小的聊天机器人。我选择编写这个机器人以提供建议，告诉你今天应该穿什么超级英雄装备。感觉我们已经取得了很长的进步（我想知道如果我问 ChatGPT 的话——我今天应该穿斗篷去工作吗？）但是当我停下来回忆起 2009 年我上那门课的时候，已经过去了 14 年，充满了如此多的技术创新。当时，智能手机还没有被广泛采用，虚拟助手 Siri 直到 2011 年才发布。所以，是的，已经很久了。

最近，我阅读了诺姆·乔姆斯基在《纽约时报》上发表的关于LLM的专栏文章——乔姆斯基是一位著名的语言学家，以他对我们今天如何研究和建模自然语言的变革性贡献而闻名。然而，我发现他的意见反映了我自己对LLM的知识状况——已经过时和不合时宜。最后一句话真正为我巩固了这一点，因为他和他的共同作者在这篇专栏文章的结尾，表达了“鉴于ChatGPT及其同类系统的不道德行为、虚假科学和语言无能，我们只能对它们的受欢迎程度发笑或哭泣。”虽然我同意作者们对ChatGPT的流行和其对人工智能当前状态的贡献的看法，但我不确定我赞同这种意见表达的态度。LLM所带来的复杂性是足够的。

有趣的事实是，那篇观点文章的第三作者和我在硕士同届。语言学界很小。

正如我在漫无目的地想事情时的习惯，我会跳来跳去地思考各种话题。我想我们应该回到我最开始的地方。

阅读Transformer论文，我想知道。这些概念对我来说是否如此新鲜，仅仅因为当我上学的时候它们还没有出现？但这不可能是对的，我在2017年毕业，就是这篇论文发表的时候。那么，当我参加那些聚会时，是不是我没有给予足够的关注呢？总的来说，神经网络已经存在了更长的时间。为什么我没有记住任何与神经网络有关的语言相关的事情？

我努力回想为什么我不是一个更好的学生，但我知道答案 - 我发现与人和口语交流比处理概率和文本更有趣。对我来说，语言模型和生成式人工智能的下一个领域将是最令人兴奋的，当我们最终谈论谈话机器人时。