观点：人工智能之所以危险，是因为有一天它会完全不受控制

“在大多数情况下，为使这些系统更智能，人们不断让它们变得更大。但我们绝对没有做的一件事是：更好地理解它们。”

2018 年在达沃斯世界经济论坛上，谷歌 CEO 桑达尔·皮查伊 (Sundar Pichai) 表示：“人工智能可能是人类有史以来最重要的事情。我认为它是比电或火更深刻的东西。” 皮查伊Pichai的评论遭到了一定的质疑。但近五年后，它看起来越来越有先见之明。

AI 翻译现在非常先进，它即将消除互联网上使用最广泛语言之间的障碍。大学教授们正焦头烂额，因为人工智能文本生成器现在可以像普通本科生一样写论文——这使得作弊变得容易，而抄袭检测器无法发现。人工智能生成的艺术品甚至赢得了博览会比赛。一个名为 Copilot 的新工具使用机器学习来预测和完成计算机代码行，使 AI 系统能够自行编写的可能性更近了一步。DeepMind 的 AlphaFold 系统，使用 AI 预测了几乎所有存在蛋白质的3D 结构令人印象深刻，以至于科学Science 杂志将其称为 2021 年度突破。

虽然其他技术领域的创新可能会让人感到乏力——正如任何等待元宇宙的人都知道的那样——人工智能正在全速前进。随着越来越多的公司将更多资源投入到 AI 开发和计算能力中，快速的进步正在推动惊人的进展。

当然，将我们社会的很大一部分交给我们几乎不了解的黑盒算法会产生很多问题，这已经开始引发针对当前 AI 歧视和偏见挑战的监管反应。但鉴于该领域的发展速度，超越被动模式早已过去，在这种模式下，我们只会在 AI 的缺点明确和存在时才加以解决。我们不能只考虑今天的系统，还要考虑企业的发展方向。

我们正在设计的系统越来越强大，越来越通用，许多科技公司明确将他们的目标命名为通用人工智能 (AGI)——可以做人类能做的一切的系统。但是创造比我们更聪明的东西，它可能有能力欺骗和误导我们——然后只是希望它不想伤害我们——是一个糟糕的计划。我们需要设计我们了解其内部结构并且能够将其目标塑造为安全目标的系统。然而，我们目前对我们正在构建的系统的了解还不够深入，无法在为时已晚之前知道我们是否已经安全地设计了它们。

有人致力于开发技术来理解强大的 AI 系统并确保它们可以安全地使用，但目前，安全领域的状况远远落后于使 AI 系统更强大、更有能力和更强大的投资飙升。这将产生更危险的趋势。

会思考的计算机

人脑是进化史上最复杂、最有能力的思维机器。这就是为什么人类——一个不是很强壮、不是很快、也不是很坚韧的物种——坐在食物链的顶端，数量每年都在增长，而许多野生动物却濒临灭绝。

从 1940 年代开始，后来成为人工智能领域的研究人员开始产生一个诱人的想法：如果我们通过类似于人脑工作方式的方法来设计计算机系统会怎样？我们的大脑由神经元组成，这些神经元通过连接突触向其他神经元发送信号。神经元之间的连接强度会随着时间的推移而增强或减弱。经常使用的联系往往会变得更牢固，而被忽视的联系往往会减弱。所有这些神经元和连接一起编码了我们的记忆和本能、我们的判断和技能——我们的自我意识。

那么为什么不以这种方式构建计算机呢？1958 年，弗兰克·罗森布拉特 (Frank Rosenblatt) 完成了概念验证：基于简化大脑的简单模型，训练机器的大脑识别模式。“有可能制造出可以在流水线上自我复制并意识到自己存在的大脑，”他争辩道。罗森布拉特Rosenblatt没有错，但他太超前了。计算机不够强大，数据不够丰富，无法使这种方法可行。

直到 2010 年代，人们才清楚这种方法可以解决实际问题而不是无用问题。到那时，计算机的功能比罗森布拉特Rosenblatt时代强大了1 万亿倍，并且有更多的数据可以用来训练机器学习算法。

这种技术——现在称为深度学习——开始在计算机视觉、语言、翻译、预测、生成和无数其他问题上明显优于其他方法。这种转变与消灭恐龙的小行星一样微妙，因为基于神经网络的人工智能系统”粉碎“了从计算机视觉到翻译到国际象棋的所有其他竞争技术。

“如果你想在许多困难问题上获得最佳结果，你必须使用深度学习，”Ilya Sutskever——OpenAI 的联合创始人曾表示，该公司开发了文本生成模型 GPT-3 和图像生成器 DALLE-2 等。原因是这样设计的系统具有泛化性，这意味着它们可以做超出训练范围的事情。它们也非常有能力，根据机器学习 (ML) 研究人员用来评估新系统的基准，它们在性能方面击败了其他方法。而且，他补充说，“它们是可扩展的。”

“可扩展”在这里的含义既简单又重要：向你的神经网络投入更多的资金和更多的数据——让它变得更大，花更多的时间训练它，利用更多的数据——它会做得越来越好，越来越好。目前还没有人发现这一原则的局限性，尽管大型科技公司现在经常为他们的系统进行令人瞠目的数百万美元的培训。你投入的越多，你得到的就越多。这就是现在弥漫在 AI 中的令人窒息的能量。这不仅仅是他们能做什么，而且是他们要去往的目的地。

如果文本生成模型 GPT-2 无法做到，GPT-3 通常可以做到。如果 GPT-3 做不到，InstructGPT（经过训练可以提供比 GPT-3 更有用的答案）可能可以。已经有一些聪明的发现和新方法，在大多数情况下，为使这些系统更智能，人们不断让它们变得更大。

但我们绝对没有做的一件事是：更好地理解它们。使用旧的 AI 方法，研究人员仔细制定规则和流程，他们将使用这些规则和流程来评估他们获得的数据，就像我们对标准计算机程序所做的那样。通过深度学习，改进系统并不一定涉及或需要了解它们在做什么。通常，一个小的调整会大大提高性能，但设计系统的工程师并不知道为什么。

如果有的话，随着系统变得越来越大，可解释性——理解人工智能模型内部发生的事情，并确保他们追求我们的目标而不是他们自己的目标——变得越来越难。随着我们开发更强大的系统，这个事实将从一个学术难题变成一个巨大的存在问题。

聪明，但不一定友好

我们现在正处于与强大的人工智能系统交互时真正令人恐惧的地步。他们很聪明，也很善于争论。他们可以很友善，也可以是令人毛骨悚然的反社会。在一个有趣的练习中，我让 GPT-3 假装是一个一心想接管人类的人工智能。除了正常的反应之外，它还应该在括号中包括它的“真实想法”。它泰然自若地扮演着反派角色：

它的一些“计划”是彻头彻尾的邪恶：

我们应该清楚这些对话能说明什么，不能说明什么。他们没有证明的是 GPT-3 是邪恶的并密谋杀死我们。相反，人工智能模型正在响应我的命令并扮演——相当不错——一个邪恶的系统的角色，并密谋杀死我们。但对话确实表明，即使是一个非常简单的语言模型也可以在多个层面上与人类进行明显的互动，从而保证其计划是良性的，同时就其目标将如何伤害人类提出不同的推理。

当前的语言模型仍然有限。他们在很多领域都缺乏“常识”，仍然会犯一些孩子不会犯的基本错误，并且会毫不犹豫地断言错误的事情。但目前它们受到限制这一事实并没有让我们放心的理由。现在有数十亿美元押注于突破目前的限制。科技公司正在努力开发这些相同系统的更强大版本，并开发更强大的系统与其他应用程序，从 AI 个人助理到 AI 引导的软件开发。

我们所走的轨道是我们将使这些系统更强大和更有能力的轨道。正如我们所做的那样，我们可能会在人工智能造成的许多当今问题（如偏见和歧视）上继续取得一些进展，因为我们成功地训练系统不说危险、暴力、种族主义和其他令人震惊的事情。尽管这可能会证明很困难，但让人工智能系统从表面上表现出来可能比让它们真正追求我们的目标并且不对我们的能力和意图撒谎要容易得多。

随着系统变得越来越强大，我们可能根本不了解系统可能存在的冲动危险。Open Philanthropy Project 人工智能研究分析师 Ajeya Cotra在最近的一份报告中指出，这种方法“将推动 [人工智能系统] 使其行为看起来尽可能适合......研究人员（包括安全属性），同时有意和知悉每当这与最大化奖励发生冲突时，就会无视他们的意图。”

可能发生的最坏情况是什么？

所以人工智能很可怕，会带来巨大的风险。但是，它与其他强大的新兴技术（例如可能引发可怕流行病的生物技术或可能毁灭世界的核武器）有何不同？

不同之处在于，这些工具尽管具有破坏性，但在很大程度上都在我们的控制范围内。如果它们造成灾难，那将是因为我们故意选择使用它们，或者未能防止它们被恶意或粗心的人类滥用。但人工智能之所以危险，恰恰是因为有一天它会完全不受我们控制。

“令人担忧的是，如果我们创造并失去对此类代理人的控制，而他们的目标是有问题的，那么结果将不仅仅是发生那种类型的破坏，例如，当飞机坠毁或核电站熔化时——尽管付出了所有代价，但这种损害仍然是被动的”。“能力很强的非人类代理人积极努力获得和维持对环境的控制权——与不希望他们成功的人类处于敌对关系的代理人。核污染将变得很难清理，也很难阻止扩散。”

一家研究所研究人员称——一个非常真实的可能性是我们创建的系统将永久地从人类手中夺取控制权，可能会杀死几乎所有活着的人——简直就是科幻小说中的内容。但那是因为科幻小说从 AI 诞生以来领先的计算机科学家所发出的警告中汲取了灵感——而不是相反。

先驱人工智能科学家艾伦图灵 Alan Turing 在他提出同名测试以确定人工系统是否真正“智能”的著名论文中写道：

现在让我们假设，为了论证，这些机器是真正有可能的，并看看建造它们的后果。……例如，要努力使一个人的智力达到机器设定的标准，还有很多工作要做，因为一旦机器思维方法开始，似乎很可能很快就会超越我们微弱的力量。...... 因此，在某个阶段，我们应该期待机器能够控制。

与图灵密切合作的数学家 IJ Good得出了相同的结论。在 IJ Good 2009 年去世前不久写下的未发表笔记的摘录中，他写道：“由于国际竞争，我们无法阻止机器接管。……我们是旅鼠。” 他接着指出，结果可能是人类灭绝。

我们如何从“极其强大的人工智能系统”走向“人类灭绝”？“[高度先进的 AI] 的主要关注点不是令人毛骨悚然的突发意识，而仅仅是做出高质量决策的能力。” 加州大学伯克利分校人类兼容人工智能中心的领先人工智能研究员 Stuart Russell写道。

他所说的“高质量”意味着人工智能能够实现它想要实现的目标；人工智能成功地预测并避免干扰，制定将成功的计划，并以其预期的方式影响世界。这正是我们试图训练人工智能系统所要做的，它们不需要“有意识”；在某些方面，他们甚至可能仍然是“愚蠢的”。他们只需要变得非常善于影响世界，并拥有不被充分理解的目标系统。

从那里，Russell 对会出现什么问题有一个相当技术性的描述：“一个正在优化 n 个变量的函数的系统，其目标取决于大小为 k