Kelsey Piper 是 Future Perfect 的资深作家，Future Perfect 是 Vox 有效的利他主义启发版块，内容涉及世界上最大的挑战。她探索了广泛的主题，例如气候变化、人工智能、疫苗开发和工厂化农场，还撰写了 Future Perfect 时事通讯。

这个故事是一组故事的一部分

寻找做好事的最佳方法。

周二，OpenAI宣布发布 GPT-4，这是其最新、最大的语言模型，仅在 ChatGPT 引人注目的发布几个月后。GPT-4 已经投入使用——微软一直在使用它来支持 Bing 的新助手功能。OpenAI 背后的人写道，他们认为处理强大的 AI 系统的最佳方式是尽快开发和发布它们，而这正是他们正在做的。

同样在周二，我与 Open Philanthropy 的联合创始人兼联席 CEO Holden Karnofsky 坐下来讨论人工智能及其将我们带向何方。

在我看来，Karnofsky 应该因其对 AI 的先见之明而受到赞扬。自 2008 年以来，他一直在与当时的少数研究人员进行交流，他们认为强大的人工智能系统是我们这个时代最重要的社会问题之一——我认为这种观点已经过时了。

他在 2011 年和 2012 年就这个问题发表的一些早期著作提出了关于这些模型将采取何种形式的问题，以及使它们顺利开发的困难程度——所有这些在十年的时间里只会显得更加重要后见之明。

在过去的几年里，他开始撰写 有关 AI 可能是一件深不可测的大事的案例，以及我们可以从当今模型的行为中学到什么和不能学到什么。在同一时期，Open Philanthropy 一直在加大投入，让 AI 运转良好。最近，Karnofsky宣布休假，离开他在 Open Philanthropy 的工作，直接探索降低 AI 风险的工作。

为了篇幅和清晰度，对以下采访进行了编辑。

凯尔西派珀

你已经写过人工智能如何意味着在不久的将来事情会变得非常疯狂。

霍尔顿卡诺夫斯基

基本想法是：想象一下在经过大量科技发展之后，遥远的未来世界会是什么样子。一般来说，我想大多数人都会同意这个世界看起来真的非常陌生。有很多关于这个的科幻小说。

在我看来，人工智能最重要的是，人工智能有可能成为一种自动化人类为推动科学技术所做的所有事情的方式，因此我们可以比人类更快地进入那个狂野的未来。人们倾向于想象。

今天，我们有一定数量的人类科学家在努力推动科学技术的发展。我们能够将他们所做的一切自动化的那一天，可能会大大增加正在完成的科学和技术进步的数量。此外，它可以创建一种我们今天所没有的反馈循环，基本上当你改进你的科学和技术时，会导致更多的硬件供应和运行更多人工智能的更高效的软件。

而且因为人工智能是进行科学技术研究和进步的人，所以这可能会循环进行。如果你得到那个循环，你会得到非常爆炸性的进步。

所有这一切的结果是，大多数人想象的世界，从现在开始的几千年后，在一些狂野的科幻未来中，可能更像是 10 年、一年或几个月后，人工智能系统会做所有这些事情人类通常会推动科学技术进步。

这一切都直接来自标准的经济增长模型，并且在部分经济史中有这种反馈循环的迹象。

凯尔西派珀

听起来不错，对吧？星际迷航的未来一夜之间？有什么收获？

霍尔顿卡诺夫斯基

我认为存在很大的风险。我的意思是，它可能很棒。但如你所知，我认为，如果我们所做的只是高枕无忧，让科学家们尽可能快地行动，我们就有可能让事情进展顺利，也有可能让某些事情变得糟糕。

我最专注于站在正常市场力量不会站起来的地方，并试图阻止事情发生可怕的可能性。就事情如何发展得如此糟糕而言，也许我会从广泛的直觉开始：当我们谈论科学进步和经济增长时，我们谈论的是每年百分之几的范围。这就是我们在过去几百年中所看到的。这就是我们所有人都知道的。

“没有人知道那会是什么样子，我认为我们不应该假设结果对人类有好处”

但是你会如何看待经济增长率，比方说，每年 100%，每年 1000%。我的一些感觉是我们还没有为即将到来的事情做好准备。我认为社会并没有真正表现出任何适应如此快速变化的能力。对下一次工业革命规模的转型的适当态度是谨慎。

另一个广泛的直觉是，我们正在构建的这些人工智能系统，它们可能会做人类为自动化科学和技术进步所做的所有事情，但它们不是人类。如果我们到达那里，那将是有史以来第一次拥有除人类以外的任何东西能够自主开发自己的新技术，自主推进科学技术。没有人知道那会是什么样子，我认为我们不应该假设结果对人类有好处。我认为这实际上取决于 AI 的设计方式。

如果你看看机器学习的当前状态，很明显我们不知道我们在构建什么。初步估计，这些系统的设计方式是有人采用相对简单的学习算法，然后输入大量数据。他们把整个互联网放在一起，它试图一次从互联网上预测一个词并从中学习。这是一种过于简单化的说法，但就像他们那样做，然后从这个过程中弹出某种可以和你说话、开玩笑和写诗的东西，但没有人真正知道为什么。

你可以把它想象成类似于人类进化，有很多生物，有些幸存下来，有些没有，在某个时候，有些人的大脑里有各种各样的事情，但我们仍然没有真正意识到理解。进化是一个简单的过程，它导致了我们仍然不了解的复杂生物。

当 Bing 聊天出现并开始威胁用户时，你知道，试图引诱他们，天知道是什么，人们问，为什么要这样做？我会说不仅我不知道，而且没有人知道，因为设计它的人不知道，训练它的人也不知道。

凯尔西派珀

有些人认为，是的，你是对的，人工智能将是一件大事，一夜之间彻底改变我们的世界，这就是为什么我们应该尽可能地向前推进，因为通过更快地发布技术，我们会给社会带来好处更多的时间来调整。

霍尔顿卡诺夫斯基

我认为有一定的速度是有意义的，我认为人工智能的进步速度可能太快了。我认为社会需要一段时间来适应任何事情。

大多数出现的技术，需要很长时间才能得到适当的监管，才能在政府中得到适当的使用。不是早期采用者或技术爱好者的人学习如何使用它们，将它们融入他们的生活，学习如何避免陷阱，学习如何处理不利因素。

所以我认为，如果我们可能正处于增长或技术进步的根本爆炸的风口浪尖，我真的看不出向前冲会有什么帮助。如果我们尽可能快地推进，我不明白它应该如何让我们达到足够慢的变化速度以供社会适应。

“有没有办法阐明我们如何知道系统中某些灾难的风险何时上升？”

我认为更好的计划是就我们想要以什么样的速度前进、我们是否想要故意放慢速度以及我们是否想要更加有意识地移动，如果不是，我们如何才能做到这一点，我认为更好的计划实际上是进行一次社会对话采取避免一些关键风险或减少一些关键风险的方式。

凯尔西派珀

所以，假设你有兴趣监管人工智能，让其中的一些变化变得更好，以减少灾难的风险。我们应该做什么？

霍尔顿卡诺夫斯基

我很担心人们觉得需要做某事只是为了做某事。我认为许多看似合理的规定有很多缺点，可能不会成功。我目前无法阐明我真正认为会非常好的具体规定。我认为这需要更多的工作。这是一个不能令人满意的答案，但我认为人们迫切需要开始思考一个好的监管制度应该是什么样子。这是我花费越来越多的时间来思考的事情。

有没有办法阐明我们如何知道系统中某些灾难的风险何时上升？我们能否设置触发器，以便当我们看到迹象时，我们知道迹象在那里，我们可以预先承诺根据这些迹象采取行动，根据这些迹象放慢速度。如果我们要进入一个非常危险的时期，我会专注于尝试设计一些能够及时捕捉到它的东西，它会在这种情况发生时识别并采取适当的行动而不会造成伤害。这很难做到。所以你越早开始思考它，你就越能反省。

凯尔西派珀

你看到人们对 AI 遗漏或误解的最重要的事情是什么？

霍尔顿卡诺夫斯基

第一，我认为人们经常会被一些关于人工智能是否有意识、人工智能是否有感情以及人工智能是否会有它想要的东西的问题绊倒。

我认为这基本上是完全无关紧要的。我们可以很容易地设计出没有意识和欲望的系统，但确实有“目标”，就像下国际象棋的 AI 旨在将死。我们今天设计系统的方式，尤其是我认为事情可以发展的方式，很容易开发出可以自主实现目标的系统。

不管他们是否有意识，他们都可能表现得好像在尝试做可能有危险的事情。它们或许能够与人类建立关系，让人类相信它们是朋友，让人类相信它们相爱了。不管他们是否真的是，这都将是破坏性的。

另一个会误导人们的误解是，他们通常会区分古怪的长期风险和有形的近期风险。而且我并不总是相信这种区别。我认为在某些方面，我谈论的关于自动化、科学和技术的真正古怪的东西，为什么它会比大规模失业更晚出现在我们身上并不是很明显。

“我不知道古怪的事情会在以后出现，我不知道它会发生得足够慢让我们适应它”

我曾写过一篇文章，认为人工智能系统很难承担所有可能的工作，即使是技术水平很低的人也能完成。造成一些工作消失而另一些工作出现的临时过渡期是一回事，就像我们过去经历过很多次一样。让它达到你绝对无法像 AI 那样做的地方是另一回事，我不确定在我们看到可以实现科学和技术进步的 AI 之前我们会看到这一点。真的很难预测我们会以什么顺序看到什么功能。如果我们攻克科技领域，事情就会发展得非常快。

那么我们应该关注“近期”的东西，这些东西实际上可能会或可能不会更近，然后等待适应更古怪的东西，因为它发生了？我不知道那件事。我不知道古怪的事情会在以后出现，我不知道它会发生得足够慢让我们适应它。

第三点，我认为很多人对我的写作不以为然，只是认为这一切太古怪了，我们正在谈论人类的巨大转变，事情将以非常快的速度发展。这只是一个疯狂的主张。为什么我们会认为我们恰好处于这个特别重要的时期？但实际上——如果你只是缩小范围，看看人类历史上历史事件和技术进步的基本图表和时间表，就有很多理由认为我们已经处于加速趋势，而且我们已经生活在一个奇怪的时代。

我认为我们都需要对下一次重大转变——与新石器时代革命或工业革命或更大的革命一样大且加速的转变——随时可能到来这一想法持开放态度。我认为我们不应该坐在那里认为我们有一个超强的默认值，不会发生任何奇怪的事情。

凯尔西派珀

我想以充满希望的方式结束。如果人类真的齐心协力，如果我们在接下来的十年里努力寻找一种好的方法来解决这个问题，并且我们在一些协调方面取得了成功，并且在技术方面取得了一些成功，那会怎样？那会是什么样子？

霍尔顿卡诺夫斯基

我认为在某些方面应对我们面前难以置信的不确定性很重要。事实上，即使我们做得很好并且非常理性并且作为人类聚集在一起并做所有正确的事情，事情可能会发展得太快并且我们可能仍然会遇到灾难。

另一方面——我用了“没有尊严的成功”这个词——也许我们基本上什么都做对了，但仍然很好。

所以我认为这两个都是真的，我认为所有的可能性都是开放的，记住这一点很重要。但如果你想让我专注于乐观的愿景，我认为今天有很多人从事对齐研究，这试图揭开这些人工智能系统的神秘面纱，并减少我们拥有这些神秘思想的情况我们对此一无所知，更多的是我们了解他们来自哪里。它们可以帮助我们了解它们内部发生的事情，并能够设计它们，使它们真正成为帮助人类做人类想做的事情的东西，而不是有自己的目标并朝着随机方向发展的东西并以随机的方式引导世界。

然后我希望将来会围绕人工智能的标准和监控制定一个制度。这个想法是，有一种共同的感觉，即展示某些属性的系统是危险的，并且这些系统需要被包含、停止、而不是部署，有时一开始就不需要训练。该制度是通过自我监管、政府监管和国际行动相结合来实施的。

“如果我们很好地迎接挑战，它会增加几率，但我确实认为无论如何我们都会遇到灾难或一个伟大的结局，因为我认为一切都非常不确定”

如果你得到了这些东西，那么就不难想象一个世界，在这个世界中，人工智能首先是由遵守标准的公司开发的，这些公司对风险有很好的认识，并且受到适当的监管和监控，因此第一个超级强大的 AI 可能能够完成人类为推进科学技术所做的所有事情，实际上是安全的，并且实际上优先使用使整体情况更安全。

例如，它们可能被用来开发更好的对齐方法，使其他人工智能系统更容易安全，或者被用来开发更好的执行标准和监控的方法。所以你可以得到一个循环，你有早期的、非常强大的系统被用来增加后来非常强大的系统的安全系数。然后你最终会进入一个我们拥有许多强大系统的世界，但它们基本上都在做它们应该做的事情。它们都很安全，不会被激进的间谍程序窃取。就像迄今为止一样，这基本上成为人类进步的力量倍增器。

因此，道路上有很多颠簸，很多不确定性和很多复杂性，这样的世界可能会在未来结束我们的健康状况得到极大改善，我们拥有大量清洁能源，社会科学进步的地方。我认为我们最终可能会生活在一个比今天好得多的世界，就像我相信今天比几百年前好得多一样。

所以我认为这里有一个潜在的非常幸福的结局。如果我们很好地迎接挑战，它会增加几率，但我确实认为无论如何我们都会遇到灾难或一个伟大的结局，因为我认为一切都非常不确定。