人工智能对人类的利用。

汤姆曾说：人类智慧的奥秘之一在于我们能用有限的资源完成大量的任务，就像机器一样，人类利用算法来做出决策或解决问题。然而，人类大脑的整体水平相对较好，这与计算资源的相对有限性形成了鲜明的对比。

设想一下，如果你拥有一个自动化的智能助手，它能够帮你计划三餐、订购杂货等基本任务。为了成功完成这些任务，它需要能够根据你的行为方式来推断你的需求。虽然这看似简单，但推断人类偏好却可能是一件棘手的事情。

例如，当你的助手发现你在某一餐中最喜欢的食物是甜点时，它可能会开始为你计划完全由甜点组成的三餐，或者它可能会观察到你经常抱怨没有足够的空闲时间，并发现照顾狗占据了你相当多的时间。在经历了甜点的失败之后，它也明白了你更喜欢含有蛋白质的食物，因此它可能会开始研究狗肉、食谱。

从这样的例子到听起来像是关于人类未来的局面（人类是好的蛋白质来源），距离并不遥远。推断人类的需求是解决人工智能价值对齐问题的先决条件。所谓的价值对齐是使自动化智能系统的价值与人类的价值相一致。

如果我们想确保这些自动化的智能系统牢记我们的最大利益，价值对齐至关重要。如果它们不能推断出我们所珍视的东西，它们就没有办法支持那些价值观，并且很可能会以违背那些价值观的方式行事。