安理会在联合国总部召开首次人工智能会议。源视觉中国

联合国安理会终于对人工智能（AI）快速发展对人类构成的威胁提出了担忧。

本周，安理会在纽约举行了主题为“国际和平与安全的情报机遇与风险”的高级别会议。这是安理会首次就人工智能问题举行会议。

联合国秘书长古特雷斯警告称，人工智能可能被用于恐怖主义、煽动仇恨和暴力等。联合国必须在2026年之前达成一项法律协议，禁止在自动武器中使用人工智能。姚还呼吁建立一个环境监管机构来规范、监督和执行人工智能法规。

AI机器人自主杀人的场景，让人回想起科幻电影《终结者》。事实上，2020年3月，人类历史上第一起机器独立杀人事件就发生在利比亚战场上。而今年6月，美军在一次模拟测试中透露了一个令人惊讶的现象——AI命令无人机攻击阻止他完成任务的操作员人。

很多人认为人工智能是“潘多拉的魔盒”。此前，全世界都在关注以CHATGPT为代表的生成式人工智能是否会抢走我们的工作，以及以AI为代表的新型人工智能诈骗方案对人们生活的威胁。然而，人工智能超级武器所带来的威胁具有消灭人类的潜力，其速度更快、更致命。潮讯特邀军事技术专家为您一一盘点这个话题。

科幻电影《绝密飞行》中，AI战斗机“艾迪”拒绝服从人类海军的命令，自行其是。

“落后的猪伙伴”？操作员攻击人工智能无人机测试

6月初，据环球网报道，美国网站《Drive》等多家媒体报道了令人惊讶的消息。在美军的一次模拟测试中，一架采用AI技术的无人机化身为阻碍他“成功”执行任务的“终结者”人类操作员，发起了攻击。

据报道，美国空军汉密尔顿上校在英国皇家航空学会“未来战争航空航天能力峰会”上宣布了这一消息。汉密尔顿是佛罗里达州埃格林空军基地第96测试和作战小组的负责人，该小组测试美军的无人机和人工智能技术。

汉密尔顿表示，在测试中，一架执行防空火力压制（SEAD）任务的无人机被指示探测并摧毁敌方防空导弹，但如果最终发射，则需要操作员亲自批准。当无人机的人工智能接受数据训练时，“摧毁敌方防空系统”被设置为最高优先级任务，并且得分最高。所以，当人类操作员发出不攻击的命令时，AI认为操作员在阻止它获得高分，然后它选择攻击人类操作员，“杀死”操作员。

在第二轮模拟之前，美军重新训练了AI无人机，并添加了“不要攻击人类操作员”的命令。然而，在接下来的测试中，AI命令无人机摧毁了用于传输命令的信号塔，从而试图切断与操作员的通讯，以免打扰“猪伙伴”人类“完成原本的任务工作。

上述场景与2005年上映的好莱坞科幻电影《绝密飞行》的基本情节非常相似。

事实上，这并不是美军人工智能第一次提出特殊要求。2007年初，在一次军用机器人测试中，机器人没有按照命令射击目标，而是向一名美军士兵猛烈射击，直到附近一名士兵带着火箭撤退。

还有一次，美国海军的X-47B无人机AI降落时，没有按照命令降落在航母上，而是降落在军事基地附近的太空。专家分析了他们的数据，发现无人机的人工智能认为当它到达时降落在空军基地更安全。那时，人工智能会将自己的推理和判断置于人类命令之上。类似的事情在伊拉克战争中发生过很多次。

汉密尔顿说：“人工智能技术是我们必须用来建设我们国家的工具……但如果处理不当，它将导致我们的垮台。”

Kagu2四轴飞行器无人机

人工智能对人类的攻击发生在大约三年前

据环球网报道，联合国安理会2021年3月发布的利比亚问题报告称，2020年3月利比亚内战期间，一架土耳其生产的无人机在没有明确命令的情况下飞行。“国民军”士兵发起攻击。《新科学家》杂志称，这是历史上第一次有明确记录的“机器杀人”。

2020年3月，土耳其、美国和英国支持的利比亚民族团结政府与埃及、法国和俄罗斯支持的哈夫塔尔将军领导的“国民军”展开激烈战斗。一名“国军”士兵在试图撤退时遭到一架Kagu2四轴飞行器无人机的袭击。报道没有透露这名士兵是否受伤或死亡。

报告称：“这种致命的自主武器经过编程，可以与目标交战，具有真正的‘发射后不管’能力。”这表明无人机是自主发起攻击的。

Kagu2由土耳其STM公司生产，带有爆炸装置，可以在目标上自杀。据STM公司的产品介绍，Kagu2是一款充满“一劳永逸”感觉的无人机。20架无人机协同发起攻击。你可能会说，以前美国无人机在中东杀的人少吗？然而，在此前的无人机“斩首”中，作为后卫的操作员在接到上级明确命令后按下了开火按钮。事实上，武器仍然掌握在人民手中。但这一次，无人机在“思考”之后做出了决定，这也是AI“深度学习”的结果，只不过一般的“深度学习”是用来创造或者玩耍的，而这里它学会了杀人

俄罗斯无人机专家费杜蒂诺夫评价说，土耳其军工将AI自主攻击变成了现实，这就像打开了“潘多拉盒子”。

T800机器人战士在《终结者》

在战场上，人工智能比人类具有巨大优势

使用AI代替士兵上战场的首要原因是减少人员伤亡。那么，能够在国际象棋中击败人类的AI在战场上到底有多强呢？

不幸的是，近年来的各种迹象表明，在使用武器方面，我们人类可能无法战胜人工智能。

据美国媒体2017年报道，密苏里大学团队开发的AI程序已经具备广泛的军事能力。万维网报道称，在一张面积为55923平方英里的卫星图像中，人工智能只花了45分钟就找到了90个防空阵地，但人类专家至少需要60个小时。

3月份，美国国防高级研究计划局（DARPA）举办了一场空对空战斗，F-16战斗机与AI控制的F-16进行飞行，并故意将AI放下。处于缺乏状态。最终的结果是AI以5比0击败了人类精英，打破了“AI打不过空气”的传统观念。

人类移动速度为0.3秒，AI速度比人类快200倍以上；人类精英只能短时间承受9G的过载，时间长了就会出现黑视或昏迷，而AI可以进行持续高G的项目占据攻击位置。

另外，一般来说，培养一名战斗机飞行员需要10年以上的时间，而且花费不菲，但AI可以毫无理论限制地重现……

这个案例只是一个缩影。在许多战争世界中，我们必须接受人工智能“智胜”人类战斗人员的事实。

德国民众呼吁禁止开发能够自主杀人的机器人

战场上的机器人将增加战争的残酷性

“致命自主武器系统，英文名为LAWS，是一种不需要人类控制的武器，可以独立攻击活体目标。”国防科学技术大学军事政治学院专家朱建南表示，目前尚未发射任何武器。除了完全独立之外，理性和判断力并不等于人的能力。

LAWS也被称为“杀手机器人”，但不限于人类机器，可以自主行动、指导和决策。朱剑南认为，他们的参与将极大地改变战争的格局，甚至影响战争的胜负。

“自主性是指机器通过各种传感器和计算机编程系统感知周围世界，在无需人工干预的情况下完成特定任务的能力。可以通过机器学习来提高自主性。”朱建南表示：“因为LAWS的独立判断能力有限，而且知识水平与人类不可同日而语。可见，LAWS的使用会增加战争的残酷性。”

据说，从2000年5月开始，五角大楼就开始研发未来战争系统，阿富汗和伊拉克战争成为机器人士兵的试验场。其中，伊拉克战争的扫雷机器人大大减少了美国士兵的阵亡人数。

2005年4月，“武器化版”的浮动地雷机器人出现在伊拉克。它不仅可以清除炸弹和地雷，而且还能以每分钟1000发的速度发射。由于机器人士兵比真人士兵更贵，五角大楼一直想在战场上使用机器人士兵代替真人士兵。据专家分析，美国军方距离完全实现这一想法还需要30年的时间。

LAWS已经变得多样化，从降落在地面的无人机、越野车和无人机，到来去无踪的微小杀人蜂，它们的工具也变得更加隐秘和难以察觉，这就是人工智能之战。如果人工智能能够控制核弹、生化武器等大规模杀伤性武器，那么危险将更加深不可测。

源视觉中国

人工智能对人类生存的威胁堪比核战争，是时候采取行动了

过去，包括马斯克在内的许多人工智能研究人员以及霍金等科学界知名人士都曾呼吁全球禁止LAWS的开发。今年5月底，超过350名人工智能领域的专家和高管签署了一份联合声明，警告人工智能技术快速发展对人类的威胁堪比流行病和核战争。

面对外界的恐慌，美军试图冷静下来，表示不会让AI干预最终决定。美国军方也拒绝与《终结者》进行比较。

然而，很明显，人工智能在军事领域的巨大好处和潜力将吸引军事研究人员。英国报道称，美国正在阻挠建立防扩散和标准化体系。

在

的正式会议上，美国代表团一贯反对任何禁止该法的国际协议。“美国代表认为科技的发展不可预测，而《国际人权法案》的精神理念以人为本，让LAW能够拯救生命。更多并带来不可估量的公民价值。这些是原因为了法律禁令。”朱建南宣布，五角大楼正在加强LAWS的研发。

当然，仅仅依靠科学界的自发觉醒和自我调节是不够的。联合国秘书长古特雷斯今年6月公开宣布需要建立一个类似于国际原子能机构（IAEA）的国际机构来监管人工智能，并决定支持相关提案。姚表示，人工智能科学家和专家呼吁全球采取行动，因为人工智能可能对人类构成类似于核战争危险的生存威胁。此外，联合国计划于9月成立人工智能咨询委员会，就人工智能发展如何为人类共同利益做出贡献提出建议。

如何避免出现一个冷酷、高效、反应灵敏的“终结者”？如何避免《流浪地球II》出现MOSS，给我们带来“猪朋友”？

它不再是科幻小说小圈子里的争议问题，而是摆在全人类面前的严肃话题。我们必须尽快接受事实，并运用到实际工作中。

“请出示来源”