2023 年 1 月 14日星期五

一位匿名读者引用了《科学美国人》的一份报告：根据 bioRxiv 服务器上发布的预印本1，人工智能 （AI） 聊天机器人可以编写如此令人信服的虚假研究论文摘要，以至于科学家通常无法发现它们。“我非常担心，”英国牛津大学研究和监管的桑德拉·瓦赫特（Sandra Wachter）说，她没有参与这项研究。

“如果我们现在处于专家无法确定什么是真的，什么是假的，我们就会失去我们迫切需要的中间人来指导我们解决复杂的话题，”她补充道。研究人员对科学的影响存在分歧。聊天机器人 ChatGPT 会根据用户提示创建逼真且听起来智能的文本。它是一个“大型语言模型”，一个基于神经网络的系统，通过消化大量现有的人类生成文本来学习执行任务。

总部位于加利福尼亚州旧金山的软件公司OpenAI于11月30日发布了该工具，并且可以免费使用。

自发布以来，研究人员一直在努力解决围绕其使用的道德问题，因为它的大部分输出可能很难与人类编写的文本区分开来。科学家已经发表了由ChatGPT撰写的预印本2和社论3。现在，由伊利诺伊州芝加哥西北大学的Catherine Gao领导的一个小组使用ChatGPT生成人工研究论文摘要，以测试科学家是否可以发现它们。研究人员要求聊天机器人根据发表在JAMA，新英格兰医学杂志，BMJ，柳叶刀和自然医学上的选择撰写50篇医学研究摘要。

然后，他们通过抄袭检测器和人工智能输出检测器将这些摘要与原始摘要进行比较，并要求一组医学研究人员发现捏造的摘要。

ChatGPT 生成的摘要通过了抄袭检查器：原创性得分中位数为 100%，这表明没有检测到抄袭。人工智能输出检测器发现了66%的生成摘要。但人工审稿人并没有做得更好：他们只正确识别了68%的生成摘要和86%的真实摘要。他们错误地将生成的摘要中的32%识别为真实，将14%的真实摘要识别为生成。Wachter说，如果科学家无法确定研究是否属实，可能会产生“可怕的后果”。除了对研究人员造成问题，他们可能会被拉下有缺陷的调查路线，因为他们正在阅读的研究是捏造的，还有“对整个社会的影响，因为科学研究在我们的社会中发挥着如此巨大的作用”。

例如，这可能意味着研究知情的政策决定是不正确的，她补充说。相反，新泽西州普林斯顿大学的计算机科学家Arvind Narayanan说：“任何严肃的科学家都不太可能使用ChatGPT来生成摘要。他补充说，生成的摘要是否可以被检测到是“无关紧要的”。

“问题是该工具是否可以生成准确且引人注目的摘要。它不能，所以使用ChatGPT的好处是微不足道的，缺点是显著的，“他说。