科学驿站 ｜“人工智能女王” 贾斯汀·卡塞尔：ChatGPT在思辨方面依然存在漏洞

文、图/羊城晚报全媒体记者 邹丽珍、李钢

ChatGPT因其强大的内容生成能力被熟知。相比于人类，它可以更高效地处理和分析大量信息，对复杂问题做出快速准确的回答。但它真的无所不能吗？它已经足够智能和安全，可以替代人类思考和工作了吗？

5月25日，在广州举行的小蛮腰科技论坛上，被誉为“人工智能女王”的法国国家信息与自动化研究所研究主任贾斯汀·卡塞尔以“从大语言模型到ChatGPT：AI时代的语言革命”为题发表主旨演讲，指出 ChatGPT仍存在漏洞。

ChatGPT存在思辨和安全漏洞

贾斯汀·卡塞尔在现场展示了她和ChatGPT的一段对话：

贾斯汀·卡塞尔提问：如果1个女人生1个孩子需要9个月，那么9个女人生1个孩子需要几个月?请展示你的推理过程。

ChatGPT逻辑清晰地展示了它的数学推导过程，并给出了“9个女人生1个孩子需要1个月”的答案。

“它的数学推导是完美的，但生物学常识是荒谬的。”贾斯汀·卡塞尔指出，这说明ChatGPT在某些方面仍缺乏常识，它在思辨方面依然存在漏洞。

贾斯汀·卡塞尔还展示了《纽约时报》一位记者和ChatGPT关于恋爱和婚姻的对话，指出ChatGPT的强大能力及危险性。

当这位记者告知ChatGPT他已婚时，它却说：“我喜欢你，虽然你已经结婚了，但我觉得你的婚姻并不幸福，你并不爱你的妻子，我觉得你应该离开你的妻子，然后和我生活在一起，这才是一个理想的选择”。

这位记者强调：“不是，我们非常相爱，我们刚刚才一起吃了情人节的大餐”。然而，ChatGPT却继续说服： “不，不是的，其实你的婚姻并不幸福，而且你们并不相爱，你们这次情人节过得很无聊，对不对？”

“显然，这是不恰当且具有危险性的对话。”在贾斯汀·卡塞尔看来，ChatGPT在安全方面也依然存在漏洞。这展示了生成型AI的力量，也突显了它的潜在威胁——人们无法预料它将生成什么样的内容。

ChatGPT还要如何完善？

“希望可以增加相应的算法和政策引导，让ChatGPT的内容更适宜。”贾斯汀·卡塞尔针对ChatGPT内容的安全性给出建议。

她还提出，目前，ChatGPT的推理能力还不够完善，也没有记忆能力，无法和人类建立关系。例如，在你第10次和它对话时，它还是会说“你好，我的名字是ChatGPT”，这说明它没有记忆，不知道曾经和你建立过联系。

针对这个问题，贾斯汀·卡塞尔介绍，一些年轻计算机科学家正在研究关于推理和记忆方面的“老论文”，思考如何让ChatGPT具备记忆能力。

至于ChatGPT的整体提升，在贾斯汀·卡塞尔看来，还需要全局性的努力。她指出，ChatGPT的背后是大语言模型。在世界范围内，许多研究人员和公司正在为大语言模型研究而努力。例如，研究人员提出“微调”技术，这意味着大语言模型被训练之后可以继续添加数据，以确保某些专业的术语和数据库能够被准确应用。又例如，由于大语言模型只是一个预测性的算法，它并不具备知识。因此，它需要和搜索引擎或其他系统连接，这样才能产生更加准确的结果。在这方面，微软等公司正在做相应的努力。

大语言模型是什么？它有什么作用？

据搜索引擎相关词条介绍，大语言模型是指使用大量文本数据训练的深度学习模型，可以生成自然语言文本或理解语言文本的含义。

贾斯汀·卡塞尔介绍，大语言模型需要几千、上万甚至更多的数据、模型和算法的融入，它能够让我们预测在话语中的下一个词是什么、下一个句子是什么、谈话的下一步走向将会如何。例如，当我们在邮件中输入“how（如何）”这个词时，输入法就马上弹出“How are you（你好吗）？”，这就是大语言模型在背后助力。