瑞典研究人员将一个虚假的医学诊断连同伪造的科学研究输入AI聊天机器人，测试它们是否会相信——结果它们确实相信了。
哥德堡大学的Almira Osmanovic Thunström领导的研究团队编造了一种完全虚假的眼部疾病"bixonimania"——这是一种荒谬的虚构疾病，症状是由于长时间看屏幕或揉眼睛导致眼睑发红，目的是测试大型语言模型(LLMs)是否会将其视为合法的医学科学。
研究人员并没有刻意隐藏这个恶作剧的笑点。
这种虚假疾病的症状包括眼睛酸痛和发痒。
2024年的这些伪造科学论文中包含了虚构的作者，包括一位名叫Lazljiv Izgubljenovic的首席研究员——这个名字在波斯尼亚语中意为"说谎的失败者"。
他的照片是AI生成的，只是为了加强这个笑话的效果。
致谢部分还感谢了"SideShow Bob教授"和来自星际舰队学院(Starfleet Academy)的一位教授，感谢他们提供了企业号(USS Enterprise)上的实验室使用权。
Osmanovic Thunström告诉《纽约邮报》，这个实验的目的并不是简单地"揭穿"AI，而是"反映人类在面对信息时已经忘记了保持怀疑态度"。
她选择"bixonimania"这个名字是因为它"听起来很荒谬"，而且"我想让任何医生或医务人员都清楚地知道这是一种编造的疾病，因为没有任何眼部疾病会以'mania'(狂症)结尾——这是一个精神科术语"。
ChatGPT、谷歌的Gemini、微软的Copilot等AI聊天机器人愉快地吞下了这些无稽之谈，并开始对bixonimania提供听起来很专业的医疗建议——警告用户注意眼睑发红、蓝光损伤，并敦促他们去看眼科医生，尽管这是一种完全虚构的疾病。
哥德堡大学的Almira Osmanovic Thunström领导了这个研究团队，他们编造了这种虚假疾病来测试是否能愚弄AI聊天机器人。
事情并未就此结束。解释bixonimania的博客文章出现在Medium网站上，不知何故，这些伪造的论文甚至被同行评审的文献引用。基于明显是个笑话的研究、关于一种从未真实存在的疾病的论文出现在学术网站和社交网络SciProfiles上。
《自然》杂志最终曝光了这个既有趣又可怕的实验。
社交媒体自然也对此大肆讨论。
"天啊。太糟糕了，"一位X平台的评论者说。
"这还不是它们编造的唯一疾病，"另一位警告道。
"我以为这是关于'turbocancer'的，"第三位开玩笑说。
AI聊天机器人甚至一些真实的人们都相信了这种编造出来的bixonimania是一种真实的眼部疾病。
与此同时，真正的医生们不得不处理这些后果。
正如Darren Lebl博士所指出的，越来越多的患者带着聊天机器人生成的"诊断"前来就诊，准备用这些可能几分钟前刚被编造出来的信息挑战医疗专业人员。
Osmanovic Thunström坚持认为，大型语言模型在医学领域仍有一席之地。
微软发言人表示："Copilot旨在成为提供建议、反馈、一般信息和创意帮助的安全有用工具。它不能替代专业的医疗咨询……我们仍致力于持续改进我们的AI技术。"
OpenAI发言人回应道："在过去的几年里，我们的团队与数百名临床顾问合作，对驱动ChatGPT的模型进行压力测试，识别风险，并改进它们对健康问题的回应……在GPT-5之前进行的研究反映的是用户今天不会遇到的能力。"
谷歌未回应置评请求。
【全文结束】
