我们要求一年级医学生对ChatGPT生成的基因组医学相关回答进行批判。学生们将人工智能（AI）输出的内容与生物医学文献进行比较，从而突出AI的优势和局限性。这一练习符合将AI融入医学教育的建议，旨在培养学生对医疗领域中AI的批判性思考能力。
像ChatGPT这样由人工智能驱动的聊天机器人在多种医疗场景中展现了潜力，包括研究、诊断和患者监测，但也容易出现错误和偏见。为了帮助新入学的一年级医学生认识到使用人工智能作为生物医学信息来源的优势和局限，我们要求他们批判ChatGPT生成的基因组医学问题答案，并将其与从生物医学文献中检索到的信息进行比较。在课前作业中，学生观看了《新英格兰医学杂志》制作的一段视频，该视频解释了像ChatGPT这样的大型语言模型的工作原理[1]。
图1展示了这一练习的流程。一名遗传学家获取了ChatGPT对十个不同关于遗传疾病提示的回答。每个提示包含一个关于疑似遗传病患者的临床案例以及四个相关的临床问题。这些疾病尚未在课程中涉及。每位学生（n = 155）被分配审查一个提示及其对应的ChatGPT回答，并以300至500字的篇幅批判AI回答的准确性、清晰性和完整性。学生有两周时间撰写论文，并需要引用4至5篇生物医学文献中的主要或次要来源支持其批判。这一要求鼓励新生实践在之前导向课程中学到的有效文献检索技能。
在提交论文和支持参考文献的当天，学生们还分小组（n = 9名学生）与遗传咨询师会面90分钟。在每个小组中，三名学生收到了相同的任务；这些三人小组比较了他们对AI的批判并合作进行了一场简短的口头报告，内容“就像在向患者家属解释疾病”。之后，小组讨论了在医疗领域使用AI的前景与风险，遗传咨询师为每组口头报告的质量和准确性提供了叙述性反馈。随后，一位健康科学图书馆员为每位学生提供的参考文献质量提供了叙述性反馈。没有向学生分发针对每组10个提示的“正确答案”；然而，在后续的实习前课程中，教师教授了所有这些遗传疾病。
在书面论文中，学生们报告称，ChatGPT通常为想要了解更多疾病信息的普通人提供了一个简洁且有用的总结。然而，学生们也引用了主要和次要生物医学文献来源，指出AI输出缺乏诊断和管理所需的细节。
在课程评估中，学生对这一练习的评价总体上是积极的。
学生1：
我没想到有这么多人实际上使用ChatGPT来了解他们的症状。这让我意识到这是一个我需要熟悉并教育自己、工作人员和患者如何适当使用的工具。
学生2：
直接在医疗背景下正面应对AI“问题”非常棒。这次课程澄清了当前大型语言模型的许多限制，揭示了这项技术可能的应用方向，并清楚地表明这些工具将在未来几年内存在于医疗行业。
学生3：
这是一次宝贵的经历，有助于理解这种新技术的职业影响，不仅在学习基因组内容方面有所帮助，还教会了我们如何批判性地思考这些信息对我们作为医生和未来患者的意义。
然而，也有学生表示小组讨论较为肤浅，或认为写论文显得多余，或认为关注ChatGPT输出并无帮助。
学生1：
这是一个有趣的话题，但我在日常与其他学生的对话中已经进行了更深入的讨论。
学生2：
这次课程很有趣，因为它让我批判性地思考AI，但我认为论文要求没有必要。
学生3：
我认为讨论AI非常重要；然而，使用ChatGPT作为例子并没有帮助。它并不是被训练成医疗助手，所以当然无法很好地回答临床问题。
本课程练习的成功依赖于五个关键要素。首先，时间安排至关重要。将其安排在医学课程的第一个月内，确保这是第一个专注于医学教育中AI主题的课程练习，同时在正式讲解遗传疾病之前进行，并为新生提供早期机会熟悉健康科学图书馆的资源。其次，分配NEJM视频为学生提供了对大型语言模型的简洁而引人入胜的介绍，通过将其与医学学生熟悉的闪卡类比。第三，将重点限制在十组已知的ChatGPT输出上，使教师能够预见学生的批判，而允许学生设计自己的提示可能会产生超过150种不同的AI输出。第四，加入小组讨论使学生能够与同伴比较他们对AI输出的批判。第五，为学生提供的个性化参考文献反馈，有助于新生认识到他们检索生物医学文献策略的优缺点。
安全地将AI应用于患者和人群的护理中，要求医疗专业人员对其能力和局限性进行批判性评估[2]。要求医学生深度认知并批判性评估AI驱动的基因组医学问题答案，有助于培养这些技能。此外，提供小组讨论AI驱动输出的机会，符合国际人工智能咨询委员会关于将AI融入本科医学教育的多项建议，包括学习者发展对自身知识、技能和AI态度的自我意识，保持对AI工具准确性和完整性潜在局限性的批判意识，并与他人比较和对比这些想法和感受[3]。
数据可用性
本研究的数据可根据联邦隐私指南的要求，向通讯作者提出请求后获得。
参考文献
- Fralick, M. 等. Stats, STAT! 大型语言模型. NEJM Evidence. 2023. [在线视频]. 可用:
- Lomis K. 利用系统视角在增强智能时代赋能健康科学教育工作者. Med Sci Educ. 2024;34(S1):5–7.
- 国际人工智能咨询委员会，“草案：医学教育中的人工智能。2025年IACAI愿景与整合框架”，MedBiquitous, 2024. [在线]. 可用:
(全文结束)
