亚利桑那大学健康科学学院
亚利桑那州图森市 — 药学博士(PharmD)学生通常需要通过一系列严格考核以证明其专业能力。ChatGPT能否准确回答相同考题?该校R. Ken Coit药学院最新研究显示答案是否定的。
研究人员发现,人工智能系统ChatGPT 3.5在治疗学考试中的表现明显逊色于药学博士学生。这些考试旨在评估学生是否具备提供安全有效以患者为中心治疗所需的知识、技能和批判性思维能力。
数据显示ChatGPT在应用型问题上的正确率仅为44%,远低于事实记忆类题目的80%。在病例分析题中正确率45%也显著低于非病例类题目的74%。总体而言,ChatGPT仅能正确回答51%的考题。
这项发表于《Currents in Pharmacy Teaching and Learning》的研究成果,不仅揭示了当前AI技术的应用边界,也为药学考试命题提供了重要参考。药学实践与科学系副教授Christopher Edwards指出:"AI在医疗和教育领域具有巨大潜力,但我们想通过研究验证:如果学生试图在考试中使用AI,其表现会如何?现在我们有了数据可以证明,通过刻苦学习学生完全能取得优异成绩。"
该研究的次要目标是探明AI系统应对哪些类型问题存在困难。临时院长Brian Erstad表示:"我们发现AI在应对需要临床判断和有限证据支持的场景时存在明显短板,这恰恰是临床工作者日常面临的挑战。"研究团队分析了6门药理治疗学课程共计210道考题,涵盖非处方药物治疗烧心、腹泻、特应性皮炎、感冒过敏等初级课程,以及心血管、神经和危重症治疗的进阶课程。
通过计算复合平均分对比表现,ChatGPT六门课程平均得分53分,而药学学生平均达82分。研究者强调,尽管AI语言模型将持续影响医疗教育领域,但过度依赖可能阻碍学生必要的推理和批判性思维培养。两位专家均认为随着技术迭代,未来AI的表现可能有所改善。
【全文结束】


