影响对AI医疗聊天机器人信任与满意度的因素:一项针对寻求儿童感染性疾病指导照护者的混合方法情境调查
摘要
背景: 随着人工智能聊天机器人日益成为快速获取医疗指导的常见来源,理解其回答是否满足用户需求并支持充分知情的健康决策十分重要。然而,现有评估框架主要依赖专家定义的评估维度,尚未在终端用户中得到实证验证。这些框架是否真正捕捉了人们判断回答是否有用、可信和令人满意时实际使用的标准,以及哪些评估维度在实践中对用户最重要,仍不清楚。
目的: 本研究实证考察准确性、全面性等常用维度如何影响照护者对AI生成的儿童健康问题回答的满意度,并进一步探究当前评估框架可能忽视的期望和沟通需求。
方法: 我们通过Prolific招募191名照护者,开展混合方法情境调查。参与者从8个维度评估GPT-4o对一组经临床医生认可的儿童健康问题的回答,并评价总体满意度。我们使用累积连接混合模型量化各维度对总体满意度的影响,并对开放式评论进行归纳主题分析,以识别既有框架中的缺口。
结果: 191名照护者共评估了1146条聊天机器人回答。起初,照护者将准确性和可信度评为最重要的维度。然而,累积连接混合模型分析发现,实用性是总体满意度的最强驱动因素(比值比[OR] 2.53,95%CI 1.95‐3.27;P<.001),其次是详尽性(OR 2.15,95%CI 1.69‐2.73;P<.001)。全面性并未显著影响满意度(OR 1.05,95%CI 0.82‐1.33;P=.71)。定性反馈有助于解释这一点:参与者经常批评回答“太长”,更偏好简洁、可操作的指导。共情/温暖与总体满意度显著相关(OR 1.48,95%CI 1.27‐1.72;P<.001),但引发了极化反应(Van der Eijk一致性μ=0.38):一些照护者重视情感支持,另一些人则认为AI生成的共情不真诚并削弱可信度。医学免责声明在高风险情境中增加信任,但在低风险情境中降低信心。
结论: 现有评估框架仅部分捕捉了照护者如何评估医疗聊天机器人。相比冗长、详尽的细节,照护者更重视可操作的指导、可信的参考文献和清晰的推理。他们并不满足于被动接收密集信息,而偏好互动式风格:聊天机器人主动提出后续建议,帮助他们将对话引向自身具体需求。对共情语言和医学免责声明的反应具有情境依赖性:在某些情境中建立信任的特征,在另一些情境中可能显得不真诚、过度或不必要。

