聊天机器人在高等教育中扮演什么角色?这是辛辛那提大学护理学院的副教授兼生物统计学家约书亚·兰伯特(Joshua Lambert)正在思考的问题。他向自己的学生群体寻求帮助,以了解他们对定制AI教育聊天机器人的有用性和满意度的看法。
兰伯特通过考察一小群护理实践博士(DNP)学生如何评估来自三个不同来源(教授、研究生助教和聊天机器人)对一系列问题的回答,来试点他的定制聊天机器人。该研究结果已发表在《护理教育杂志》(Journal of Nursing Education)上。这个试点项目采用随机化、盲法、受试者内比较研究方法,结合基于调查的评估。
研究中的七名博士生提交了与其毕业设计项目相关的统计问题,并收到教授、研究生助教和聊天机器人的盲法回答。他们根据有用性、满意度和使用可能性对每个回答进行评分,评分范围为1到5分,5分为最佳。然后,他们猜测哪个回答来自聊天机器人。
"学生首先给我们提出问题,然后我们以盲法和随机化的方式给他们三个回答,因此学生不知道哪个回答来自教授、研究生助教或聊天机器人,"兰伯特解释道。"学生根据有用性、总体满意度对每个回答进行排名,并猜测三个回答中哪个来自聊天机器人。"
"学生在总体满意度和有用性方面给予聊天机器人回答的评分最高,"兰伯特补充道。
聊天机器人的回答受到学生青睐,但兰伯特认为数据提供的故事比最初想象的更为复杂。他发现,当要求学生猜测哪个回答来自聊天机器人时,评分最低的回答被猜测为来自聊天机器人。
"学生在不知情的情况下更喜欢大语言模型(LLM)聊天机器人的回答,但当怀疑来源时却表现出对其的偏见,"兰伯特解释道。"这种偏见可能源于缺乏信任,而信任可能会影响学生和教授对AI的接受度。"
"学生给予聊天机器人回答的评分最高,却始终将评分最低的回答猜测为来自聊天机器人,这非常有趣且有些出乎意料。然而,当我们阅读关于这一主题的当前学术文献时,发现用户信任是目前几乎所有AI研究中的重要组成部分,"兰伯特说道。
参与该研究的辛辛那提大学护理学院其他研究人员包括:临床护理副教授、护理实践博士(DNP)罗宾·斯塔姆(Robyn Stamm);护理实践博士项目助理教授、护理实践博士(DNP)香农·怀特(Shannon White);以及研究生临床学习项目副院长、护理实践博士(DNP)梅兰妮·克罗格-贾维斯(Melanie Kroger-Jarvis)。科罗拉多大学安舒茨医学院的博士后研究员贝利·马丁(Bailey Martin)也是该研究的合著者。
研究人员认识到,虽然小样本量适合试点研究,但对于确定充分的有效性来说是不够的。他们建议进行更大规模的研究,在多个地点重复实验,并收集额外的定性和定量数据,以全面评估AI聊天机器人工具在护理教育和咨询中的作用。
"因此,这些描述性结果应被视为理解此类工具如何辅助学生学习和咨询的初步'第一步',"研究人员在研究中写道。
兰伯特表示,他考虑使用聊天机器人是因为学生和其他人一样,有时不愿向他人(特别是教授)提出可能显得愚蠢或使自己显得不够聪明的问题。
然而,聊天机器人不会根据你的问题来评判你,他补充道。
"有时我们讨论的话题具有挑战性或令人畏惧,"兰伯特说。"教育工作者希望降低门槛,让学生能够提出任何他们想问的问题。"
【全文结束】

