基于智能手机的人工智能系统追踪细微面部和瞳孔信号以识别抑郁症Smartphone-based AI systems track subtle facial, pupil signals to identify depression

环球医讯 / AI与医疗健康来源:www.news-medical.net美国 - 英语2024-10-01 11:00:00 - 阅读时长4分钟 - 1741字
史蒂文斯学院的教授正在研发基于智能手机的人工智能应用和系统,通过追踪面部和瞳孔信号来识别抑郁症。
人工智能智能手机抑郁症检测PupilSenseFacePsy瞳孔信号面部表情
基于智能手机的人工智能系统追踪细微面部和瞳孔信号以识别抑郁症

据估计,全球约有近 3 亿人,即约 4%的人口患有某种形式的抑郁症。但检测抑郁症可能很困难,特别是当患者不向朋友、家人或临床医生报告负面情绪时。

现在,史蒂文斯学院的桑·沃恩·贝(Sang Won Bae)教授正在致力于几个由人工智能驱动的智能手机应用和系统的研究,这些应用和系统可以无创地提醒我们以及其他人,我们可能正在变得抑郁。

“抑郁症是一个重大挑战。我们想要提供帮助。由于当今世界上大多数人每天都使用智能手机,这可能是一个有用的检测工具,已经构建好并准备投入使用。”史蒂文斯学院的桑·沃恩·贝教授说道。

眼睛快照图像,揭示情绪

贝教授与史蒂文斯学院的博士候选人拉胡尔·伊斯兰(Rahul Islam)正在开发的一个名为“PupilSense”的系统,通过不断拍摄和测量智能手机用户的瞳孔来工作。

她解释说:“过去三十年的前期研究一再表明,瞳孔反射和反应如何与抑郁发作相关联。”

该系统从用户打开手机或访问某些社交媒体和其他应用程序时捕获的 10 秒“突发”照片流中,准确计算瞳孔直径,并与眼睛周围的虹膜进行比较。

在对 25 名志愿者进行的为期四周的早期测试中,该系统嵌入志愿者的智能手机中,在收集瞳孔图像数据后,分析了大约 16000 次与手机的交互。在教人工智能区分“正常”反应和异常反应后,贝和伊斯兰处理了照片数据,并将其与志愿者自我报告的情绪进行了比较。

PupilSense 的最佳迭代版本——被称为 TSF,仅使用选定的高质量数据点——在标记人们确实感到抑郁的时刻时,准确率达到 76%。这比目前正在开发和测试的用于检测抑郁症的最佳智能手机系统——一个被称为 AWARE 的平台——表现更好。

“既然这个概念已经得到证明,我们将继续开发这项技术,”之前开发过基于智能手机的系统来预测狂饮和大麻使用的贝补充道。

该系统于春末在日本的活动和行为计算国际会议上首次亮相,现在可以在 GitHub 平台上开源获取。

面部表情也揭示抑郁症

贝和伊斯兰还在开发第二个被称为“FacePsy”的系统,该系统能够强大地解析面部表情以洞察我们的情绪。

贝指出:“越来越多的心理学研究表明,抑郁症的特征是非语言信号,如面部肌肉运动和头部姿势。”

FacePsy 在手机后台运行,每当手机打开或常用应用程序打开时拍摄面部快照。(重要的是,在分析后几乎立即删除面部图像本身,以保护用户的隐私。)

贝解释说:“一开始,我们并不确切知道哪些面部姿势或眼部动作会与自我报告的抑郁症相对应。有些是预期的,有些则令人惊讶。”

例如,在试点研究中,增加的微笑似乎并非与快乐相关,而是与潜在的抑郁情绪和影响的迹象相关。

贝说:“这可能是一种应对机制,例如当人们实际上情绪低落时,为自己和他人摆出‘勇敢的面孔’。或者这可能是研究的假象。需要更多的研究。”

早期数据中揭示的其他明显的抑郁症信号包括早晨面部运动较少以及某些非常特定的眼部和头部运动模式。(例如,早晨头部的左右摆动似乎与抑郁症状的增加密切相关。)

有趣的是,在早晨和晚上检测到眼睛更睁开的情况较多也与潜在的抑郁症有关——这表明警觉或快乐的外在表现有时可能掩盖了下面的抑郁情绪。

“其他使用人工智能检测抑郁症的系统需要佩戴设备,甚至多个设备,”贝总结道。“我们认为这个 FacePsy 试点研究是朝着紧凑、廉价、易于使用的诊断工具迈出的很好的第一步。”

FacePsy 试点研究的结果将于 10 月初在澳大利亚举行的 ACM 国际移动人机交互会议(MobileHCI)上展示。

来源:史蒂文斯学院

期刊参考:Islam, R., & Bae, S. W. (2024). FacePsy: An Open-Source Affective Mobile Sensing System - Analyzing Facial Behavior and Head Gesture for Depression Detection in Naturalistic Settings. Proceedings of the ACM on Human-Computer Interaction. doi.org/10.1145/3676505.

大健康
大健康