康涅狄格州研究人员创建AI模型检测社交媒体中的自杀意念CT researcher creates AI model to detect suicidal ideation in social media posts

环球医讯 / AI与医疗健康来源:www.yahoo.com美国 - 英语2025-11-03 19:56:31 - 阅读时长6分钟 - 2844字
康涅狄格州费尔菲尔德大学商业分析副教授陶杰开发了一种名为KETCH的人工智能模型,能够从社交媒体帖子中高精度识别自杀意念。该系统通过分析Reddit、X和新浪微博等平台的特定短语组合,在检测真正有自杀倾向的帖子时准确率达80-90%,显著高于人类研究人员的70%。研究引发关于AI心理健康应用的伦理讨论,包括隐私保护、用户同意机制和责任归属等关键问题,同时强调该技术应作为临床医生的辅助工具而非替代品,旨在解决心理健康服务资源短缺的现实挑战,提升危机干预效率。
自杀意念检测人工智能模型心理健康伦理考量抑郁症多动症创伤后应激障碍癌症AI代理公共卫生挑战
康涅狄格州研究人员创建AI模型检测社交媒体中的自杀意念

早在新冠疫情之前,甚至在人工智能普及之前,中国研究人员就开始发现一个模式:人们在社交媒体上表达最深层的感受。

研究人员发现,一些人表示自己感受到的不仅仅是悲伤,还公开表达了结束自己生命的愿望。面对海量的社交媒体帖子,研究人员开始构建一个计算机模型,能够筛选数千条帖子,并突出显示那些应该转介给临床医生的少数内容。

费尔菲尔德大学查尔斯·F·多兰商学院商业分析副教授兼人工智能与技术研究所主任陶杰表示,尽管他的研究专长——机器学习、人工智能和自然语言处理——正变得越来越重要,但他感觉自己并未产生实际影响。

"做研究能带来一些满足感,"他说,"但我会问自己,写那些连我母亲都不会读的论文有什么意义?在我看来这很荒谬。如果没人阅读,那就毫无价值。"

自2015年加入费尔菲尔德大学以来,陶杰承诺将运用自己的技能和知识造福社会。为此,在新冠疫情封锁期间,陶杰及其团队基于中国早期研究进行扩展,开发出一种人工智能模型,能够以惊人的准确度识别社交媒体中的自杀意念。

陶杰团队开发的AI系统被编程用于搜索Reddit、X和中国平台新浪微博等六个常用社交媒体网站,寻找特定短语及组合,标记可能指向考虑自杀的用户帖子。该工具随后提醒人类临床医生跟进并视情况干预。

初期中国研究人员识别真正考虑自杀的社交媒体帖子准确率约为70%,陶杰表示这导致大量误报。陶杰使用相同社交媒体数据池测试其AI,发现其识别真实、紧迫自杀意念的准确度高于人类研究人员。

"我们使用该工具将准确率提升至80%多,接近90%,"他说。

中国研究人员每周约向心理学家转介5例;陶杰的工具"将这一数字提升至近25例",他表示。

陶杰表示,这个名为"基于知识增强型转换器的社交媒体内容自杀意念检测方法"(KETCH)的模型,需要对人工智能的"黑箱"进行他称之为"脑部手术"的操作。

"它实际上无法理解反讽或讽刺——这些是人类非常擅长的领域。当然有些人比其他人更擅长,但总体而言我们远胜于AI,"他说。

陶杰表示他"注入"了人类咨询师的规则和词典集,帮助AI理解某人是否在开玩笑。

"我们要求AI基本自我评估其决策的置信度,并以此进行控制,"他说,"如果置信度不高,我们基本上会轻视该决策。"

伦理考量

纽约大学朗格尼医学中心医学伦理部门创始人、里奇菲尔德居民阿瑟·卡普兰表示,自杀是"重大的公共卫生挑战",主要障碍之一是心理健康服务提供者匮乏。

"如果康涅狄格州的家长说,'我孩子似乎有麻烦,我想让他见治疗师',可能会被告知等待名单长达一年,"卡普兰说,"处理青少年心理健康问题的心理学家和精神科医生实在太少。"

因此,能够扫描公开社交媒体帖子以定位严重心理健康问题人群的人工智能可能是一大助力。但卡普兰也表达了一些担忧。他表示,同意权是个问题。虽然该工具仅查看公开帖子,但卡普兰质疑人们是否应被要求同意AI扫描其帖子。

"任何足够年龄的人都可能对TikTok等平台说,'我不想让你转售我的信息,也不想让你将其提供给扫描检查我心理健康的程序',"他说,"如果我们没有这项权利,这肯定需要在立法机构进行深入辩论。"

"如果程序有问题,你认为它因某种原因处理不当,谁负责?谁应承担责任?"卡普兰问道。

根据吉约·马修的说法,"人工智能的发展速度超过了我们设定明确护栏的能力。"

马修是心理健康服务提供商Spring Health的首席产品官,该公司于10月召集了一个专注于AI和心理健康安全的伦理委员会。该委员会包括来自保险公司、医疗保健从业者、研究团体和耶鲁医学院等多家机构的研究人员和临床医生。

"在心理健康领域,这一差距会带来风险,因为出错不仅是技术失败,更是人为失败,"他说。

该委员会的首要任务是创建评估"心理健康AI工具安全性、伦理性和临床有效性"的框架,目标是"制定安全性和性能的通用标准,使心理健康AI创新能够负责任且有信心地推进,"马修表示。

陶杰并不轻视伦理问题。例如,如果错误联系患者,可能引发足够骚动导致该人产生自杀意念,使误报升级。或者AI可能漏掉对人类临床医生显而易见的求助信号,但他相信AI模型越准确越好。

"两种错误都非常可怕,"陶杰说,尽管他认为更高准确率是解决方案,"系统的最终保障是我们希望它过于全面,这样我们就不会打扰那些不会自杀的人——即使他们只是开玩笑——也不会遗漏真正打算自杀的人。"

马修表示,他相信人类干预是关键环节。

"AI不会取代治疗师或精神科医生,但会改变他们的工作方式,"他说,"未来将是AI支持的人类主导护理;这些工具使治疗更有效、更持续、更易获取。"

然而,问题在于技术进步速度快于围绕它的伦理或法律框架。

"诊断心理健康状况复杂而私密,"马修说,"我们正在监管之前运作,这使得负责任的自我监管至关重要。心理健康数据是最敏感的信息之一,而当今法律并非为学习和适应的AI系统而设计。在政策跟上之前,公司和临床领导者必须为安全性、问责制和可解释性设定高标准。"

陶杰表示,他的AI模型并非设计用来取代心理学家,而是供临床医生使用的工具。

"服务提供者可以将这些工具整合并采用到其平台中,使其对最终用户——消费者——可见且透明,"他说。

下一步计划

陶杰表示,虽然他的团队正努力使自杀意念检测模型尽可能准确,但他也希望扩展这一概念。

"我们还面临抑郁症、注意力缺陷多动障碍和创伤后应激障碍等问题,我们能否将此扩展到更普遍的心理健康问题?"他说,但他正将诊断模型扩展到大脑以外领域。

在父亲被诊断出癌症后,陶杰尝试自学相关知识,却发现无法跟上所有新研究。因此,他决定构建一个AI模型,用于搜索、验证并将发现转化为易懂语言。

"这个AI代理实际上会每天自主上网搜索今日新动态:新药物试验是什么?实验性治疗是什么?FDA新批准是什么?"陶杰说,"实际上是多个AI协同工作,有的进行研究,有的验证研究,有的确保内容易于理解。"

任何有自残想法或寻求免费保密心理健康支持的人,均可拨打或发短信至国家自杀预防热线988或800-273-8255(西班牙语:888-628-9454;聋哑及听力障碍人士拨打711后接988),或访问988Lifeline.org。

【全文结束】

大健康
大健康