这款广受欢迎的社交媒体平台TikTok拥有超过10亿日活跃用户，每天发布3400万条视频，其中63%的美国13-17岁青少年活跃在该平台上。
虽然这些短视频中的许多内容无害，但某些类型的内容以及平台的推荐算法会加剧青少年的心理健康问题，增加自残甚至自杀意念的风险。
随着这些平台重塑年轻人获取信息和彼此联系的方式，它们也引发了关于心理健康和数字安全的紧迫问题。特拉华大学(University of Delaware)阿尔弗雷德·勒纳商学院(Alfred Lerner College of Business and Economics)管理信息系统助理教授谢佳恒(Jiaheng Xie)及其团队研究了像TikTok这样的算法驱动平台如何无意中放大有害心理健康的内容，以及人工智能(AI)本身如何被用来在悲剧发生前缓解这些风险。
谢佳恒发表在《信息系统研究》(Information Systems Research)期刊上的研究项目"短视频与心理健康：知识引导的神经主题模型"(Short-Form Videos and Mental Health: A Knowledge-Guided Neural Topic Model)，旨在增强内容审核的第一步：自动检测。他的模型不仅仅关注视频内容本身，还分析视频和观众在下方留下的评论。
"我们真正关心的是观众是否有自杀意念，"谢佳恒表示。
如果视频的大量评论反映出自杀意念，这种反应就成为视频中可能存在有害内容的有力信号。
利用这一见解，谢佳恒和他的团队从平台收集了高风险和低风险视频，并将它们输入到一个旨在学习与危险内容相关模式的人工智能管道中。随着时间推移，该模型能够预测新视频是否可能引发观众的自杀意念，甚至在它们获得广泛传播之前。
谢佳恒最近获得了国际信息系统协会(Association for Information Systems, AIS)的早期职业奖，是今年全球仅有的四位获奖学者之一。他对心理健康的研究兴趣早于TikTok的文化崛起。
"我一直对抑郁症和医疗保健相关研究感兴趣，"他说，因为他在短视频平台普及之前多年就开始关注抑郁症研究。
当TikTok在2019年和2020年特别在青少年中迅速流行时，这一长期兴趣变得更加紧迫。在此期间，《纽约时报》和NBC新闻等新闻机构的报道越来越多地将该平台与令人不安的内容以及某些情况下的青少年自杀联系起来。
"这引起了我的注意，"谢佳恒说，"这显然是一个非常严重的问题，属于我的研究范畴。"
谢佳恒没有将TikTok简单地视为社交媒体应用程序，而是将其视为一个复杂的"社会技术系统"(socio-technical system)，在这个系统中，算法设计、人类行为和心理健康结果相互交织。
与其他主要社交平台一样，TikTok已经采用了大规模的内容审核策略。据谢佳恒介绍，该公司依靠两步流程：人工智能系统首先扫描上传的视频以标记潜在的令人担忧的内容，然后数万名人工审核员审查被标记的内容。
尽管付出了这些努力，批评者仍认为有害内容会漏网。谢佳恒看到了贡献的机会，他认为自己的领域不仅能够理解技术，还能理解其运行的组织和社会背景。
"我们了解业务背景，也了解该技术以及问题领域的现状，"他说。
短视频平台最令人担忧的方面之一是它们的推荐系统。谢佳恒指出，一旦用户接触到令人担忧的内容，算法可能会将类似视频推送到他们的信息流中。对于脆弱的青少年来说，这可能会形成危险的反馈循环。
"如果你是一个抑郁的青少年，你会不断收到那些视频，"他说。虽然有些可能是支持性的，但其他内容可能会加剧有害思想。
更令人担忧的是，谢佳恒指出，有些视频明确违反社区准则却仍然可访问，包括提供自杀的分步指南或提及致命物质的内容。
这些现实凸显了需要更快、更精确的检测方法——能够扩展到每日产生的内容量的方法。
谢佳恒方法中的一个关键创新是可解释性。他的模型不仅仅将视频标记为"高风险"，而是借鉴医学文献和既定的心理健康框架（称为医学本体论），来识别与自杀意念相关的特定因素。
这意味着审核人员不仅收到警告，还获得背景信息：哪些主题、内容或风险因素促成了模型的评估。他解释说，有了更多信息，他们将能够做出更快、更明智的决定。
这种指导至关重要，特别是当人工审核员必须观看整个视频来评估风险时——这是一个本质上耗时且情感消耗的过程。
谢佳恒谨慎地强调，人工智能审核不是一次性解决方案。模型必须随着平台、用户行为和新兴内容趋势而发展。
"这应该是一个持续的过程，"他说，并指出对现有系统准确性不足的持续担忧。
虽然他目前的工作仍处于学术阶段，但谢佳恒希望未来能与TikTok等平台合作。最终，他的目标不是阻止使用社交媒体，而是减少其最危险的后果。
"我们并不是说我们不希望青少年使用社交媒体，"他说，"我们只是试图防止负面结果。"
对谢佳恒来说，动机是深深个人化且深刻人性化的。
"这些问题与人们的生活直接相关，"他说。通过推进能够在全球规模上运行的人工智能工具，他的研究旨在确保技术成为心理健康的保障，而不是数字时代心理健康风险的无声放大器。
【全文结束】