社交媒体曾承诺将世界连接得比以往任何时候都更紧密。然而，在此过程中，它变成了一把双刃剑。一方面，它使我们更容易与朋友和兴趣保持联系；另一方面，它也迅速成为虚假信息和心理健康问题的巨大来源。
从仇恨言论到网络霸凌，有害的在线言论正在不断增加。同时，这种现象也非常难以制止。由于内容量巨大，任何遏制这一问题的努力都变成了打地鼠游戏。当你封禁一个有毒账号时，三个新的又会出现。而在这一切之中，还有AI的身影。
AI进入社交媒体
AI使得内容创作变得前所未有的容易，无论是有益的内容还是有害的内容。然而，在一项新研究中，研究人员展示出AI也可以帮助解决这个问题。新的算法在不依赖手动识别的情况下，能够以87%的准确率分类有毒和无毒文本。
来自孟加拉国东西大学和南澳大利亚大学的研究人员开发了一个优化的支持向量机（SVM）模型，用于检测孟加拉语（一种由超过2.5亿人使用的语言）和英语中的有毒评论。每个模型都使用了从Facebook、YouTube、WhatsApp和Instagram收集的9,061条评论进行训练，其中包括4,538条孟加拉语评论和其余的英语评论。
支持向量机之前已经被用来分类社交媒体内容。尽管这个过程通常快速且相对简单，但其准确性并不够高。在这种情况下，支持向量机在分类评论时的准确率接近70%。然后，研究人员开发了另一种分类器，称为随机梯度下降法（SGD）。这种方法更准确，达到了约80%的准确率，但它也会将无害评论标记为有毒，并且速度比支持向量机慢得多。
随后，研究人员对这些模型进行了微调并将其合并成一个单一模型，他们称之为优化的支持向量机。这个模型不仅速度快，而且准确率达到87%。
“我们的优化支持向量机模型在所有三种模型中是最可靠和最有效的，使其成为在现实场景中部署的理想选择，尤其是在需要准确分类有毒评论的情况下。”该研究的作者之一、南澳大利亚大学的人工智能研究员Abdullahi Chowdhury表示。
有用，但不完美
社交媒体中的毒性是一个日益严重的问题。我们在一片负面情绪和不信任的海洋中挣扎，而AI可以既是解决方案也是问题。就像社交媒体本身一样，它是一把双刃剑。
该模型似乎在不同语言中同样有效，因此可以用来应对全球范围内的在线毒性问题。社交媒体公司已经多次表明，它们不愿意或无法真正解决这个问题。
“尽管社交媒体平台努力限制有害内容，但由于当今世界上有55.6亿互联网用户，手动识别有害评论是不切实际的。”她说。“从在线社交平台上删除有害评论对于遏制不断升级的滥用行为并确保社交媒体空间中的尊重互动至关重要。”
更先进的AI技术，如深度学习，可以进一步提高准确性。虽然还需要更多的研究，但这可以使实时部署在社交媒体平台上成为可能，从而标记有害评论。
AI审核是否真的能解决社交媒体的毒性问题，还是只是一个注定会适得其反的伪技术解决方案？答案并不明确。AI已经在自动化任务、检测模式以及过滤有害内容方面显示出了巨大的潜力，速度远超任何人类审核团队。然而，过去尝试AI驱动的审核效果远非完美。
此外，AI缺乏人类判断的细微之处。讽刺笑话、政治讨论或文化引用很容易被误判为有毒内容。与此同时，真正的有害评论有时也会漏网，要么是因为AI没有接受过足够多样化的数据集训练，要么是因为不良分子找到了绕过系统的方法。
真正的挑战不仅仅是构建更好的AI——而是确保这些系统服务于公共利益，而不是成为另一层数字功能障碍。
参考文献：Afia Ahsan等，《使用机器学习在母语中进行文本毒性分类的方法》，2024年国际创新与智能信息、计算和技术会议（3ICT），2025年。DOI: 10.1109/3ict64318.2024.10824367
(全文结束)
