华盛顿（法新社）——一位肌肉发达、赤裸上身的男子手持一根超大的胡萝卜，宣传一种他声称可以增大男性生殖器的补充剂。这是TikTok上无数使用AI生成的视频之一，推销未经验证的性治疗方法。
快速发展的生成式人工智能已经将社交媒体变成了一个充满欺骗的空间，用于推广可疑产品。总部位于湾区的Resemble AI公司最近推出了一项深度伪造检测服务，并与法新社分享了其结果。
生成式AI的发展使得大规模生产此类视频变得容易且有利可图，通常只需少量的人工监督，这些视频经常包含虚假的名人代言，推销虚假且可能有害的产品。
在一些TikTok视频中，胡萝卜被用作男性生殖器的隐喻，显然是为了规避内容审核对性暗示语言的审查。
“你会注意到你的胡萝卜长大了，”这位肌肉男以机械的声音在一段视频中说道，并引导用户点击在线购买链接。“这个产品会改变你的生活，”该男子补充道，声称没有证据表明所使用的草药成分可以提高睾酮水平并使能量水平“飙升”。
Resemble AI的首席执行官兼联合创始人Zohaib Ahmed告诉法新社：“正如这个例子所示，误导性的AI生成内容被用来推销夸大或未经验证的补充剂，可能会危及消费者的健康。”
“我们看到AI生成的内容被武器化以传播虚假信息。”
低成本方式
这一趋势突显了人工智能的迅速发展如何催生了所谓的AI反乌托邦，这是一个充满欺骗的在线世界，旨在操纵不知情的用户购买可疑产品。这些产品包括未经验证甚至可能有害的膳食补充剂、减肥产品和性保健产品。
“对于那些希望以低成本大量生产内容垃圾的骗子来说，AI是一个有用的工具，”误信息研究员Abbie Richards告诉法新社。
“这是一种廉价的广告制作方式。”她补充道。
康奈尔科技学院安全、信任和安全倡议主任Alexios Mantzarlis观察到TikTok上出现了一波“AI医生”头像和音频片段，推广可疑的性保健产品。
其中一些视频拥有数百万次观看量，推销由柠檬、生姜和大蒜等成分制成的睾酮增强剂。
更令人担忧的是，快速发展的AI工具已经能够创建模仿名人如女演员Amanda Seyfried和男演员Robert De Niro的深度伪造视频。
“你丈夫不行了吗？”前美国国家过敏症和传染病研究所所长Anthony Fauci似乎在一个TikTok视频中问道，该视频推销一种前列腺补充剂。
但这段视频是深度伪造的，使用了Fauci的形象。
恶劣影响
许多经过处理的视频都是从现有视频中创建的，通过AI生成的声音和唇形同步进行修改。
Mantzarlis表示：“这些冒充视频特别恶劣，因为它们进一步削弱了我们在网上辨别真实账户的能力。”
去年，Mantzarlis发现YouTube上有数百个广告，其中包含Arnold Schwarzenegger、Sylvester Stallone和Mike Tyson等名人的深度伪造视频，推销标榜为勃起功能障碍治疗的补充剂。
短格式AI视频的快速生成意味着即使技术平台删除了有问题的内容，几乎相同版本的内容也会很快重新出现，使得内容审核变成了一场打地鼠游戏。
研究人员表示，这给监管AI生成内容带来了独特的挑战，需要新的解决方案和更复杂的检测工具。
法新社的事实核查人员多次揭穿了Facebook上的一些骗局广告，这些广告使用神经外科医生兼前美国内阁成员Ben Carson的虚假代言来推销勃起功能障碍治疗。
然而，许多用户仍然认为这些代言是真实的，这说明了深度伪造的吸引力。
Mantzarlis说：“自互联网诞生以来，诈骗性的联盟营销计划和可疑的性保健品就一直存在。”
“就像其他所有网络上的不良现象一样，生成式AI使得这种滥用手段变得更便宜、更快捷地大规模部署。”
(全文结束)
