一名肌肉发达、赤裸上身的男子手持一根巨大的胡萝卜，声称他推销的一种补充剂可以增大男性生殖器——这是TikTok上无数由AI生成的视频之一，这些视频推销未经验证的性治疗方法。
生成式AI的兴起使得大规模生产此类视频变得容易且有利可图，通常只需极少的人工监督，视频中常出现伪造的名人代言，推销虚假且可能有害的产品。
在一些TikTok视频中，胡萝卜被用作男性生殖器的隐喻，显然是为了规避内容审核对性暗示语言的审查。
“你会注意到你的胡萝卜长大了，”这名肌肉男在一段视频中用机械的声音说道，并引导用户点击在线购买链接。
“这个产品会改变你的生活，”该男子继续说道，毫无根据地声称其成分中的草药能提高睾酮水平并使能量水平“飙升”。
根据总部位于旧金山湾区的Resemble AI公司最近推出的深度伪造检测服务，这段视频似乎是AI生成的。该公司将其结果分享给了法新社。
“正如这个例子所示，误导性的AI生成内容正被用于营销夸大或未经验证的补充剂，这可能会危及消费者的健康，”Resemble AI的首席执行官兼联合创始人佐哈伊布·艾哈迈德告诉法新社。
“我们看到AI生成的内容被用来传播虚假信息。”
廉价方式
这一趋势凸显了人工智能的快速发展如何助长了所谓的AI反乌托邦，这是一个充满欺骗的在线世界，旨在操纵不知情的用户购买可疑产品。
这些产品包括未经验证甚至可能有害的膳食补充剂、减肥产品和性保健品。
“对于那些希望以低成本大量生产内容垃圾的骗子来说，AI是一个有用的工具，”误信息研究员阿比·理查兹告诉法新社。
“这是一种廉价的广告制作方式，”她补充道。
康奈尔科技安全、信任和安全倡议主任亚历克西奥斯·曼特扎里斯观察到TikTok上出现了许多“AI医生”化身和音频片段，推广可疑的性保健品。
其中一些视频的观看量达到数百万次，推销由柠檬、姜和大蒜等成分制成的睾酮增强剂。
更令人担忧的是，快速发展的AI工具已经能够创建模仿名人的深度伪造视频，如女演员阿曼达·塞弗里德和演员罗伯特·德尼罗。
“你丈夫不行了吗？”前美国国家过敏症和传染病研究所所长安东尼·福奇似乎在一段TikTok视频中问道，该视频推广一种前列腺补充剂。
但这段视频实际上是一个深度伪造，使用了福奇的形象。
恶劣影响
许多篡改视频是从现有视频中创建的，通过AI生成的声音进行修改，并同步口型以匹配修改后的声音所说的内容。
“这些冒充视频特别恶劣，因为它们进一步削弱了我们在网上辨别真实账户的能力，”曼特扎里斯说。
去年，曼特扎里斯在YouTube上发现了数百个广告，其中包含深度伪造的名人形象——包括阿诺德·施瓦辛格、西尔维斯特·史泰龙和迈克·泰森——推广标榜为勃起功能障碍治疗的补充剂。
由于短格式AI视频的生成速度极快，即使技术平台删除了可疑内容，几乎相同的版本也会迅速重新出现，使得内容审核变成了一场打地鼠游戏。
研究人员表示，这给监管AI生成内容带来了独特挑战，需要新的解决方案和更先进的检测工具。
法新社的事实核查人员多次揭穿了Facebook上的一些诈骗广告，这些广告推销包括勃起功能障碍治疗在内的治疗方法，并使用了神经外科医生兼前美国内阁成员本·卡森的虚假代言。
然而，许多用户仍然认为这些代言是真实的，这说明了深度伪造的吸引力。
“骗局式的联盟营销计划和可疑的性保健品自互联网诞生以来就一直存在，”曼特扎里斯说。
“就像其他所有网络上的坏事一样，生成式AI使这种滥用手段变得更便宜、更快捷地大规模部署。”
(全文结束)
