一位肌肉发达、赤裸上身的男子手持一根超大的胡萝卜，宣传一种他声称可以增大男性生殖器的补充剂——这是TikTok上无数由AI生成的视频之一，这些视频推销未经验证的性治疗产品。
生成式人工智能的兴起使得以最少的人工监督大规模生产此类视频变得既容易又具有经济利益，这些视频经常使用虚假的名人代言来推广虚假且可能有害的产品。
在一些TikTok视频中，胡萝卜被用作男性生殖器的隐喻，显然是为了规避内容审核对性暗示语言的监管。
“你会注意到你的胡萝卜长大了，”这位肌肉男用机械的声音在一个视频中说道，并引导用户点击在线购买链接。
“这个产品会改变你的生活，”该男子补充道，声称没有证据表明所使用的草药成分可以提高睾酮水平并将能量水平“提升到极致”。
根据总部位于湾区的Resemble AI公司最近推出的深度伪造检测服务，这段视频似乎是由AI生成的。该公司将其结果分享给了法新社（AFP）。
“正如这个例子所示，误导性的AI生成内容被用来营销夸大或未经验证的补充剂，可能会给消费者的健康带来风险，”Resemble AI的首席执行官兼联合创始人Zohaib Ahmed告诉法新社。
“我们看到AI生成的内容被武器化以传播虚假信息。”
廉价方式
这一趋势凸显了人工智能技术的迅速发展如何助长了研究人员所谓的AI反乌托邦——一个充满欺骗的在线世界，旨在诱使毫无戒心的用户购买可疑产品。
这些产品包括从未经验证甚至可能有害的膳食补充剂到减肥产品和性保健药物等一切。
“对于那些希望通过低成本制造大量内容垃圾的骗子来说，AI是一个有用的工具，”错误信息研究员Abbie Richards告诉法新社。
“这是一种廉价的广告制作方式，”她补充道。
康奈尔科技学院安全、信任与安全倡议主任Alexios Mantzarlis观察到TikTok上出现了大量“AI医生”头像和音频片段，这些片段推广可疑的性保健产品。
其中一些视频获得了数百万次观看，它们推销用柠檬、姜和大蒜等成分制成的睾酮增强剂。
更令人担忧的是，快速发展的AI工具已经能够创建模仿名人的深度伪造视频，如女演员阿曼达·塞弗里德（Amanda Seyfried）和演员罗伯特·德尼罗（Robert De Niro）。
“你丈夫不行了吗？”前美国国家过敏症和传染病研究所所长安东尼·福奇（Anthony Fauci）似乎在一段TikTok视频中问道，该视频推销前列腺补充剂。
但这段视频是深度伪造的，使用了福奇的形象。
恶劣影响
许多经过处理的视频是从现有视频修改而来的，通过AI生成的声音和唇形同步来匹配修改后的声音所说的内容。
“这些冒充视频特别恶劣，因为它们进一步削弱了我们在网上辨别真实账户的能力，”Mantzarlis说。
去年，Mantzarlis发现YouTube上有数百个广告，这些广告使用了阿诺德·施瓦辛格（Arnold Schwarzenegger）、西尔维斯特·史泰龙（Sylvester Stallone）和迈克·泰森（Mike Tyson）等名人的深度伪造视频，推广标榜为勃起功能障碍治愈方法的补充剂。
生成短格式AI视频的速度非常快，即使技术平台删除了可疑内容，几乎相同版本的视频也会很快重新出现——这使得内容审核变成了一场打地鼠游戏。
研究人员表示，这给监管AI生成内容带来了独特的挑战，需要新的解决方案和更复杂的检测工具。
法新社的事实核查人员多次揭穿了Facebook上推广治疗方法的诈骗广告，其中包括使用神经外科医生兼前美国内阁成员本·卡森（Ben Carson）的虚假代言的勃起功能障碍疗法。
然而，许多用户仍然认为这些代言是合法的，这说明了深度伪造的吸引力。
“诈骗联盟营销计划和可疑的性保健产品自互联网诞生以来就一直存在，”Mantzarlis说。
“就像网络上的其他不良事物一样，生成式AI使这种滥用手段变得更便宜、更快捷，可以大规模部署。”
(全文结束)
