一位领先的糖尿病专家被迫向他的患者保证他们正在服用正确的药物，因为在Facebook上出现了一段由AI生成的视频，视频中他描述那些开这种药物的人是“白痴”。乔纳森·肖，墨尔本贝克心脏和糖尿病研究所的副所长，在患者开始打电话到他的诊所询问他们在Facebook上看到他推广的新治疗方法时，得知了这段视频的存在。“我点击了链接，当然，它看起来确实像我，但所有的话都改过了，”肖教授说。“我当时立刻想到可能会有人信任我说的话，但现在他们听到的信息是我永远不会提供的。”
在这段假广告中，AI被用来创建高度逼真但虚假的早餐电视节目主持人卡尔·斯特凡诺维奇和肖教授的形象。（ABC Science）在视频中，被移除的假卡尔·斯特凡诺维奇介绍了一个假的肖教授，后者声称二甲双胍，一种治疗2型糖尿病的一线药物，“不足以有效管理糖尿病”。肖教授随后介绍了一种新的治疗方法，称其可以在24小时内“稳定血糖水平”，并“解决糖尿病的其他症状”。视频中推广的产品是一种名为Glyco Balance的膳食补充剂，含有肉桂棒、黄连果和苦瓜。
目前尚不清楚制造该补充剂的公司Vellec Group是否应对该视频负责。当肖教授点击假广告时，他被带到一篇他从未接受过的ABC记者莱格·塞尔的采访记录。这篇假采访于11月在线发布。（ABC Science）其中引用他说这种补充剂是在政府资金支持下在贝克研究所开发的。记录还声称，二甲双胍，澳大利亚最常用的处方药之一，是危险的。尽管有些人可能会从二甲双胍中经历副作用，但该药物的长期安全性已经得到了广泛研究和确认。肖教授表示，他担心这些假广告会阻止糖尿病患者服用他们的药物。“我的主要担忧不是我个人的风险或声誉，而是错误信息，”他说。“这使得普通公众更难识别可信的信息来源。”
诈骗手段日益复杂
近年来，生成式AI的进步导致了大量使用名人和其他公众人物身份的假广告诈骗显著增加。今年早些时候，数百个在Facebook和Instagram上发布的广告中出现了深伪视频，显示卡尔·克鲁斯尔尼克博士推荐降压药。IDCARE全国反诈骗慈善机构的外展和教育经理凯西·桑德斯特罗姆表示，涉及AI生成视频和音频的诈骗已成为“新常态”。“在过去一年里，这绝对是我们在见过的最糟糕的情况，”桑德斯特罗姆女士说。“随着每个人拥抱ChatGPT和其他AI平台，罪犯也是如此。这让他们的工作变得更加容易……使用深度伪造技术，让[诈骗]看起来更加令人信服。”
ABC试图通过电子邮件和膳食补充剂网站上列出的电话号码联系Glyco Balance制造商Vellec Group。一位客户服务代表无法确认Vellec Group是否应对假广告负责，也无法提供公司的进一步联系方式。桑德斯特罗姆女士表示，推广医疗错误信息“非常令人担忧”，诈骗者可能利用健康专业人士在假广告中出现，以逃避Meta移除名人代言诈骗的努力。“网络犯罪是一个万亿美元的全球产业……他们总是在寻找新的方法，”她说。
营造可信度的错觉
在假广告中使用健康专业人士也会营造一种可信度的错觉，这种错觉通常通过其他欺诈性的AI生成内容得到放大。在Glyco Balance的情况下，肖教授的深度伪造似乎是协调一致的在线诈骗的一部分。在网上搜索该膳食补充剂时，会出现许多赞助网站和YouTube视频，其中似乎包含AI生成的客户评论和证词。搜索结果还会显示一个链接，指向ResearchGate，这是一个科学家跟踪其出版物的存储库网站。一篇题为《Glyco Balance澳大利亚评论：这种血糖配方有效吗？》的文章发布在该网站上，署名作者为斯坦福大学研究员“理查德·乔治博士”。但斯坦福大学确认，其教职员工中没有名叫理查德·乔治博士的人。违反ResearchGate的规定，不允许使用假名或宣传产品。ABC联系了ResearchGate关于这篇文章和研究人员的个人资料，但未收到回复。文章中包含客户评论和购买产品的链接。（ABC Science）
同样，Glyco Balance网站声称该产品是由包括美国医生艾伦·加比在内的医生开发的，后者专攻营养学。ABC联系了加比博士，他确认自己与该产品没有任何关系或联系。
糖尿病患者被骗
新南威尔士州北部的迈克尔（只愿意透露名字）第一次听说Glyco Balance是在Facebook上。这位79岁的老人10年前被诊断出患有糖尿病，他在开始出现新症状后决定点击链接。“我点击了‘了解更多’标签，背后是一段与诺曼·斯旺博士的长时间访谈。”迈克尔注意到有许多页面详细介绍了该产品与牛津大学和阿斯利康的合作——都是知名的名字。迈克尔注意到有一个限时优惠——三瓶的价格买五瓶——于是决定试一试这种补充剂。但他几乎立即后悔了。“我回去看评论……人们说，‘我吃了一片就感觉好多了’，”他说。“得了吧……一片药不会让你感觉好起来。”不久之后，迈克尔要求退还他花的340美元。
应对无根据的健康声明
Glyco Balance补充剂据称含有“天然提取物和必需维生素”，旨在“支持健康的血糖水平和脂质谱”。但在管理2型糖尿病方面，只有少数膳食补充剂有微弱的证据表明可能有益，而卫生当局强调不应以未经证实的健康产品替代医学治疗。虚假广告还声称Glyco Balance已获得澳大利亚治疗用品管理局（TGA）的批准。然而，该产品并未被列入澳大利亚治疗用品注册表，也未经过TGA的质量、安全或有效性评估。TGA的一位发言人表示，监管机构已意识到此事及其他涉及健康专业人士和名人代言健康产品的事件，并正在“评估情况”。“我们关注的是澳大利亚人获取未经批准的治疗产品或有关这些产品的信息的健康和安全，”该发言人说。“消费者需要注意，购买不在澳大利亚批准供应的产品（如网上购买的产品）没有质量或安全保证。”
在澳大利亚，卫生从业人员和医学研究人员被禁止为治疗产品背书或发表证言。肖教授表示，假背书诈骗有可能给处于中心位置的卫生专业人士带来复杂的法律问题。“我们有很多看似非常有效的规定……然后突然发生这种情况，所有这些规定都被抛诸脑后，”他说。他还补充道，AI模仿或克隆健康专业人士的声音的风险已经阻止了一些人出现在媒体或参与线上活动。
谁来解决医生深度伪造的问题？
Meta于11月29日删除了假肖教授视频，比贝克研究所报告的时间晚了九天。该研究所表示，直到它提交了单独的知识产权侵权投诉，视频才被删除。“Meta不希望我们的平台上出现诈骗，我们将继续投资工具和技术以防止它们，”该公司的一位发言人说。在4月至5月的试点项目期间，Meta移除了超过8,000个使用公共人物面孔的AI生成诈骗。该公司还在测试面部识别技术，以打击使用名人推销产品的诈骗者。但到目前为止，这项技术仅限于50,000名选定的公共人物，他们必须选择加入该计划。与此同时，更多的医疗专业人士成为目标。“我知道其他非常著名的糖尿病专家也发生了同样的事情，”肖教授说。TGA的一位发言人表示，监管机构与包括Meta在内的多个数字平台密切合作，以遏制和处理非法宣传治疗产品的行为。2023-2024年，TGA要求从各种数字平台移除超过4,800个非法宣传治疗产品的广告。桑德斯特罗姆女士表示，科技公司和监管机构面临的一个关键挑战是产生的欺诈材料数量及其开发速度。她将其描述为一场“打地鼠”游戏，新的广告往往在其他广告被移除后立即出现。“当我们查看[在线内容]时，无论是视频还是Facebook帖子……我们需要默认持怀疑态度，仔细检查是否有道理，”她说。“这意味着在与某事互动之前，你需要多花五分钟。”“这很累，但非常重要。”
(全文结束)
