IMDA与AI Verify基金会测试生成式人工智能在实际场景中的准确性和可信度Initiative by IMDA, AI Verify Foundation tests AI accuracy, trustworthiness in real-world scenarios

环球医讯 / AI与医疗健康来源:www.straitstimes.com新加坡 - 英语2025-05-30 08:00:00 - 阅读时长3分钟 - 1492字
新加坡信息通信媒体发展局(IMDA)和AI Verify基金会推出了一项倡议,旨在通过实际应用测试生成式人工智能(GenAI)的准确性和可信度,以鼓励各行业安全采用人工智能技术。
健康医疗保健生成式人工智能医疗报告总结临床监测建议AI应用测试樟宜综合医院AI可靠性人类专家介入GenAI应用指南
IMDA与AI Verify基金会测试生成式人工智能在实际场景中的准确性和可信度

新加坡——樟宜综合医院(CGH)的医生正在测试使用生成式人工智能(GenAI)来总结医疗报告并提供临床监测建议。但这些建议是否准确呢?

与此同时,监管科技公司Tookitaki使用GenAI来调查潜在的洗钱和欺诈案件。其发现是否可靠?

2025年初,信息通信媒体发展局(IMDA)和AI Verify基金会推出了一项专注于GenAI实际应用的倡议,以鼓励各行业安全采用人工智能。AI Verify基金会是IMDA的一个非营利子公司,致力于解决人工智能带来的紧迫问题。

从3月到5月,来自10个不同行业的17个组织(包括人力资源、医疗保健和金融)的GenAI应用程序接受了专业GenAI测试公司的评估。评估结果于5月29日发布,标志着新加坡致力于推动全球GenAI应用安全部署标准的发展。

这项名为“全球AI保证试点”的倡议使各组织能够了解其GenAI应用程序在实际条件下的表现。数字发展和信息高级国务部长陈杰豪在5月29日的亚洲科技x新加坡会议上表示。

樟宜综合医院首席数据和数字官周伟恩副教授告诉《海峡时报》,参与该倡议帮助医院设计了更稳健和可靠的AI模型测试方法。“例如,我们可以评估我们的GenAI应用程序是否准确地从医生的结肠镜检查报告中提取临床信息,并且是否按照临床指南提供了正确的建议。”他说。

Tookitaki创始人兼首席执行官Abhishek Chatterjee告诉《海峡时报》,这次经验使公司的AI模型更具可审计性,并允许公司加入防止AI幻觉的保护措施。这些幻觉是由于训练数据不足等因素导致的不准确或无意义的结果。

AI Verify基金会执行董事Shameek Kundu表示,虽然早期的倡议主要集中在AI模型的测试上,但全球AI保证试点旨在测试GenAI在实际场景中的可靠性。这很重要,因为输入AI的信息可能有缺陷,例如医院AI接收到的患者低质量扫描图像。

目标是使GenAI的使用变得“无聊和可预测”,以确保技术在日常使用中的可靠性,他说。

IMDA和AI Verify基金会在一份声明中表示,该倡议还表明,在测试的每个阶段,人类专家都是必不可少的,从设计正确的测试到解释测试结果。尽管技术未来可能会改进,但目前仍需要人类的介入。

“技术还不够好,我们不能盲目信任并认为它在正常工作。”Shameek说。

一份详细报告可在AI Verify基金会网站上找到。此外,还开发了一个GenAI应用程序测试入门套件,作为企业负责任地采用GenAI的一套自愿指南。

“它借鉴了全球AI保证试点的经验,利用实践者的经验,确保指导实用且有用。”陈杰豪说。他还补充说,该套件包括新兴的最佳实践和测试GenAI应用程序的方法,以及如何进行此类测试的实际指导。

这些指南将由IMDA和AI Verify基金会的Project Moonshot项目提供的测试工具加以补充,该项目针对的是AI应用程序开发者。IMDA正在进行为期四周的公开咨询,关于入门套件的意见可以发送至aigov@imda.gov.sg,邮件主题为“关于LLM基础应用安全测试草案入门套件的评论”。

陈杰豪还宣布,新加坡人工智能(AISG)——一个旨在增强共和国AI能力的国家倡议——将与联合国开发计划署(UNDP)签署谅解备忘录,以推进发展中国家的AI素养。

这一合作将使AISG于2024年启动的“AI for Good”计划扩展到国际规模。他说:“AISG和UNDP将在东南亚、加勒比海和太平洋岛国探索初步的‘AI for Good’试点项目,以便我们共同支持更多包容性的AI驱动增长。”


(全文结束)

大健康
大健康