随着生成式AI工具在工作场所的普及，逐渐成为像我们每天使用的文档软件一样的日常工具，许多最终用户相信它可以提供无懈可击的答案。不幸的是，最近的研究表明，生成式AI模型提供的答案往往不如其自信水平所暗示的那样准确。
这种准确性与生成式AI工具所预测的自信水平之间的不匹配，在我们审视AI在医疗保健中的应用时尤为令人担忧，因为其中的风险不可估量。据麦肯锡公司统计，72%的医疗保健组织正在使用或计划使用AI。在新加坡，卫生部打算在未来五年内拨款2亿新元用于AI的发展，部署生成式AI来自动化诸如医疗记录和总结等任务。
医疗保健组织有责任解决AI模型中的不准确性，因为这不仅涉及企业的效率或成本节约，还可能对人类的生命、福祉和健康造成不可挽回的损害。AI模型的质量取决于输入的数据，这意味着在医疗保健环境中使用的AI模型需要经过严格测试，提供可靠的数据，并由强大的数据管理系统支持以减少错误。
幻觉带来巨大风险
使用基于开源公共LLM构建的生成式AI面临的挑战在于其容易产生幻觉——即AI生成不准确或完全虚构的信息。尽管超大规模提供商努力通过新产品和技术解决这一问题，但尚未能消除幻觉或保证一致的准确性阈值。
虽然生成式AI应用前景广阔，但也伴随着重大风险。来自生成式AI的不准确见解可能导致患者护理的严重后果。生成式AI提供商通过在其许可协议中加入免责声明来保护自己免受责任，警告不要在高风险场景中使用这些工具。然而，医疗保健从业者已经在使用生成式AI进行X光、MRI和CT扫描的解读，以及生成患者数据的统计摘要。
这扩大了生成式AI模型产生错误结论并被误认为准确的可能性。因此，医疗保健公司必须充分认识到这些风险，并对任何AI生成的诊断或建议实施严格的验证过程。责任不仅限于确保准确性，还包括保护敏感的患者信息。如果没有强有力的保障措施，使用生成式AI可能会暴露数据漏洞，包括未经授权的访问或保密性的违反。
强大的数据管理可以缓解这一风险
为了解决这些挑战，开发人员正在探索改善生成式AI系统自信校准的方法。自信校准确保AI系统的报告自信与其输出的实际准确性紧密匹配，从而降低对不正确响应的过度依赖。实现这一点需要三个关键行动：
- 整合明确的反馈机制，让人类用户或自动化系统实时纠正AI。
- 优化训练协议，使用多样化的代表性数据集，以最小化偏差并提高模型的鲁棒性。
- 进行严格的部署后准确性测试，以确保在各种条件下的一致性能。
这些努力高度依赖于高质量的数据——准确、最新且多样化。混合数据平台正日益成为这一过程的支柱，作为单一的事实来源，使组织能够在私有数据中心、公共云和混合环境中无缝整合、验证和分析数据。通过提供实时数据访问，这些平台成为数据转换的基础，实施反馈机制、优化训练并进行性能测试。
强大的数据编目和血统追踪功能增强了透明度，揭示了数据的来源和移动，从而建立对AI模型生成见解的信任。同样重要的是确保安全性和合规性。混合平台必须优先考虑强大的安全实践，包括静态和传输中的加密、基于角色的访问控制以及与企业身份管理系统的集成。这些措施保护敏感的患者信息，保护数据完整性，并确保AI模型在安全可信的数据上进行训练和操作。遵守监管标准进一步巩固了这些保障措施，使混合平台成为缓解AI驱动医疗保健风险不可或缺的一部分。
医疗保健的未来取决于我们利用数据的力量来改善患者结果的能力。可扩展、安全且灵活的数据生态系统是解锁护理交付、研究和创新新可能性的关键，为医疗保健领域的变革性进步铺平道路。
(全文结束)
