随着医疗系统加速采用人工智能技术,技术领导者们发现一些最大的风险在供应商演示阶段并不明显。
据莫菲特癌症中心(位于佛罗里达州坦帕市)高级副总裁兼首席信息学和技术官贝丝·林赛-伍德表示,该中心在实施面向患者的生成式AI聊天代理过程中,收获了一些最具启发性的教训。
"由于我们以前从未做过类似的事情,其复杂性超出了我们最初的预期,"林赛-伍德女士告诉Becker's。"我们必须全面考虑所有因素,包括用于开发聊天代理的大型语言模型。"
在这种情况下,该代理直接与患者互动,因此莫菲特癌症中心必须明确定义其可操作的参数范围。
"很容易忽视某些问题,然后代理就会认为讨论那些你从未打算让它涉及的话题是可以的,"林赛-伍德女士说。
其中一个用例涉及在放射学检查前联系患者——询问有关幽闭恐惧症、植入物和其他准备细节的问题。莫菲特癌症中心在患者到达时会再次验证所有信息,但该代理帮助机构提前联系到更多患者,避免了日程安排的中断。
"不过,我们必须确定这些脚本将如何运行,以及互动应该有多个性化,"林赛-伍德女士说。"一些AI代理试图通过提及生日或以前的对话来建立熟悉感。我们认为其中一些做法对我们来说太过分了,所以我们对代理可以做什么和不能做什么有非常明确的规定。"
由于这是该癌症中心第一个真正独立的面向患者的代理,机构必须设定明确的界限。
"它不能开处方或承认治疗方案,"林赛-伍德女士说。"如果患者说了令人担忧的话,代理需要适当地上报。这其中涉及大量的细节。"
莫菲特癌症中心首先在内部进行试点,在测试过程中,该机构意识到有一些事情是他们之前没有考虑到的。
"我们必须回到供应商那里解决这些差距,"林赛-伍德女士说。"在我们对结果感到满意之前,测试持续了好几个月。"
林赛-伍德女士表示,莫菲特癌症中心的愿景是在AI方面走在前列,但不是为了AI而AI。
"我们希望改善癌症护理,支持发现和治愈,并在增长过程中更好地管理运营费用,"她说。"在病理学和放射学等领域,对试点AI工具有着巨大的需求,因为它们确实可以改善患者护理。这很令人兴奋。"
但林赛-伍德女士也认为,所有IT组织都将面临一波浪潮。
"我们必须在选择正确解决方案方面保持纪律性——不仅仅追逐任何闪亮的新事物,"她说。"我们应该在适当的情况下利用我们已有的平台,并专注于与我们的使命和战略目标最密切相关的AI计划:改善护理提供和推进癌症治疗和治愈。"
目前,莫菲特癌症中心的首席风险官正在领导AI治理,这帮助癌症中心更加关注诸如代理式AI等问题。
"我们已经进行网络安全审查和技术评估,但我们缺乏的是实施、监控和持续验证AI系统的结构化方法,"林赛-伍德女士说。"例如,如果供应商说他们有'人在环中',我们现在会问:在多少索赔上?多久一次?这些审查实际上是如何进行的?"
莫菲特癌症中心正在实施一个治理平台,将帮助其更有效地监控和记录所有这些内容,但目前大部分工作仍然是手动完成的。
"AI治理现在是我们工作的重中之重,特别是当我们实施Epic和Workday(两者都包含AI功能)的同时,还在研究中开发我们自己的AI模型,"林赛-伍德女士说。"我们需要在所有这些环境中实施治理。你不能再像以前那样购买某些东西并直接投入生产,特别是如果它直接接触患者的话。"
【全文结束】

