随着人工智能系统越来越多地影响我们的日常生活，从银行和医疗到犯罪检测，我们是否正在依赖一种我们尚未完全理解的技术？萨里大学的一项新研究表明，当前正是时候重新审视AI系统的透明度和可信度。该研究呼吁立即改变AI模型的设计和评估方式，强调这些强大算法的透明性和可信度。
这项研究发表在《应用人工智能》期刊上。随着AI融入高风险领域，其决策可能产生改变人生的后果，“黑箱”模型的风险比以往任何时候都更大。研究揭示了AI系统必须为其决策提供充分解释的情况，使用户能够信任和理解AI，而不是让他们感到困惑和脆弱。
在医疗保健中的误诊和银行业中的错误欺诈警报等案例表明，潜在的危害可能是危及生命的。萨里大学的研究人员详细描述了AI系统未能充分解释其决策的令人担忧的情况，导致用户感到困惑和易受伤害。欺诈数据集本身具有不平衡性——只有0.01%的交易是欺诈性的——这导致了数十亿美元的损失。
尽管大多数交易是真实的，但这种不平衡给AI学习欺诈模式带来了挑战。然而，AI算法可以非常精确地识别欺诈交易，但目前缺乏充分解释其欺诈原因的能力。
该研究的共同作者、萨里大学分析学高级讲师Wolfgang Garn博士表示：“我们不能忘记每个算法的背后都有真实的人，他们的生活受到这些决策的影响。我们的目标是创建不仅智能而且能向用户提供他们可以信任和理解的解释的AI系统。”
该研究提出了一种名为SAGE（情境、受众、目标和伦理）的全面框架，以解决这些问题。SAGE旨在确保AI解释不仅易于理解，而且与最终用户的情境相关。通过关注预期受众的具体需求和背景，SAGE框架旨在弥合复杂的AI决策过程与依赖它们的人类操作员之间的差距。
结合这一框架，研究使用了基于场景的设计（Scenario-Based Design，SBD）技术，深入研究现实世界场景，以了解用户真正需要什么样的AI解释。这种方法鼓励研究人员和开发人员站在最终用户的立场上，确保AI系统的核心是以同理心和理解为基础设计的。
Garn博士说：“我们还需要突出现有AI模型的不足之处，这些模型往往缺乏提供有意义解释所需的情境意识。通过识别和解决这些差距，我们的论文提倡AI开发的演变，优先考虑以用户为中心的设计原则。”
“这要求AI开发者积极与行业专家和最终用户互动，营造一个协作环境，让来自不同利益相关者的见解能够塑造AI的未来。通往更安全、更可靠AI环境的道路始于对所创造技术及其对我们生活影响的理解。风险太高，我们无法忽视变革的呼声。”
该研究还强调了AI模型应以文本形式或图形表示来解释其输出，以满足用户的多样化理解需求。这一转变旨在确保解释不仅是可访问的，而且是可操作的，使用户能够根据AI见解做出明智的决策。
(全文结束)
