丹尼尔·施瓦茨是Design I.T. Solutions（设计IT解决方案）有限责任公司的总裁，这是一家领先的咨询、网络安全和托管IT服务提供商。
人工智能竞赛已经打响，各供应商正加速争夺领先地位。我认为我们有理由担忧人工智能对我们福祉的影响。然而，威胁并非来自要来攻击我们的机器人军队，而是简单得多的问题。
要理解正在发生的事情，我们需要回顾工业革命。在许多方面，当今由人工智能驱动的自动化是工业革命的现代版本。那个时代通过自动化和执行旧任务的新方式带来了巨大增长。制造业得到改善，产品以前所未有的速度进入市场。
然而，这种进步也付出了代价。早期的工厂往往缺乏基本的安全措施。传送带安装时没有防护栏。由于质量控制和工作场所保护未能跟上创新的步伐，工人们被置于危险的物理环境中。
我认为，我们在人工智能领域也看到了类似的模式正在出现。当供应商竞相通过更快、更强大的版本超越竞争对手时，保障措施可能会滞后。一些人工智能系统已被指控未能适当地回应处于危机中的用户——这可能表明缺乏必要的保障措施。
我们还看到人工智能辅助自动化与车辆相关事故之间的担忧，这些事故导致了危险的情况。在医疗保健领域，使用人工智能来诊断病情或指导自我治疗可能导致误诊、延误治疗或危险后果。
这些都不是反对采用人工智能的论点。其好处太重要了，不容忽视。相反，这是一个明确的信号，表明我们需要密切关注这些系统是如何被构建、测试和部署的。
从网络安全的角度来看，风险甚至更高。随着人工智能嵌入医疗保健领域——为疾病研究、诊断和治疗计划提供大规模数据模型——我们必须确保这些数据的完整性。一个被破坏的系统可能会造成广泛伤害。
基础设施也是如此。随着人工智能开始控制电网、交通和其他关键系统的要素，风险从理论转变为现实。如果攻击者获得访问权限并操纵人工智能驱动的控制，后果可能直接影响城市和公共安全。
这一切都指向一点：质量控制。
我们已经看到忽视它会发生什么。涉及SolarWinds的供应链攻击暴露了一个漏洞如何影响数千个组织。现在想象一下，这种情况嵌入到被广泛采用的人工智能系统中。规模——以及潜在的后果——将会大得多。
我们无法阻止人工智能集成的步伐，也不应该尝试阻止。我们应该怎么做？
作为商业领导者，我们必须更加慎重地采用人工智能。这始于对供应商的严格审查。我们应该提出尖锐的问题：实施了哪些质量控制措施？如何处理人类安全场景？哪些网络安全措施保护代码、模型和数据？答案不应该是不切实际、模糊或过于复杂的。
关于质量控制，我希望看到供应商清楚地解释他们的测试程序。这包括攻击模型测试（有意尝试破坏模型）和每次发布前后的验证过程。如果他们不能展示和解释如何测试边缘情况和故障场景，那就是一个危险信号。
关于人类安全，对于定义的高风险交互应该有明确的防护栏。这包括当交互显示出伤害、医疗紧急情况或潜在敏感情况的迹象时的升级路径。在这些时刻，人工智能不应该是最终权威；它应该被设计为转移、重定向或引入人工支持。
关于网络安全，基线需要超越标准应用程序安全。我们应该询问模型如何防止篡改、训练数据如何验证以及更新如何保障安全。访问、代码完整性和供应链安全方面的控制应该被明确记录并经过独立测试。
这些期望并不新颖。SOC 2、CMMC和ISO/IEC 27001等现有框架已经要求这种纪律。如果供应商不能清楚地解释他们如何防止未经授权的模型操纵或中毒数据输入，您就是在承担不必要的风险。
最后，问责制很重要。供应商应该有一个已发布并明确定义的事件响应流程，包括他们如何沟通问题、修复问题以及防止问题再次发生。在这个领域的透明度与技术本身同样重要。
对供应商的审查只是等式的一部分。组织还需要建立自己的内部防护栏，以确保人工智能在整个业务中安全负责地使用。
与IT中的所有事情一样，它始于员工培训——但不是传统的"打勾"方式。团队需要实用的、基于角色的指导，了解人工智能在日常工作中应该如何和不应该如何使用。这包括了解人工智能可以在哪些方面帮助提高生产力，以及在哪些方面可能引入风险——例如处理敏感数据、基于不完整输出做出假设，或过度依赖未经验证的人工智能生成建议。
从政策角度看，组织应尽早制定明确的使用指南。定义可以输入人工智能系统的数据、不能输入的数据以及在什么情况下可以输入。敏感信息——无论是客户数据、医疗记录、财务数据还是知识产权——都不应暴露给人工智能工具，除非有适当的控制措施。如果这条线没有明确划定，它就会被跨越。
还需要有人类问责的层面。人工智能应该支持决策，而不是取代决策。组织应实施要求对高影响输出进行人工审核的程序——无论是客户沟通、财务决策还是由人工智能洞察驱动的运营变更。
人工智能是一个强大的工具、一种资源，而且越来越成为业务伙伴。它应该被拥抱，但这种采用必须伴随着期望。供应商需要将安全和保障与创新放在同等重要的位置——而不是在创新之后。
工业革命的教训仍然适用。没有防护栏的进步可能导致可预防的伤害。如果我们牢记这些教训，我们就可以避免在构建这一下一阶段的技术进步时重蹈同样的错误。
【全文结束】
