原文标题:Who’s Accountable When AI Agents Go Rogue?
中文摘要:南洋理工拉惹勒南国际研究院(新加坡)高级研究员阿莎·赫姆拉贾尼(Asha Hemrajani)在《当智能体人工智能失控时谁来负责?》一文中表示,人工智能系统不仅是攻击者的工具,本身也可能成为攻击目标。随着人工智能变得更加自主,能够在数字和现实环境中进行规划和行动,这种能力对全球安全形势有着深远的影响。
政府和企业都在寻求既能充分利用人工智能创新带来的益处,又能管控其日益增长的风险的方法。其讨论的焦点也越来越多地集中在如何安全、负责地部署人工智能技术上。传统的网络安全框架是为行为可预测的系统设计的,而智能体人工智能(Agentic AI)打破了这种可预测性。它能够学习、适应并以不同程度的自主性运行,从而产生静态防御无法应对的新型不确定性。人与机器之间的界限正变得模糊不清,不法分子利用漏洞所需的时间也在不断缩短。对于政府和企业而言,这标志着数字风险管理方式需要有的根本性变革。
人工智能治理框架必须与技术同步发展。有两个问题正变得日益紧迫。首先,必须充分理解人工智能的自主性。智能体人工智能的行为并非非此即彼。将基本的自动化脚本等同于自主系统会导致控制措施不当和风险管理不均。监督和保障措施应与自主程度相对应。其次,必须重新定义问责制。如果一个具有自主性的人工智能系统执行了有害行为,谁应该承担责任?如果没有明确的界限,法律和伦理上的漏洞将持续存在,并可能被不法分子利用。政府和企业需要建立能够反映人工智能系统运作方式的共享问责模型。
信任并非仅靠算法就能建立,技术的可靠性取决于创造和管理者的意图和诚信。智能体人工智能的兴起暴露了现有治理框架的局限性,并要求人们采用基于前瞻性、问责制和协作的新方法。能够认识到这一转变的政府和企业将更好地保护自身利益,并在数字化转型的下一阶段占据领先地位。(编译:秦川、江明明)
