(AI 资源之家讯)5 月 9 日,随着三部门智能体实施意见的发布,智能体安全审计标准的缺失问题被推到台前。当前智能体具备自主决策和执行能力,但其安全审计仍沿用传统软件的测试方法论,缺乏针对自主行为和涌现能力的评估体系,亟需建立专门的标准。
## 自主行为带来的新挑战
传统软件的行为是确定性的——给定输入必然产生特定输出。但智能体基于大模型运行,其行为具有不确定性和涌现性,相同的输入可能产生不同的输出。这意味着传统测试方法(如单元测试、集成测试)对智能体几乎无效——你无法穷举测试一个可能产生无限种行为的系统。如何对不确定性行为进行安全审计,是整个行业面临的核心技术挑战。
## 三部门实施意见的安全要求
实施意见将智能体安全、可靠、可信作为底线要求,并提出了三个层面的安全框架:产品准则要求智能体在设计阶段内置安全机制;服务规范要求运行过程中的实时监控和异常处置;监管要求则明确了事后审计和责任追溯机制。但实施意见目前仍是原则性指导,具体的技术标准和测试方法尚待制定。
## 产业界的应对
多家头部企业已开始自建智能体安全评估体系。Anthropic 的内省适配器、OpenAI 的可信联系人功能都是在安全方向上的探索。在中国,百度、阿里等公司也在内部建立了智能体红队测试流程。但这些分散的努力需要行业标准的统一和协调。中国人工智能学会等机构已启动相关标准的研讨,预计年内会有初步成果。
正文完