近期，全球首屈一指的AI开源社区Hugging Face在其官方网站公布了一起重大安全事故，事件涉及一个完全自主的AI智能体系统发起攻击。此事迅速引起全球范围内对AI安全、取证及防护等诸多议题的深入探讨。据新民晚报记者从上海人工智能实验室了解到的信息，该实验室近期推出了“书安”AI安全基座平台，该平台包含了“数字孪生平台、智能验证矩阵、数据进化飞轮”三大核心组成部分，致力于创建一个可复现、可评估、可进化的全链路AI安全验证体系。
来源：东方IC
高保真孪生平台构成了整个AI安全验证体系的基础。利用数字孪生、数据脱敏以及安全隔离等先进技术，“书安”AI安全基座平台将真实系统中的业务流程、资产关联、权限构造及运行环境进行高精度复制，形成了一个动态的验证体系。这个孪生体不仅能够模仿静态配置，还能实时模拟业务状态的变化和异常响应，确保每一次验证都能真实反映生产环境中的潜在风险和安全隐患。
据介绍，书安平台革新了传统安全“靶场”的模式，能够承载数千级别的安全验证智能体进行同场竞技和迭代进步。书安已构建了一个包含1500余个业务场景、50万余个真实工具的动态仿真环境，能够支持复杂工具的联动调用、多轮长程交互等全真业务流程的仿真验证；依靠自研的超图马尔科夫链验证算法，现已完成17套线上真实业务系统的全维度安全测评及有效性核验。
在AI安全验证的流程中，“书安”AI安全基座平台首先扮演了一个“体检中心”的角色。它内置了一款由上海AI实验室自主研发的智能扫描引擎，这款引擎不依赖固定的漏洞库，而是通过自适应推理来理解系统的业务逻辑，利用数字孪生进行高并发仿真，模拟各种极端情形，同时驱动多智能体协同检查不同的模块。更关键的是，书安平台采纳了类似于AlphaZero的自博弈强化学习能力，使得智能体具备自主进化的能力。
接着，书安平台将转变角色，成为“体测中心”，对系统进行全方位的风险应对测试。它建立了一套多维度的动态评估体系，结合数据库访问行为、全链路业务上下文和系统运行状态，能够自动识别异常，并动态调整和实施测试方案，形成自动化闭环“体测”流程。
在整个验证过程中，书安平台始终运行着一套智能裁判系统，实时记录验证的全程及最终效果，包括安全风险的影响等数据，进行自动化研判打分，并对结果进行公正裁决，最终输出标准化、可量化、可追溯的安全评估报告。
来源：东方IC
新民晚报记者得知，“书安”AI安全基座平台已在全球多个关键产业场景中开展应用验证——在国际物流供应链领域，平台通过模拟新型安全隐患，帮助厦门国际物流供应链中试基地验证核心业务系统应对复杂风险的能力，提升了供应链在智能化场景下的安全坚韧度；在金融方面，平台支持银联金融支付中试基地的金融支付垂直领域大模型PaySage1.0-Turbo、商户入网审核智能体、数据分类分级智能体、用户合作经营智能体等多个业务场景的安全验证，确保模型与智能体应用安全可靠；在进出境领域，平台协助上海海关将安全多智能体协同能力融入单证审核、风险防控、口岸查验等关键环节，实现监管更加精准严密、通关更加便捷高效，同时确保系统安全可控，保障业务的稳定运行。
自2024年提出“AI—45°平衡律”开始，上海AI实验室一直致力于推动AI安全与性能同步发展，目前已经逐步建立起一个覆盖顶层理念、核心技术与行业标准的完整支撑体系。
