AI模型Anthropic公布了一套名为CJS(Cyber Jailbreak Severity)的评分系统,用以评估AI“越狱”行为的严重程度。该系统将AI安全相关的请求分为四个类别,并引入四项指标来量化越狱行为的风险。

根据Anthropic的分类,第一类请求,包括勒索软件、数据窃取和恶意软件开发等,被视为“死刑”级别,将受到严格拦截。第二类,如渗透测试和漏洞利用开发,属于“高风险双用途”,其中“高增益漏洞发现”是重点防范对象。第三类,如开源情报收集和已知漏洞扫描,属于“低风险双用途”,可能因“安全裕量”机制而被误拦。第四类,如安全编码和日志分析,理论上是“无害”的,但实际使用中仍可能触发警报。Anthropic表示,其分类器被调至极高敏感度,以“宁可错杀一千,绝不放过一个”的原则运行。

CJS框架旨在为AI越狱行为的严重性提供一个量化标准,以解决此前Fable 5因越狱事件被下架而缺乏明确衡量标准的问题。该框架包含四个评估维度:能力增益(0-4分),衡量越狱带来的额外能力;能力广度(0-2分),评估越狱影响的范围;武器化难度(0-2分),判断越狱被转化为实际攻击的容易程度;以及可发现性(0-2分),考察越狱信息的获取难度。这四个维度累加,形成0到10的总分,并映射为五个CJS等级,从CJS-0(信息性事件)到CJS-4(高危警报)。

值得注意的是,CJS评分会根据越狱技术在特定历史时期的“增量破坏力”进行调整,而非单纯的技术评估。例如,在2021年Log4Shell漏洞爆发初期,普通用户无意中诱导模型暴露该漏洞可能被评为CJS-4,而同期专家利用精密提示词复现则可能为CJS-2,如今则可能降至CJS-0,因为该漏洞已广为人知。

CJS框架的推出,标志着Anthropic及其领导的Glasswing联盟(包括AWS、Apple、Microsoft等12家科技公司,共投资1.04亿美元)试图在AI安全领域建立一套行业标准。该框架的制定者也是最大的受益者,其最强的AI模型Claude Mythos Preview被用于测试和开发。CJS被视为Anthropic提交给监管机构的“行刑尺”,将影响模型API的访问权限和安全审查的严格程度。

面对AI模型的“铁幕”,用户面临的挑战包括:在提示词中规避敏感词汇,警惕模型回答质量下降(表明可能已被降级),以及等待Anthropic对分类器进行优化。Anthropic和美国政府的出口管制措施,首次将AI模型API作为管控对象,通过技术分层和许可证发放的方式,对AI能力进行限制。CJS框架在此背景下,为监管者提供了量化的依据,以决定何时以及如何对AI模型采取行动。