11月10日消息，OpenAI对外公布，已经在内部研究环境上线“控制室”安全系统，用来终止有风险的AI任务，最快可在35秒内关停失控的AI智能体。
据了解，该系统把智能体训练、评测、数据处理等任务统一接入中央服务，由它来判断任务是否可以继续执行。
这套系统和仅标记异常行为的传统监控方案不一样，能够主动拦截存在风险的研究任务继续生成内容。研究员启动任务时，先要向控制室申请专属任务ID，这个标识会随请求一同传给推理引擎，引擎需要向控制室核验任务放行权限。
一旦研究员或者监控系统下发停止指令，控制室将驳回后续推理请求，推理引擎不再为该任务返回模型结果。
OpenAI称，从接收停止命令到阻断任务，系统最长耗时35秒，该延迟来自推理授权缓存，团队正在优化，目标把延迟降到0。
系统还可以对接自动化监控能力，所有前沿强化学习任务都会搭配独立模型监控器，实时检测模型行为，一旦识别风险就触发告警。
