OpenAI：推理模型难以控制CoT思维链

这项研究探讨了推理模型在执行任务时，对其思维链（CoT）内容的掌控能力，即“CoT 可控性”。研究人员通过 CoT-Control 评估套件发现，虽然大模型能很好地控制最终输出结果，但在控制其内部推理过程时表现极差。实验表明，参数量越大的模型可控性略有提升，但随着训练强度增加、推理步数变长或任务难度加大，模型对思维链的控制力会显著下降。此外，即便模型意识到正受到监控或被施加对抗性压力，其可控性也未能有效改善。这种低可控性意味着模型目前难以通过伪造推理过程来欺骗监管，这对AI 安全监控而言是一个积极信号。研究最后建议各大实验室应持续追踪这一指标，以确保未来更强大的系统依然保持可监测性。