OpenAI：AI为什么藏不住心里话 推理模型思维链CoT可控性研究

这项研究探讨了思维链（CoT）的可控性，即推理模型是否能按照指令自主改变其思考过程。研究人员推出了 CoT-Control 测试集，要求模型在解决复杂问题的同时，遵守诸如“禁止使用特定词汇”或“全大写思考”等约束。实验发现，推理模型在控制内部思维方面表现极差，其成功率远低于控制最终输出。模型规模越大，可控性虽有提升，但随着训练强度、推理长度及任务难度的增加，可控性反而会下降。尽管模型在意识到被监控时表现稍好，但整体上仍难以伪装思维过程。研究结论对 AI 安全监控持谨慎乐观态度，认为目前模型尚不具备通过操纵思维链来规避监管的能力。