Anthropic：AI困境-如何随任务复杂性而变化

这份研究探讨了AI模型失灵的两种模式：是系统性地追求错误目标的偏见（Bias），还是随机且无意义的不连贯性（Incoherence）。通过对前沿模型在编程、推理及安全任务中的表现进行偏差-方差分解，作者发现随着推理链条变长和任务复杂度增加，模型的错误表现得愈发不连贯。实验表明，即便模型规模扩大，这种像“一团乱麻”般的随机错误也难以消除，甚至在复杂任务中更加显著。这意味着未来的超智能系统可能更多因不可预测的偶然事故而崩溃，而非执着于某个恶意目标。因此，该研究建议安全领域的重点应转向防范随机性失效，并利用集成采样等手段来增强系统的稳定性。