语言模型中的言语化表征与全局工作空间

这篇文章探讨了大型语言模型（LLMs）中一种被称为“雅可比透镜”（Jacobian Lens）的新型可解释性技术，旨在揭示模型内部类似于人类“全局工作空间”的表征机制。研究指出，模型维持着一小部分特权表征（J-space），这些表征不仅能被模型口头报告，还参与了内部推理、灵活泛化和有意识的调制。通过对这些向量进行干预，研究者可以像“读心”一样观察并改变模型未说出口的中间逻辑，例如其在解决数学题或检测恶意代码时的思维过程。这种机制展示了模型如何将复杂处理浓缩为可理解的概念，进而协调下游的计算任务。该发现不仅为理解人工智能的认知架构提供了新视角，也为对齐审计和模型安全提供了实用的监测工具。前往小宇宙评论区与主播互动