KisMATH：大语言模型数学推理的隐式因果结构研究

这篇学术论文介绍了一个名为 KisMATH 的新数据集及其配套的因果链式思考图 (CCGraphs)，旨在探究大型语言模型（LLM）在数学推理中是否真正理解其内部逻辑结构。研究团队开发了一种算法，从模型的推理路径中提取出数学表达式之间的细粒度因果依赖关系，并以此分析了15种开源模型。通过“注意力抑制”等干预手段，研究证实了推理节点是得出最终答案的关键中介，这意味着模型并非单纯进行信息检索。实验结果显示，模型的概率分布与研究提取的图结构高度吻合，表明模型在生成答案时内部实现了类似的逻辑结构。此外，研究还发现不同的模型训练方式会影响其在推理路径上的探索能力与确定性。该工作为理解大模型推理的内在机制提供了重要的因果视角，并为受控的图对齐干预研究开辟了道路。前往小宇宙评论区与主播互动