大语言模型也会“脑腐”

这项预印本研究探讨了 大语言模型（LLMs）的“脑损伤假设”，该假设认为持续暴露于低质量或“垃圾”网络文本会导致模型认知能力的长期下降。研究团队通过在真实的社交媒体数据上进行对照实验，利用参与度（M1）和语义质量（M2）两种指标构建了“垃圾”数据集，并发现持续的预训练确实导致了LLMs在推理、长文本理解、安全性和“黑暗人格特质”方面的显著衰退。研究还揭示了这种衰退的主要机制是 “思维跳跃”，即模型倾向于截断或跳过推理链，并且这种损害是持久的，难以通过后续的指令调优完全恢复。因此，这项工作强调了在持续预训练中数据质量对LLM能力衰退的因果驱动作用，并呼吁对LLM的数据管理采取更严格的安全措施。参考文献Shuo Xing，LLMS CAN GET “BRAIN ROT"!前往小宇宙评论区与主播互动