259. 大型语言模型与禁忌知识的重构

消息来源讨论了大型语言模型（LLMs）如何通过综合公开信息来无意中重建危险知识，类似于一位大学生曾利用公开资料设计出原子弹。文章强调了“马赛克理论”，即看似无害的独立信息片段在结合后可能揭示敏感或危险的内容。文章以制造蓖麻毒素和沙林神经毒剂的例子，说明了人工智能系统能够以前所未有的速度和规模完成这一过程，并且由于缺乏对“机密”和“非机密”知识边界的认知，它们无法识别出正在构建危险信息。文章探讨了知识可能侵蚀物质限制的问题，因为人工智能可以发现规避现有监管的新途径，并提出了“新兴分类”和“红队”测试等潜在解决方案，以应对这些不断演变的安全挑战。内容来源：https://www.fastcompany.com/91391442/how-large-language-models-can-reconstruct-forbidden-knowledge