Google：ELIXR用LLM读懂X光片

本研究介绍了一种名为 ELIXR 的新型多模态医学人工智能系统，旨在通过将放射影像编码器与大型语言模型（PaLM 2）相结合，突破传统医学 AI 任务单一的限制。该模型利用日常收集的胸部 X 光片及其对应的自由文本报告进行高效训练，无需昂贵的人工标注。ELIXR 在零样本分类、数据高效分类和语义搜索方面达到了顶尖性能，仅需极少数据即可匹敌传统监督学习模型。此外，它还展示了在视觉问答（VQA）和放射报告质量检测等复杂交互任务中的巨大潜力。这项工作标志着向通用型 X 射线 AI 系统迈出了重要一步，为处理罕见病诊断和改善临床工作流提供了高效、低成本的路径。