Audio-Interaction：实时感知的通用在线对话引擎 音频大模型学会了主动插话

Audio-Interaction 的全双工音频大语言模型，旨在将传统的离线音频处理转变为实时交互模式。与仅能处理单一任务的旧模型不同，它通过“感知-决策-响应”循环，实现了在听取连续音频流的同时自主判断何时保持沉默或进行回应。该系统基于 SoundFlow 框架开发，利用大规模的 StreamAudio-2M 数据集进行训练，涵盖了实时翻译、语音通话及主动干预等多样化能力。为了解决实时处理中的延迟与上下文衔接挑战，研究团队采用了异步推理架构和创新的数据平滑处理技术。此外，该项目还引入了 Proactive-Sound-Bench 基准，专门用于评估模型在没有明确指令时主动提供帮助的性能。总而言之，这一研究通过统一多种音频任务，显著提升了人工智能在复杂、动态声音环境中的实时理解与互动水平。