线性时间与恒定内存：基于RNN的Embedding

本研究探讨了使用循环神经网络（RNN）架构（如 Mamba2、RWKV 和 xLSTM）作为文本嵌入模型的潜力，旨在解决传统 Transformer 模型在处理长文本时面临的计算压力。研究人员提出了一种垂直分块推理策略，通过跨层递归处理数据，成功将内存消耗从随序列长度线性增长降低为恒定常数。实验证明，微调后的 Mamba2 模型在多项主流基准测试（如 MTEB 和 LongEmbed）中展现出与 Transformer 相当的竞争力，尤其在多语言任务中表现优异。该方法通过结合矩阵并行化与线性递归，显著提升了推理速度并降低了硬件需求。总之，这项工作确立了循环架构在生成长序列和资源受限场景下作为高效文本嵌入工具的地位。