Gemini Diffusion

GoogleのGemini Diffusionは、拡散モデルを採用した新しいLLMで、Transformerの代わりに自己回帰型モデルを使用しています。最大の特長は速度で、非常に高速なテキスト生成を実現。著者は、HTML+JavaScriptのインタラクティブなチャットアプリを数秒で生成することを確認しました。GoogleはGemini 2.0 Flash-Liteの5倍の速度を謳っており、Mercuryのような先行モデルも存在します。ただし、DiffusionモデルはTransformerを依然として使用している可能性があります。