EPISODE · Mar 6, 2025 · 3 MIN
AI Radio FM - 大规模语言模型训练技术
from AI Podcast · host weedge
本期播客深入探讨了使用 Megatron-LM 在 GPU 集群上进行高效大规模语言模型训练的技术,涵盖了数据并行、流水线并行和张量并行等关键概念,以及如何组合这些技术以实现高性能和可扩展性。
NOW PLAYING
AI Radio FM - 大规模语言模型训练技术
No transcript for this episode yet
Similar Episodes
Mar 26, 2026 ·1m
Jan 2, 2026 ·47m
Dec 21, 2025 ·46m