2024-06-11   星期二

Yandex开源LLM训练工具，节省高达20%的GPU资源

36氪获悉，跨国科技公司Yandex最近推出YaFSDP，这是一种用于训练大型语言模型（LLM）的开源方法。YaFSDP是目前最有效的公开可用工具，用于增强GPU通信并减少LLM训练中的内存使用量，与FSDP相比，其训练速度提升最高可达26%，具体取决于架构和参数数量。通过使用YaFSDP减少LLM的训练时间可以节省高达20%的GPU资源。