#80- Layer pruning e Mixture of Depths.

An episode of the Vida com IA podcast, hosted by Filipe Lauar, titled "#80- Layer pruning e Mixture of Depths. " was published on April 18, 2024 and runs 15 minutes.

April 18, 2024 ·15m · Vida com IA

0:00 / 0:00

Summary

Fala galera, continuando a serie de episódios sobre PEFT, nesse episoódio eu falo sobre tecnicas de otimização de inferência em LLMs. Eu falo de layer pruning, onde a gente corta algumas camadas consecutivas da rede sem perder quase nada de qualidade do modelo. Eu falo também sobre Mixture of Depths, uma tecnica semelhante ao Mixture of Experts, onde a gente usa um routing pra escolher quais tokens vão ser processados em qual camada da rede. Paper MoD: https://arxiv.org/pdf/2404.02258.pdf Paper layer pruning: https://arxiv.org/pdf/2403.17887v1.pdf Instagram do podcast: https://www.instagram.com/podcast.lifewithai Linkedin do podcast: https://www.linkedin.com/company/life-with-ai

Episode Description

Fala galera, continuando a serie de episódios sobre PEFT, nesse episoódio eu falo sobre tecnicas de otimização de inferência em LLMs.

Eu falo de layer pruning, onde a gente corta algumas camadas consecutivas da rede sem perder quase nada de qualidade do modelo.

Eu falo também sobre Mixture of Depths, uma tecnica semelhante ao Mixture of Experts, onde a gente usa um routing pra escolher quais tokens vão ser processados em qual camada da rede.

Paper MoD: https://arxiv.org/pdf/2404.02258.pdf

Paper layer pruning: https://arxiv.org/pdf/2403.17887v1.pdf

Instagram do podcast: https://www.instagram.com/podcast.lifewithai

Linkedin do podcast: https://www.linkedin.com/company/life-with-ai