Decodifica Speculativa per LLM: Tecniche e Ottimizzazione

Queste fonti esplorano il decodifica speculativa come soluzione chiave per accelerare l'inferenza nei Large Language Models (LLM), che sono intrinsecamente lenti a causa della loro dimensione e del processo di generazione sequenziale. Il decodifica speculativa migliora l'efficienza prevedendo più token futuri con un modello più piccolo e rapido ("drafter"), per poi convalidarli in parallelo con il modello più grande e accurato, garantendo la stessa distribuzione di output. I metodi sono categorizzati in draft-centric (ottimizzando la selezione dei candidati) e model-centric(migliorando la generazione della bozza), affrontando sfide come la generalizzabilità e la gestione di contesti lunghi. Vengono discussi vari algoritmi e ottimizzazioni a livello di sistema, inclusi la gestione della memoria e lo scaricamento delle risorse, oltre all'implementazione in framework popolari.