Questa ricerca sull’IA introduce il flash-decoding un nuovo approccio dell’intelligenza artificiale basato su FlashAttention per rendere l’inferenza LLM a lungo contesto fino a 8 volte più veloce.

La rivoluzionaria ricerca sull'IA Flash-decoding, il nuovo approccio basato su FlashAttention per un'accelerazione di 8 volte dell'inferenza LLM a lungo contesto

I modelli di linguaggio di grandi dimensioni (LLM) come ChatGPT e Llama hanno attirato notevole attenzione grazie alle loro eccezionali capacità di elaborazione del linguaggio naturale, che consentono diverse applicazioni che vanno dalla generazione di testi al completamento del codice. Nonostante la loro enorme utilità, i costi operativi elevati di questi modelli hanno rappresentato una sfida significativa, spingendo i ricercatori a cercare soluzioni innovative per migliorarne l’efficienza e la scalabilità.

Con la generazione di una singola risposta che comporta un costo medio di $0.01, le spese associate alla scalabilità di questi modelli per servire miliardi di utenti, ognuno con molteplici interazioni quotidiane, possono diventare rapidamente rilevanti. Questi costi possono aumentare in modo esponenziale, in particolare in compiti complessi come il completamento automatico del codice, in cui il modello è impegnato continuamente durante il processo di codifica. Riconoscendo l’urgente necessità di ottimizzare il processo di decodifica, i ricercatori hanno esplorato tecniche per razionalizzare e accelerare l’operazione di attenzione, un componente cruciale per generare testo coerente e rilevante dal punto di vista contestuale.

L’elaborazione dei LLM, spesso chiamata decodifica, comporta la generazione di token passo dopo passo, con l’operazione di attenzione che rappresenta un fattore significativo nel determinare il tempo complessivo di generazione. Mentre i progressi come FlashAttention v2 e FasterTransformer hanno migliorato il processo di addestramento ottimizzando la larghezza di banda della memoria e le risorse di calcolo, le sfide durante la fase di inferenza persistono. Uno dei principali vincoli incontrati durante la decodifica riguarda la scalabilità dell’operazione di attenzione con contesti più lunghi. Poiché i LLM sono sempre più incaricati di gestire documenti, conversazioni e codebase più estese, l’operazione di attenzione può consumare una quantità considerevole di tempo di inferenza, ostacolando così l’efficienza complessiva del modello.

• Come l’IA generativa sta cambiando il volto del business, della salute e delle arti?
• 7 passaggi per padroneggiare i modelli linguistici (LLM) di grandi dimensioni
• Questa ricerca sull’IA presenta RoboHive una piattaforma software completa ed ecosistema per la ricerca nel campo dell’apprendimento dei robot e dell’intelligenza artificiale incarnata.

I ricercatori hanno introdotto una tecnica innovativa chiamata Flash-Decoding per affrontare queste sfide, basandosi sulle metodologie precedenti. L’innovazione chiave di Flash-Decoding risiede nel suo approccio innovativo alla parallelizzazione, che si concentra sulla lunghezza della sequenza di chiavi e valori. Attraverso una suddivisione strategica di chiavi e valori in frammenti più piccoli, l’approccio consente un utilizzo altamente efficiente della GPU, anche con batch più piccoli e contesti più estesi. Flash-Decoding riduce significativamente i requisiti di memoria della GPU sfruttando calcoli di attenzione parallelizzati e la funzione log-sum-exp, facilitando un calcolo efficiente in tutto l’architettura del modello.

Per valutare l’efficacia di Flash-Decoding, sono stati condotti test di benchmark completi sul modello di punta CodeLLaMa-34b, rinomato per la sua architettura robusta e capacità avanzate. I risultati hanno mostrato un notevole miglioramento di 8 volte nella velocità di decodifica per sequenze più lunghe rispetto agli approcci esistenti. Inoltre, i micro-benchmark eseguiti sull’attenzione multi-head scalata per diverse lunghezze di sequenza e batch size hanno ulteriormente convalidato l’efficacia di Flash-Decoding, dimostrando le sue prestazioni costanti anche con una lunghezza di sequenza scalata fino a 64k. Queste eccezionali prestazioni hanno svolto un ruolo fondamentale nel migliorare significativamente l’efficienza e la scalabilità dei LLM, segnando un notevole progresso nelle tecnologie di inferenza dei modelli di lingua di grandi dimensioni.

In sintesi, Flash-Decoding si è rivelato una soluzione trasformativa per affrontare le sfide associate all’operazione di attenzione durante il processo di decodifica dei modelli di linguaggio di grandi dimensioni. Ottimizzando l’utilizzo della GPU e migliorando le prestazioni complessive del modello, Flash-Decoding ha il potenziale per ridurre significativamente i costi operativi e favorire una maggiore accessibilità di questi modelli in diverse applicazioni. Questa tecnica pionieristica rappresenta una pietra miliare significativa nell’inferenza dei modelli di linguaggio di grandi dimensioni, aprendo la strada a un’elevata efficienza e accelerati progressi nelle tecnologie di elaborazione del linguaggio naturale.