Parameter-Efficient Fine-Tuning (PEFT) per LLM Un’introduzione completa

Introduzione a PEFT per LLM

Un sondaggio concettuale sui metodi PEFT utilizzati da Hugging Face, Google’s Vertex AI e, alla fine, OpenAI

I modelli linguistici di grandi dimensioni (LLM) sono molto grandi di nome. Questi modelli di solito hanno da 7 a 70 miliardi di parametri. Per caricare un modello a 70 miliardi di parametri in precisione completa sarebbero necessari 280 GB di memoria GPU! Per addestrare quel modello si dovrebbero aggiornare miliardi di token su milioni o miliardi di documenti. Il calcolo richiesto è significativo per l’aggiornamento di quei parametri. L’addestramento auto-supervisionato di questi modelli è costoso, costando alle aziende fino a $100 milioni.

Per il resto di noi, c’è un notevole interesse nell’adattare i nostri dati a questi modelli. Con i nostri dataset limitati (in confronto) e la mancanza di potenza di calcolo, come possiamo creare modelli in grado di migliorare i principali attori a una frazione del costo?

Ecco dove entra in gioco il campo di ricerca del Fine-Tuning a Parametri Efficienti (PEFT). Attraverso varie tecniche, che esploreremo presto in dettaglio, possiamo potenziare piccole sezioni di questi modelli in modo che siano più adatti ai compiti che vogliamo completare.

Dopo aver letto questo articolo, comprenderai concettualmente ogni tecnica PEFT applicata in Hugging Face e sarai in grado di distinguere le differenze tra di esse. Una delle panoramiche più utili che ho trovato prima di questo articolo è stata un commento su Reddit. C’è anche un altro articolo eccezionale disponibile su lightning.ai (i creatori di pytorch lightning). Inoltre, c’è un’ampia rilevazione su cui gran parte di questo pezzo si basa, scritta da Liali et al [2]. Nel mio articolo, mira ad affrontare le carenze che ho identificato durante la revisione di questo materiale. Al momento della scrittura, questo articolo serve come guida concettuale a tutti i metodi PEFT presenti nella libreria Hugging Face. L’obiettivo per i lettori è avvicinarsi alla letteratura di ricerca per altre tecniche PEFT con una comprensione fondamentale del campo.

• Quando i cantautori hanno maggior successo?
• Prepararsi per il paesaggio della sicurezza informatica guidato dall’IA di domani
• I Top 6 casi d’uso di GPT-4

Un momento di auto-riflessione: è il momento di fare il fine-tuning?

Ho scritto un articolo precedente sulle considerazioni riguardanti il fine-tuning dei LLM e su come si possa ottenere una performance simile attraverso l’Apprendimento In Contesto…