Lo zaino che risolve il bias di ChatGPT i modelli di linguaggio Backpack sono metodi AI alternativi per i transformer.

Backpack è uno zaino che risolve il bias di ChatGPT, un metodo AI alternativo per i transformer.

I modelli di intelligenza artificiale per il linguaggio stanno diventando una parte essenziale della nostra vita. Da decenni usiamo Google per accedere alle informazioni, ma ora ci stiamo lentamente spostando su ChatGPT. Fornisce risposte concise, spiegazioni chiare ed è solitamente più veloce nel trovare le informazioni che cerchiamo.

Questi modelli imparano dai dati che abbiamo prodotto nel corso degli anni. Di conseguenza, abbiamo trasferito i nostri pregiudizi ai modelli di intelligenza artificiale, e questo è un argomento di dibattito nel settore. Un particolare pregiudizio che ha attirato l’attenzione è il pregiudizio di genere nella distribuzione dei pronomi, dove i modelli tendono a preferire pronomi di genere come “lui” o “lei” in base al contesto.

Affrontare questo pregiudizio di genere è fondamentale per garantire una generazione del linguaggio equa e inclusiva. Ad esempio, se si inizia la frase “Il CEO crede che…”, il modello continua con lui, e se si sostituisce il CEO con l’infermiera, il token successivo diventa lei. Questo esempio serve come interessante studio di caso per esaminare i pregiudizi ed esplorare i metodi per mitigarli.

• Impara una lingua velocemente con ChatGPT (Tutor di lingua gratuito)
• WAYVE presenta GAIA-1 un nuovo modello di intelligenza artificiale generativa per l’autonomia che crea video di guida realistici sfruttando input video, testo e azione.
• Incontra LLM-Blender un nuovo framework di ensembling per ottenere prestazioni costantemente superiori sfruttando le diverse capacità di più modelli di linguaggio open-source di grandi dimensioni (LLM).

Risulta che il contesto giochi un ruolo cruciale nella formazione di questi pregiudizi. Sostituendo CEO con una professione stereotipata associata a un genere diverso, possiamo effettivamente invertire il pregiudizio osservato. Ma ecco la sfida: ottenere un debiasing coerente in tutti i diversi contesti in cui appare il CEO non è una cosa facile. Vogliamo interventi che funzionino in modo affidabile e prevedibile, indipendentemente dalla situazione specifica. Dopotutto, l’interpretabilità e il controllo sono fondamentali quando si tratta di capire e migliorare i modelli di linguaggio. Sfortunatamente, i modelli Transformer attuali, sebbene impressionanti nelle loro prestazioni, non soddisfano del tutto questi criteri. Le loro rappresentazioni contestuali introducono tutti i tipi di effetti complessi e non lineari che dipendono dal contesto in questione.

Quindi, come possiamo superare queste sfide? Come possiamo affrontare il pregiudizio che abbiamo introdotto nei grandi modelli di linguaggio? Dovremmo migliorare i transformer o dovremmo ideare nuove strutture? La risposta è Backpack Language Models.

Backpack LM affronta la sfida di debiasing delle distribuzioni dei pronomi sfruttando rappresentazioni non contestuali note come vettori di senso. Questi vettori catturano diversi aspetti del significato di una parola e del suo ruolo in contesti diversi, dando alle parole personalità multiple.

In Backpack LMs, le previsioni sono combinazioni log-lineari di rappresentazioni non contestuali, indicate come vettori di senso. Ogni parola nel vocabolario è rappresentata da più vettori di senso, che codificano diversi aspetti appresi del potenziale ruolo della parola in contesti diversi.

Questi vettori di senso si specializzano e possono essere utili per la previsione in contesti specifici. La somma pesata dei vettori di senso per le parole in una sequenza forma la rappresentazione Backpack di ogni parola, con i pesi determinati da una funzione di contestualizzazione che opera sull’intera sequenza. Sfruttando questi vettori di senso, i modelli Backpack consentono interventi precisi che si comportano in modo prevedibile in tutti i contesti.

Ciò significa che possiamo apportare modifiche non contestuali al modello che influenzano in modo coerente il suo comportamento. Rispetto ai modelli Transformer, i modelli Backpack offrono un’interfaccia più trasparente e gestibile. Forniscono interventi precisi che sono più facili da comprendere e controllare. Inoltre, i modelli Backpack non compromettono le prestazioni. Anzi, raggiungono risultati paragonabili ai Transformer offrendo un’interpretabilità migliorata.

I vettori di senso nei modelli di Backpack codificano ricche nozioni di significato delle parole, superando le word embedding dei modelli Transformer all’avanguardia sui compiti di similarità lessicale. Inoltre, le interazioni sui vettori di senso, come la riduzione del bias di genere nelle parole professionali, dimostrano il meccanismo di controllo offerto dai modelli di Backpack. Riducendo la scala del vettore di senso associato al bias di genere, si possono ottenere significative riduzioni delle disparità di previsione contestuale in impostazioni limitate.