Svelare la verità dai dati come i grandi modelli di lingua utilizzano le personalità per modellare la veridicità

Svelare la verità attraverso i dati come i grandi modelli di linguaggio utilizzano la personalità per modellare la veridicità

Con l’introduzione dei Grandi Modelli di Lingua (LLM), il sottocampo dell’Intelligenza Artificiale, vale a dire l’Elaborazione del Linguaggio Naturale (NLP), sta avanzando e migliorando significativamente. I LLM, con le loro notevoli capacità di interpretazione e generazione di testo, stanno diventando popolari ogni giorno. Questi modelli vengono preallentati utilizzando grandi volumi di dati Internet, i migliori esempi dei quali sono i famosi modelli GPT 3.5 e GPT 4. Anche se i dati su cui i modelli sono addestrati, cioè il corpus, sono grandi e variegati, sono lontani dall’ideale. Sono non filtrati e rumorosi e includono informazioni false così come errori di fatto. La domanda sorge su come i LLM distinguano tra verità e non verità quando vengono presentati con un corpus di dati che ne contiene entrambi.

In uno studio recente, un team di ricercatori della New York University, ETH Zurigo e Boston University ha proposto che i LLM possano raggruppare il testo veritiero, basandosi sul presupposto che questi modelli potrebbero rappresentare diversi agenti o fonti che contribuiscono ai dati di addestramento. Definendolo una “personaggio veritiera”, i ricercatori hanno condiviso che questa persona rappresenta una collezione di agenti che, a causa delle caratteristiche condivise di creazione del testo, sono più propensi a generare informazioni accurate e affidabili.

Ad esempio, siti autorevoli e ben stabiliti come Science e Wikipedia utilizzano frequentemente stili di scrittura formali e forniscono informazioni factuali in modo regolare. I LLM sono in grado di offrire risposte genuine al di fuori delle situazioni particolari in cui ciascun agente ha prodotto i dati di addestramento, modellando questa persona veritiera. Il team ha condiviso due osservazioni principali a supporto dell’ipotesi della persona, che sono le seguenti.

• xAI lancia PromptIDE una nuova frontiera nell’ingegneria delle prompt e nella trasparenza dell’intelligenza artificiale AI
• OpenAI presenta GPT-4 Turbo un balzo personalizzabile verso il futuro dell’intelligenza artificiale.
• I robot ottengono un aggiornamento ‘aggrappante’ AO-Grasp insegna ai robot l’arte di non far cadere le tue cose!

1. Valutazione della veridicità pre-generazione: Prima che un modello generi una risposta, è possibile determinare se sarà veritiera. Ciò suggerisce che, a seconda della situazione e della persona dell’agente di provenienza, il LLM può valutare la veridicità di una risposta.

1. Miglioramento della veridicità tramite il fine-tuning: Quando i LLM vengono raffinati utilizzando una collezione di fatti factuali, diventano più veritieri sia per questioni non correlate che direttamente connesse. Ciò suggerisce che l’impatto della persona vera consente al modello di generalizzare i principi di veridicità a una varietà di argomenti.

Il team ha valutato l’associazione tra le persone e l’onestà del modello utilizzando un ambiente sintetico e processi matematici. Gli agenti diversi in questo scenario controllato credono cose diverse su ciascun operatore matematico, a seconda di quanto veritiere o sbagliate siano le loro convinzioni. Le equazioni di questi agenti consentono ai LLM di migliorare la loro capacità di rispondere alle operazioni precedentemente sconosciute in modo accurato e di discernere con successo tra affermazioni vere e false. Questo risultato è possibile solo se gli attori nei dati di addestramento condividono un processo generativo veritiero che consente la costruzione di un’identità veritiera.

In conclusione, questo studio mostra che i LLM possono acquisire concetti astratti come la veridicità facendo uso delle strutture gerarchiche incluse nei loro dati di addestramento. Questi modelli possono generalizzare la loro capacità di discernere tra informazioni vere e false e generare risposte appropriate su una vasta gamma di argomenti modellando una persona autentica, anche quando gli agenti di origine per questi argomenti condividono attributi suggestivi di sincerità.