Google AI Research propone un approccio generale per la generazione di testo personalizzato utilizzando grandi modelli linguistici (LLM)

Google AI Research propone un approccio per la generazione di testo personalizzato utilizzando grandi modelli linguistici (LLM).

Con l’aumento delle tecnologie basate sull’IA utilizzate per facilitare la produzione di contenuti, la generazione di testi personalizzati ha attirato notevole attenzione. Per creare sistemi generativi che funzionino per pubblici specifici, contesti di creazione e bisogni informativi, devono essere in grado di fornire una risposta personalizzata che tenga conto di contesti extra, come ad esempio documenti già scritti dall’utente.

I ricercatori hanno esaminato la creazione di testi personalizzati in diversi contesti, come recensioni, chatbot e social media. La maggior parte dei lavori esistenti suggerisce modelli specifici per compiti e si basa su caratteristiche o informazioni specifiche del dominio. La questione di come creare una strategia generica che possa essere utilizzata in ogni situazione riceve meno attenzione. I grandi modelli di linguaggio (LLM) stanno guadagnando importanza in molti compiti di produzione di testi grazie all’aumento dell’IA generativa, in particolare attraverso chatbot come ChatGPT1 e Bard2. Tuttavia, pochi studi hanno esaminato come conferire a LLM tali capacità.

Una recente ricerca di Google offre un metodo generico per produrre contenuti unici attingendo a risorse linguistiche estese. Il loro studio è motivato da un metodo comune di istruzione alla scrittura che scompone il processo di scrittura con fonti esterne in passaggi più piccoli: ricerca, valutazione delle fonti, sintesi, sintesi e integrazione.

• Organizzare un Monorepo di Machine Learning con Pants
• Una guida completa sulle Common Table Expression in SQL
• Insieme AI svela Llama-2-7B-32K-Instruct una svolta nel processo di linguaggio a contesto esteso.

Per addestrare LLM per la produzione di testi personalizzati, il team adotta un approccio simile, adottando una struttura multitask multistadio che include recupero, ranking, sintesi, sintesi e generazione. In particolare, prendono spunto dal titolo del documento corrente e dalla prima riga per creare una domanda e recuperare informazioni rilevanti da un repository secondario di contesti personali, come ad esempio documenti precedenti scritti dall’utente.

Successivamente, riassumono i risultati classificati dopo averli classificati per rilevanza e importanza. Oltre al recupero e alla sintesi, sintetizzano le informazioni recuperate in elementi chiave, che vengono quindi inseriti nel grande modello di linguaggio per generare il nuovo documento.

È una osservazione comune nel campo dell’insegnamento delle lingue che le competenze di lettura e scrittura si sviluppino di pari passo. Inoltre, la ricerca mostra che il livello di lettura e la quantità di lettura di un individuo possono essere misurati con attività di riconoscimento dell’autore, che correlano con la competenza di lettura. Queste due conclusioni hanno portato i ricercatori a creare un ambiente multitasking in cui hanno aggiunto un compito ausiliario chiedendo al grande modello di linguaggio di identificare l’autore di un determinato testo per migliorare le sue capacità di lettura. Sperano che dando a il modello questa sfida, sarà in grado di interpretare il testo fornito in modo più accurato e produrre scritti più convincenti e personalizzati.

Il team ha utilizzato tre set di dati disponibili pubblicamente, costituiti da corrispondenza via email, dibattiti sui social media e recensioni di prodotti, per valutare le prestazioni dei modelli suggeriti. Il framework multitask multistadio mostra guadagni significativi rispetto a diversi baselines in tutti e tre i set di dati.