Orca LLM Simulazione dei Processi di Ragionamento di ChatGPT

'Orca LLM ChatGPT Reasoning Process Simulation'

Orca è un modello con 13 miliardi di parametri che impara ad imitare i processi di ragionamento delle LFMs. Utilizza un apprendimento progressivo e l’assistenza di un insegnante da ChatGPT per superare le lacune di capacità. Sfruttando i segnali ricchi di GPT-4, Orca migliora le sue capacità e le prestazioni di apprendimento dell’imitazione.

Introduzione

Nel campo dei grandi modelli di linguaggio (LLM), c’è stata una costante ricerca per migliorare le capacità di modelli più piccoli senza comprometterne l’efficienza. L’approccio tradizionale è stato quello di utilizzare l’apprendimento per imitazione, in cui i modelli più piccoli imparano dagli output generati dai grandi modelli di fondazione (LFM). Tuttavia, questo approccio è stato ostacolato da diverse sfide, incluse le segnalazioni limitate di imitazione dagli output superficiali LFM, i dati di formazione omogenei di piccola scala e una mancanza di valutazione rigorosa. Questo spesso porta i modelli più piccoli a imitare lo stile ma non il processo di ragionamento degli LFM.

L’articolo Orca: Progressive Learning from Complex Explanation Traces of GPT-4 introduce Orca, un modello di 13 miliardi di parametri progettato per imitare il processo di ragionamento di grandi modelli di fondazione (LFM) come GPT-4. A differenza dei tradizionali grandi modelli di linguaggio (LLM), Orca utilizza un approccio di formazione unico che combina l’apprendimento progressivo e l’assistenza degli insegnanti per superare il gap di capacità tra i modelli studenti più piccoli e i loro omologhi più grandi.

• 3 Modi per Accedere Gratuitamente a Claude AI
• Come utilizzare l’IA nel settore immobiliare?
• Incontra AIAgent un AutomateGPT basato sul Web che non ha bisogno di chiavi API ed è alimentato da GPT4.

Metodologia di formazione

Il processo di formazione di Orca consiste in due fasi.

Nella prima fase, Orca viene addestrato su FLAN-5M, che include le aumentazioni di ChatGPT. Questo assistente insegnante intermedio aiuta a colmare il gap di capacità tra Orca e GPT-4, che ha una dimensione dei parametri significativamente più grande. Sfruttando le capacità di ChatGPT, Orca beneficia di una maggiore performance di apprendimento per imitazione.

Nella seconda fase, Orca viene sottoposto a formazione su FLAN-1M, che incorpora le aumentazioni di GPT-4. Questo approccio di apprendimento progressivo segue un paradigma di apprendimento del curriculum, in cui il modello studente impara da esempi più semplici prima di affrontare quelli più impegnativi. Gradualmente esponendo Orca a ragionamenti sempre più complessi e spiegazioni passo-passo, il modello migliora le sue capacità di ragionamento e di imitazione.

Vantaggi e contributi

La metodologia di formazione di Orca offre diversi vantaggi rispetto ai tradizionali LLM.

In primo luogo, affronta il problema del gap di capacità utilizzando un modello insegnante intermedio, consentendo ad Orca di imparare da una fonte più capace. Questo approccio è stato dimostrato migliorare la performance di apprendimento per imitazione per modelli studenti più piccoli.

In secondo luogo, l’aspetto di apprendimento progressivo della formazione di Orca consente al modello di costruire gradualmente la propria conoscenza. Iniziando con esempi più semplici e introducendo gradualmente quelli più complessi, Orca sviluppa una base più solida per il ragionamento e la generazione di spiegazioni.

Inoltre, la capacità di Orca di imitare il processo di ragionamento di LFMs come GPT-4 apre possibilità per una performance migliorata in varie attività. Sfruttando i segnali ricchi forniti dalle tracce di spiegazione di GPT-4 e dai processi di pensiero passo-passo, Orca acquisisce informazioni preziose e migliora le proprie capacità.

Prestazioni di riferimento

Orca ha mostrato prestazioni notevoli nei benchmark di ragionamento complesso zero-shot. Supera i modelli di istruzione sintonizzati tradizionali all’avanguardia come Vicuna-13B di oltre il 100% sui benchmark come Big-Bench Hard (BBH) e oltre il 42% su AGIEval. Inoltre, Orca raggiunge gli stessi punteggi di ChatGPT sui benchmark BBH e mostra prestazioni competitive su esami professionali e accademici come SAT, LSAT, GRE e GMAT. Ciò è particolarmente impressionante considerando che questi sono ambienti zero-shot senza catena di pensiero, e Orca continua a essere competitivo mentre rimane indietro rispetto a GPT-4.

Implicazioni e direzioni future

Lo sviluppo di Orca rappresenta un significativo avanzamento nel campo dei LLM. Imparando dai segnali ricchi e imitando il processo di ragionamento di LFMs, Orca è in grado di eseguire compiti di ragionamento complessi con un alto grado di precisione. Ciò ha implicazioni di vasta portata, specialmente in aree dove è richiesto ragionamento complesso e risoluzione di problemi.

Inoltre, questa ricerca indica che l’apprendimento dalle spiegazioni passo-passo dei modelli AI è una direzione promettente per migliorare le capacità del modello. Ciò apre nuove vie per la ricerca e lo sviluppo nel campo dei LLM.

Conclusione

Orca presenta un approccio innovativo alla formazione dei grandi modelli di linguaggio, combinando l’apprendimento progressivo e l’assistenza degli insegnanti per migliorare l’apprendimento per imitazione. Sfruttando modelli insegnanti intermedi e esponendo gradualmente il modello studente a esempi più complessi, Orca supera il gap di capacità e migliora le sue capacità di ragionamento e di generazione di spiegazioni. I risultati dell’articolo contribuiscono all’avanzamento delle tecniche di apprendimento per imitazione e hanno implicazioni per lo sviluppo dei futuri modelli di linguaggio.

Per maggiori dettagli su Orca e sulla sua ricerca, consultare l’articolo introduttivo di Microsoft e il relativo articolo di ricerca .