Avanzare nell’Intelligenza Artificiale il Sistema Innovativo di Memoria chiamato ‘Memoria’ dell’Università Sungkyunkwan incrementa le Prestazioni del Transformer su Complesse Attività a Lunga Sequenza

Sviluppo del Sistema di Memoria 'Memoria' dell'Università Sungkyunkwan un Avanzamento nell'Intelligenza Artificiale che Migliora le Prestazioni del Transformer su Complesse Attività a Lunga Sequenza

Negli ultimi anni, l’apprendimento automatico ha affrontato una sfida comune: la limitata capacità di archiviazione dei trasformatori. Questi modelli, noti per la loro abilità nel decifrare i modelli all’interno dei dati sequenziali, eccellono in numerose applicazioni ma devono migliorare quando si confrontano con sequenze di dati lunghe. L’approccio convenzionale di estendere la lunghezza di input deve essere rivisto per replicare l’elaborazione dati selettiva ed efficiente che caratterizza la cognizione umana, ispirandosi specificamente a una consolidata teoria neuropsicologica.

Tra queste limitazioni, è emersa una potenziale soluzione che trae ispirazione dai principi della memoria umana. Questo nuovo sistema di memoria ha mostrato grandi promesse nell’aumentare le prestazioni dei modelli a trasformatore. Funziona archiviando e recuperando informazioni, definite “engram”, a più livelli di memoria: memoria di lavoro, memoria a breve termine e memoria a lungo termine, con l’alterazione dei pesi delle connessioni che aderiscono alla regola di Hebb, riprendendo come si formano le associazioni della memoria umana.

I primi esperimenti che coinvolgono questo sistema di memoria sono davvero incoraggianti. Quando integrato con modelli basati su trasformatori esistenti, questo approccio innovativo migliora significativamente la loro capacità di gestire dipendenze a lungo termine su varie attività. In particolare, supera i metodi tradizionali di ordinamento e modellazione del linguaggio, offrendo una soluzione efficace ai vincoli di memoria a breve termine che i trasformatori tradizionali devono affrontare.

• Monte Carlo dà il via a IMPACT 2023, con relatori d’eccezione dei pionieri dei dati e dell’intelligenza artificiale.
• Il ruolo dei grafi di conoscenza aziendali negli LLM
• Sta l’Accademia ossessionandosi sulla metodologia a discapito delle vere intuizioni?

Questa innovativa architettura di memoria, libera dalla dipendenza da individui o istituzioni specifici, ha il potenziale per rivoluzionare l’apprendimento automatico. Man mano che i ricercatori approfondiscono le sue capacità, potrebbe presto trovare applicazioni in compiti complessi, amplificando ulteriormente le prestazioni dei modelli basati su trasformatori. Lo sviluppo rappresenta un significativo progresso nella continua ricerca di potenziare i trasformatori per affrontare sequenze di dati lunghe, promettendo notevoli progressi nell’intelligenza artificiale e nell’elaborazione del linguaggio naturale.

In conclusione, le limitazioni dei modelli a trasformatore nella gestione di sequenze di dati estesi sono da tempo una sfida nella comunità dell’apprendimento automatico. Tuttavia, è emersa una soluzione promettente, ispirata ai principi della memoria umana, aprendo un nuovo era di possibilità. Questa innovativa architettura di memoria, che opera senza dipendenza da nomi o istituzioni specifiche, ha il potenziale per ridisegnare il panorama dell’apprendimento automatico, offrendo prestazioni migliorate e la capacità di affrontare compiti complessi precedentemente considerati irraggiungibili. Man mano che i ricercatori continuano a esplorare questo nuovo approccio, il futuro offre prospettive entusiasmanti per l’IA e l’elaborazione del linguaggio naturale.