Ricercatori dell’Università di Pechino presentano ChatLaw un modello linguistico legale open source di grandi dimensioni con basi di conoscenza esterne integrate.

Ricercatori dell'Università di Pechino presentano ChatLaw, un modello linguistico legale open source con basi di conoscenza esterne integrate.

Grazie alla crescita e allo sviluppo dell’intelligenza artificiale, i modelli di linguaggio su larga scala sono ora ampiamente disponibili. Modelli come ChatGPT, GPT4, LLaMA, Falcon, Vicuna e ChatGLM hanno mostrato prestazioni eccezionali in diverse tradizionali attività, aprendo un mondo di opportunità per la professione legale. Tuttavia, raccogliere dati affidabili, attuali e di alta qualità è essenziale per creare modelli di linguaggio di grandi dimensioni. Pertanto, la creazione di modelli di linguaggio legale open source, efficaci ed efficienti, è diventata cruciale.

Lo sviluppo di modelli su larga scala nell’intelligenza artificiale ha avuto un impatto su diversi settori, tra cui sanità, istruzione e finanza: BloombergGPT, FinGPT, Huatuo e ChatMed; questi modelli si sono dimostrati utili ed efficaci nel gestire problemi complessi e produrre dati interessanti. D’altra parte, l’ambito del diritto richiede una ricerca approfondita e la creazione di un modello legale unico a causa della sua intrinseca rilevanza e della necessità di precisione. Il diritto è cruciale per la formazione delle comunità, la regolamentazione delle relazioni interpersonali e l’assicurazione della giustizia. I professionisti legali si affidano a informazioni accurate e aggiornate per prendere sagge decisioni, comprendere la legge e offrire consulenza legale.

Le sfumature del linguaggio giuridico, le interpretazioni complesse e la natura dinamica del diritto presentano problemi speciali che richiedono soluzioni specializzate. Anche con il modello più all’avanguardia, come GPT4, è frequente il fenomeno delle allucinazioni e risultati incredibili riguardanti le difficoltà legali. Spesso si pensa che migliorare un modello con competenze di dominio pertinenti possa fornire risultati positivi. Tuttavia, il primo LLM legale (LawGPT) presentava ancora molte allucinazioni e risultati inesatti, quindi non è questo il caso. Inizialmente, hanno compreso la richiesta di un LLM legale cinese. Tuttavia, al momento non erano disponibili modelli cinesi commercialmente accessibili più grandi di 13 miliardi di parametri. Combinando dati di formazione da fonti come MOSS e aumentando il lessico cinese, hanno migliorato la base di OpenLLAMA, un modello economicamente fattibile. Ciò ha permesso ai ricercatori dell’Università di Pechino di costruire un modello fondamentale della lingua cinese a cui poi hanno aggiunto dati specifici del diritto per addestrare ChatLaw, il loro modello legale.

• Sbloccare l’opportunità alimentata dall’IA nel Regno Unito
• 5 Lingue più pagate da imparare quest’anno
• Guida per principianti per creare i tuoi grandi modelli di lingua da zero

Ecco le principali contribuzioni del documento:

1. Un metodo di successo per ridurre le allucinazioni: presentano un metodo per ridurre le allucinazioni migliorando la procedura di formazione del modello e includendo quattro moduli durante l’inferenza: “consultazione”, “riferimento”, “auto-suggerimento” e “risposta”. Le allucinazioni sono meno frequenti perché i modelli verticali e le basi di conoscenza vengono integrati attraverso il modulo di riferimento, che incorpora conoscenze specifiche del dominio nel modello e utilizza dati affidabili dalla base di conoscenza.

2. È stato addestrato un modello che estrae le parole caratteristiche legali dal linguaggio quotidiano degli utenti. Si basa sul LLM. Con l’aiuto di questo modello, che riconosce termini con significato legale, le situazioni legali all’interno dell’input dell’utente possono essere identificate e analizzate rapidamente ed efficacemente.

3. È stato addestrato un modello che misura la similarità tra il linguaggio ordinario degli utenti e un dataset di 930.000 testi di casi giudiziari pertinenti utilizzando BERT. Ciò consente di creare un database vettoriale per recuperare rapidamente scritti con un contesto legale simile, consentendo ulteriori ricerche e citazioni.

4. Sviluppo di un dataset per valutare l’abilità legale dei parlanti cinesi. Hanno anche creato un sistema di punteggio ELO per determinare quanto bene i vari modelli si comportano nei test legali a scelta multipla.

Hanno anche osservato che un singolo LLM legale generico potrebbe funzionare bene solo in alcune situazioni in questo campo. Pertanto, hanno sviluppato numerosi modelli per diverse situazioni, tra cui domande a scelta multipla, estrazione di parole chiave e domande e risposte. Utilizzando la tecnica HuggingGPT, hanno utilizzato un grande LLM come controller per gestire la selezione e l’implementazione di questi modelli. In base alla richiesta di ciascun utente, questo modello di controllo sceglie dinamicamente il modello specifico da attivare, garantendo l’utilizzo del miglior modello per il compito.