LLMWare lancia LLM specializzati in RAG con 7B parametri modelli a taratura fine di grado di produzione per flussi di lavoro aziendali che coinvolgono documenti di business complessi.
LLMWare lancia i LLM specializzati in RAG con 7B parametri per taratura fine di grado di produzione per flussi di lavoro aziendali che coinvolgono documenti di business complessi.
Il mese scorso, Ai Bloks ha annunciato il lancio open-source del suo framework di sviluppo, llmware, per la creazione di applicazioni di flusso di lavoro di qualità enterprise basate su LLM. Oggi, Ai Bloks compie un altro grande passo nel percorso verso la consegna di un framework RAG di prossima generazione con il rilascio della serie DRAGON (Delivering RAG on …) di LLM a 7 miliardi di parametri, progettati per flussi di lavoro aziendali e ottimizzati con l’obiettivo specifico di rispondere a domande basate sui fatti per documenti aziendali e legali complessi.
Man mano che sempre più aziende cercano di implementare sistemi RAG scalabili utilizzando le proprie informazioni riservate, si riconosce sempre più l’importanza di diversi requisiti:
- Fornire un framework unificato che integri modelli LLM con un set di funzionalità di flusso di lavoro correlato (ad esempio, analisi di documenti, incorporamento, gestione delle istruzioni, verifica delle fonti, monitoraggio delle revisioni);
- Modelli LLM di alta qualità, più piccoli e specializzati, ottimizzati per la risposta a domande basate sui fatti e per i flussi di lavoro aziendali;
- Distribuzione open source, conveniente e privata con flessibilità e opzioni di personalizzazione.
Per soddisfare queste esigenze, LLMWare lancia sette modelli DRAGON disponibili come open source nel suo repository di Hugging Face, tutti ampiamente ottimizzati per RAG e basati su modelli fondamentali leader pronti per l’immissione in produzione nei flussi di lavoro RAG aziendali.
- Svelare la complessità un nuovo approccio all’apprendimento manifold utilizzando l’iniezione di rumore
- Questo articolo sull’IA introduce LLaVA-Plus un assistente multimodale ad uso generale che amplia le capacità dei grandi modelli multimodali’.
- Recensione di Colossyan Creator Il miglior generatore di video AI?
Tutti i modelli DRAGON sono stati valutati utilizzando il benchmark rag-instruct-benchmark di llmware, con i risultati completi e la metodologia forniti insieme ai modelli nel repository. Ciascuno dei modelli DRAGON raggiunge un’accuratezza compresa tra il 90% e il 99% su un set di 100 domande di test, con una forte aderenza per evitare allucinazioni e per identificare quando una domanda non può essere risposta da un passage (ad esempio, classificazione ‘non trovato’).
La famiglia di modelli DRAGON si unisce ad altre due collezioni di modelli LLMWare RAG: BLING e Industry-BERT. I modelli BLING sono modelli LLM di dimensioni più ridotte specializzati in RAG (1 miliardo – 3 miliardi) che possono essere eseguiti su un laptop di sviluppo. Poiché la metodologia di addestramento è molto simile, l’obiettivo è che uno sviluppatore possa iniziare con un modello BLING locale, eseguito sul proprio laptop, e quindi passare senza problemi a un modello DRAGON per ottenere migliori prestazioni in produzione. I modelli DRAGON sono stati progettati per la distribuzione privata su un singolo server GPU di qualità enterprise, in modo che le aziende possano implementare un sistema RAG end-to-end in modo sicuro e privato nella propria zona di sicurezza.
Questa suite di modelli specializzati in RAG open-source, combinata con il framework di sviluppo LLMWare e l’integrazione immediata con istanze di cloud privato open-source di Milvus e Mongo DB, fornisce una soluzione completa per RAG. Con poche righe di codice, uno sviluppatore può automatizzare l’importazione e l’analisi di migliaia di documenti, allegare vettori di incorporamento, eseguire inferenze generative LLM all’avanguardia e eseguire la verifica delle prove e delle fonti, il tutto in un cloud privato e, in alcuni casi, anche da un singolo laptop di sviluppo.
Secondo il CEO di Ai Bloks, Darren Oberst, “La nostra convinzione è che le LLM consentano un nuovo flusso di lavoro automatizzato in azienda e la nostra visione per LLMWare è quella di unire i modelli specializzati, il flusso dati e tutti i componenti abilitanti in un framework unificato in open source per consentire alle aziende di personalizzare e implementare rapidamente l’automazione basata su LLM ad ampia scala.”
Per maggiori informazioni, consultare il repository GitHub di llmware su www.github.com/llmware-ai/llmware.git.
Per accedere direttamente ai modelli, consultare la pagina dell’organizzazione llmware Huggingface su www.huggingface.co/llmware.
