Riconoscimento delle entità con LLM Una valutazione completa

Riconoscimento entità con LLM - valutazione completa

LLMs sono in grado di eseguire una vasta gamma di compiti di NLP, come il riconoscimento delle entità nominate. In questo studio, ho testato una libreria open-source in grado di chiamare diversi modelli commerciali e open-source. I risultati finali sono misti…

Grazie alle loro dimensioni, i grandi modelli di linguaggio (LLMs) hanno acquisito formidabili capacità di elaborazione del linguaggio. Con pochi o nessun esempio, sono in grado di eseguire operazioni di elaborazione del linguaggio come classificazione, analisi del sentimento, estrazione di concetti, riconoscimento delle entità nominate, traduzione e altro ancora.

SpaCy è una libreria di elaborazione del linguaggio scritta in Python e Cython che è stata consolidata dal 2016. La maggior parte dell’elaborazione è una combinazione di deep learning, tecnologie Transformers (dalla versione 3.0) e analisi statistica. L’approccio aperto di Explosion consente agli utenti di addestrare i propri modelli e adattare i comportamenti alle proprie esigenze. In tutti i casi, apprezziamo le prestazioni e la velocità di elaborazione di questa libreria, che è una delle leader nel suo campo. Inoltre, forniscono un certo numero di modelli pre-addestrati che consentono di eseguire rapidamente compiti in diverse lingue.

Introdotto nel maggio 2023, il modulo spacy-llm colma il divario tra questi due approcci, offrendo i vantaggi di un output strutturato come ‘prima’ e la nuova potenza di questi nuovi modelli. Come al solito, questa libreria consente di avviare rapidamente una pipeline di elaborazione basata su approcci generativi.

Compito NER con Spacy-LLM

Spacy-LLM offre una serie di compiti di NLP predefiniti, come riconoscimento delle entità nominate, classificazione del testo, lemmatizzazione, estrazione delle relazioni, analisi del sentimento, categorizzazione delle porzioni di testo e sintesi. In questo articolo, ci concentriamo sul primo di essi: il riconoscimento delle entità nominate.

• Sei uno sviluppatore efficiente? Allora l’IA sta cercando di prendere il tuo posto
• Come creare un Feature Store AI/ML con ScyllaDB NoSQL
• Crea il tuo PandasAI con LlamaIndex

Devo ancora spiegare come vengono estratte le entità nominate? In tal caso, ti invito a scoprire il mio articolo su NER con LLMs, che è una buona introduzione all’uso di NER e…