Schede dei modelli

Modelli

Introduzione

Le Model Cards sono un importante framework di documentazione per comprendere, condividere e migliorare i modelli di apprendimento automatico. Quando vengono realizzate in modo adeguato, una Model Card può fungere da oggetto di confine, un unico artefatto accessibile a persone con diverse esperienze e obiettivi nella comprensione dei modelli, inclusi sviluppatori, studenti, responsabili delle politiche, eticisti e coloro che sono influenzati dai modelli di apprendimento automatico.

Oggi lanciamo un tool per la creazione di Model Cards e una Guida per le Model Cards, che illustra come compilare le Model Cards, gli studi degli utenti e lo stato dell’arte nella documentazione di apprendimento automatico. Questo lavoro, basato su contributi di molte altre persone e organizzazioni, si concentra sull’inclusione di persone con diverse esperienze e ruoli. Speriamo che possa servire come punto di partenza per un miglioramento della documentazione di apprendimento automatico.

In sintesi, oggi annunciamo il rilascio di:

1. Un Model Card Creator Tool, per facilitare la creazione di carte senza necessità di programmazione e per aiutare i team a condividere il lavoro delle diverse sezioni.

   • Segmentazione delle immagini senza etichette con CLIPSeg
   • Segmentazione universale dell’immagine con Mask2Former e OneFormer
   • Accelerazione dei trasformatori PyTorch con Intel Sapphire Rapids – parte 1

2. Un modello di Model Card aggiornato, rilasciato nella libreria huggingface_hub, che riunisce il lavoro sulle Model Cards in ambito accademico e nell’industria.

3. Un Modello di Model Card Annotato, che illustra come compilare la carta.

4. Uno studio degli utenti sull’utilizzo delle Model Cards presso Hugging Face.

5. Un’Analisi del Paesaggio e una Revisione della Letteratura sullo stato dell’arte nella documentazione dei modelli.

Model Cards Fino Ad Ora

Dal momento in cui le Model Cards sono state proposte da Mitchell et al. (2018), ispirate agli sforzi principali di framework di documentazione come Data Statements per l’elaborazione del linguaggio naturale (Bender & Friedman, 2018) e Datasheets per i dataset (Gebru et al., 2018), il panorama della documentazione di apprendimento automatico si è ampliato ed evoluto. Sono stati proposti e sviluppati numerosi strumenti e modelli di documentazione per dati, modelli e sistemi di apprendimento automatico, riflettendo il lavoro incredibile di centinaia di ricercatori, membri della comunità interessati, sostenitori e altre parti interessate. Importanti discussioni sul rapporto tra documentazione di apprendimento automatico e teorie del cambiamento nell’IA responsabile hanno anche contribuito a plasmare questi sviluppi nell’ecosistema della documentazione di apprendimento automatico.

Il lavoro finora svolto sulla documentazione nell’ambito dell’apprendimento automatico si è rivolto a diverse tipologie di pubblico. Riuniamo molti di questi concetti nel lavoro che condividiamo oggi.

Il Nostro Lavoro

Il nostro lavoro presenta una visione di come si posizionano le Model Cards attualmente e di come potrebbero evolversi in futuro. Abbiamo condotto un’analisi approfondita del crescente panorama degli strumenti di documentazione di apprendimento automatico e abbiamo effettuato interviste agli utenti all’interno di Hugging Face per integrare la nostra comprensione delle diverse opinioni sulle Model Cards. Abbiamo inoltre creato o aggiornato decine di Model Cards per modelli di apprendimento automatico presenti nell’Hugging Face Hub e, basandoci su tutte queste esperienze, proponiamo un nuovo modello di Model Card.

Standardizzare la Struttura delle Model Cards

Attraverso la nostra ricerca di base e gli studi degli utenti, discussi in modo più dettagliato nella Guida, abbiamo cercato di stabilire uno standard di “Model Cards” comprensibile al grande pubblico.

In base a questi risultati, abbiamo creato un nuovo modello di Model Card che non solo standardizza la struttura e il contenuto delle Model Cards di HF, ma fornisce anche testo di prompt predefinito. Questo testo mira ad aiutare nella scrittura delle sezioni delle Model Cards, con particolare attenzione alla sezione sui Bias, Rischi e Limitazioni.

Accessibilità e Inclusione

Al fine di abbattere le barriere all’accesso per la creazione di Model Cards, abbiamo progettato il tool di scrittura delle Model Cards, uno strumento con un’interfaccia utente grafica (GUI) che consente a persone e team con diverse competenze e ruoli di collaborare e creare Model Cards in modo facile, senza dover scrivere codice o utilizzare markdown.

Lo strumento di scrittura incoraggia coloro che non hanno ancora scritto Model Cards a crearle in modo più semplice. Per coloro che hanno già scritto Model Cards in passato, questo approccio li invita ad aggiungere informazioni richieste, ponendo al centro gli aspetti etici della documentazione dei modelli.

Man mano che l’apprendimento automatico si integra sempre più con diversi settori, i processi di collaborazione e di sviluppo di apprendimento automatico open-source che pongono al centro l’accessibilità, l’etica e l’inclusione sono una parte fondamentale del ciclo di vita dell’apprendimento automatico e un punto di partenza per la documentazione di apprendimento automatico.

Il rilascio di oggi si inserisce in un ecosistema più ampio di lavoro sulla documentazione di apprendimento automatico: la documentazione dei dati e dei modelli è stata affrontata da molte aziende tecnologiche, tra cui Hugging Face 🤗. Abbiamo dato priorità alle “Repository Cards” per le carte dei dataset e delle Model Cards, con un focus sulla multidisciplinarietà. Continuando su questa linea di lavoro, lo strumento di creazione delle Model Cards si concentra sull’inclusività, fornendo indicazioni sulla formattazione e sui prompt per agevolare la creazione di carte per persone con diverse esperienze.

Chiamata all’azione

Guardiamo avanti

Questo lavoro è uno “snapshot” dello stato attuale delle model cards, informato da un’analisi del panorama dei numerosi modi in cui gli artefatti della documentazione di ML sono stati istanziati. Il model book e queste scoperte rappresentano un punto di vista tra molti sullo stato attuale e sulle visioni più ambiziose delle model cards.

• L’ecosistema di Hugging Face continuerà ad avanzare metodi che semplificano la creazione delle Model Card attraverso il codice e le interfacce utente, incluso l’inserimento di ulteriori funzionalità direttamente nei repository e nei prodotti.
• Mentre sviluppiamo ulteriormente strumenti di modelli come Evaluate sul Hub, integreremo il loro utilizzo nel flusso di lavoro di sviluppo delle model card. Ad esempio, quando diventa più facile valutare automaticamente le prestazioni del modello in base a fattori disaggregati, sarà possibile importare questi risultati nella model card.
• C’è ancora da fare uno studio per migliorare l’abbinamento tra modelli di ricerca e model cards, come la creazione di un flusso di lavoro dalla ricerca scientifica alla documentazione dei modelli, rendendo più semplice passare dalla carta scientifica alla creazione della model card. Questo consentirebbe di raggiungere un pubblico più ampio e di standardizzare ulteriormente la documentazione dei modelli.

Continuiamo a imparare di più su come vengono create e utilizzate le model cards, e sull’effetto che hanno sulle modalità di utilizzo dei modelli. Sulla base di queste esperienze, aggiorneremo ulteriormente il modello di model card, le istruzioni e le integrazioni con Hub.

Mentre ci impegniamo a incorporare più voci e casi d’uso degli stakeholder per le model cards, segna il nostro strumento di scrittura delle model cards tra i preferiti e provaci!

Siamo entusiasti di conoscere le tue opinioni sulle model cards, sulla nostra GUI per la scrittura delle model cards e su come la documentazione dell’IA possa potenziare il tuo ambito.🤗

Ringraziamenti

Questa pubblicazione non sarebbe stata possibile senza i contributi estesi di Omar Sanseviero, Lucain Pouget, Julien Chaumond, Nazneen Rajani e Nate Raw.