Come il nuovo paradigma di Google AI elimina il costo di composizione negli algoritmi di apprendimento automatico a più passaggi per una maggiore utilità

Il nuovo paradigma di Google AI elimina il costo di composizione negli algoritmi di apprendimento automatico a più passaggi per una maggiore utilità.

Nel paesaggio odierno basato sui dati, garantire la privacy massimizzando l’utilità degli algoritmi di machine learning e di analisi dei dati è stato una sfida pressante. Il costo della composizione, un fenomeno in cui la garanzia complessiva di privacy si deteriora con più passaggi di calcolo, è stato un ostacolo significativo. Nonostante i progressi nella ricerca fondamentale e l’adozione della privacy differenziale, trovare il giusto equilibrio tra privacy e utilità è rimasto sfuggente.

Approcci esistenti come DP-SGD hanno fatto progressi nel preservare la privacy durante l’addestramento del modello di machine learning. Tuttavia, si basano sulla suddivisione casuale degli esempi di addestramento in minibatch, il che limita la loro efficacia in scenari in cui è necessaria una selezione dipendente dai dati.

Incontra il paradigma Reorder-Slice-Compute (RSC), una sviluppo innovativo presentato a STOC 2023. Questo framework innovativo offre una soluzione che consente una selezione adattiva delle fette e supera il costo della composizione. Aderendo a una struttura specifica che coinvolge punti dati ordinati, dimensione delle fette e un algoritmo di privacy differenziale, il paradigma RSC apre nuove strade per migliorare l’utilità senza compromettere la privacy.

• Una nuova ricerca sull’IA da Tel Aviv e dall’Università di Copenhagen introduce un approccio plug-and-play per il rapido perfezionamento dei modelli di diffusione testo-immagine utilizzando un segnale discriminativo.
• I ricercatori di Google AI presentano MADLAD-400 un dataset di domini web di 2,8T token che copre 419 lingue.
• Microsoft Research presenta BatteryML uno strumento open source per l’apprendimento automatico sulla degradazione delle batterie.

Le metriche provenienti da ricerche ed esperimenti estesi dimostrano la potenza del paradigma RSC. A differenza degli approcci tradizionali, l’analisi RSC elimina la dipendenza dal numero di passaggi, ottenendo una garanzia complessiva di privacy paragonabile a quella di un singolo passaggio. Questa scoperta migliora significativamente l’utilità degli algoritmi DP per una serie di aggregazioni fondamentali e compiti di apprendimento.

Una delle applicazioni più interessanti del paradigma RSC risiede nella risoluzione del problema del punto intervallo privato. Mediante una selezione intelligente delle fette e sfruttando un’analisi innovativa, l’algoritmo RSC raggiunge soluzioni che preservano la privacy con un ordine di punti log*|X|, colmando una lacuna significativa rispetto agli algoritmi DP precedenti.

Il paradigma RSC si occupa anche di compiti di aggregazione comuni come la mediana approssimata privata e l’apprendimento privato di rettangoli allineati agli assi. Utilizzando una sequenza di passaggi RSC adattata al problema specifico, l’algoritmo limita i punti etichettati erroneamente, offrendo risultati accurati e privati.

Inoltre, il paradigma RSC offre un approccio rivoluzionario all’addestramento dei modelli di machine learning. Consentendo la selezione dipendente dai dati degli esempi di addestramento, si integra senza soluzione di continuità con DP-SGD, eliminando il deterioramento della privacy associato alla composizione. Questo progresso è destinato a rivoluzionare l’efficienza dell’addestramento dei modelli in ambienti di produzione.

In conclusione, il paradigma Reorder-Slice-Compute (RSC) è una soluzione trasformativa alla sfida a lungo irrisolta di bilanciare la privacy e l’utilità negli ambienti basati sui dati. La sua struttura unica e l’analisi innovativa promettono di sbloccare nuove possibilità in vari compiti di aggregazione e apprendimento. Il paradigma RSC apre la strada per l’addestramento di modelli di machine learning più efficienti e rispettosi della privacy, eliminando il costo della composizione. Questo cambiamento di paradigma segna un momento cruciale nella ricerca di una solida privacy dei dati nell’era dei big data.