Incontra AdANNS un nuovo framework che sfrutta rappresentazioni adattive per diverse fasi delle pipeline ANNS per migliorare il compromesso tra accuratezza e calcolo.

Meet AdANNS, a new framework that uses adaptive representations for different stages of ANNS pipeline to improve the trade-off between accuracy and computation.

Per ottenere informazioni confrontabili con una determinata query, i motori di ricerca su larga scala addestrano un codificatore per contenere la query e poi lo collegano ad una ricerca approssimata del vicino più vicino (ANNS). Le rappresentazioni apprese sono spesso vettori rigidi e ad alta dimensione generalmente utilizzati così come sono in tutto il pipeline ANNS. Possono dare luogo ad un recupero computazionalmente costoso a causa della loro capacità di catturare con precisione le code delle query e dei punti dati.

Una parte integrante delle pipeline di recupero è una ricerca semantica su rappresentazioni apprese. L’apprendimento di una rete neurale per incorporare le query e un gran numero (N) di punti dati in uno spazio vettoriale di d-dimensioni è il minimo indispensabile per un approccio di ricerca semantica. Tutti i passaggi di un ANN utilizzano le stesse informazioni apprese dagli algoritmi di ricerca semantica esistenti, che sono rappresentazioni rigide (RRs). Vale a dire, mentre gli indici ANNS consentono una vasta gamma di parametri per la ricerca dello spazio di progettazione al fine di massimizzare il compromesso tra precisione e calcolo, si ritiene comunemente che la dimensionalità dei dati di input sia fissa.

Diverse fasi di ANNS possono utilizzare rappresentazioni adattive di capacità variabile per ottenere trade-off tra precisione e calcolo significativamente migliori di quelli possibili con rappresentazioni rigide, cioè fasi di ANNS che possono farcela con una computazione approssimata dovrebbero utilizzare una rappresentazione a minore capacità dello stesso punto dati. I ricercatori offrono AdANNS, un nuovo framework di progettazione ANNS che sfrutta l’adattabilità offerta dalle rappresentazioni Matryoshka.

• Analisi delle prestazioni e ottimizzazione dei modelli PyTorch
• Padronanza della Gestione della Configurazione nel Machine Learning con Hydra
• AI Telephone – Una Battaglia di Modelli Multimodali

I ricercatori mostrano trade-off tra precisione e calcolo all’avanguardia utilizzando pezzi di costruzione ANNS chiave unici basati su AdANNS come strutture dati di ricerca (AdANNS-IVF) e quantizzazione (AdANNS-OPQ). AdANNS-IVF, ad esempio, raggiunge una precisione superiore del 1,5% rispetto all’IVF basato su rappresentazioni rigide nel recupero ImageNet utilizzando lo stesso budget di calcolo e raggiunge la parità di precisione mentre esegue 90 volte più velocemente sullo stesso dataset. AdANNS-OPQ, una variante a 32 byte di OPQ costruita utilizzando rappresentazioni flessibili, raggiunge la stessa precisione della linea di base OPQ a 64 byte per Natural Questions. Dimostrano anche che i vantaggi di AdANNS possono essere applicati agli indici ANNS compositi all’avanguardia utilizzando sia strutture di ricerca che quantizzazione. Infine, dimostrano che gli indici ANNS costruiti senza adattamento utilizzando rappresentazioni matryoshka possono essere ricercati con AdANNS che tiene conto del calcolo.

Visita https://github.com/RAIVNLab/AdANNS per ottenere il codice sorgente. 

Caratteristiche principali

• Trade-off tra precisione e calcolo migliorati sono raggiunti utilizzando AdANNS per sviluppare nuove strutture dati di ricerca e tecniche di quantizzazione.
• AdANNS-IVF può essere implementato il 90% più velocemente rispetto all’IVF tradizionale aumentando la precisione fino al 1,5%.
• AdANNS-OPQ ha la stessa precisione dello standard di riferimento a una frazione del prezzo.
• La struttura di ricerca alimentata da AdANNS (AdANNS-IVF) e la quantizzazione (AdANNS-OPQ) superano significativamente le alternative all’avanguardia in termini di trade-off tra precisione e calcolo.
• Oltre a consentire la ricerca elastica consapevole del calcolo durante l’infertilità, AdANNS si generalizza agli indici ANNS compositi all’avanguardia.

AdANNS – ANNS adattativo

AdANNS è un sistema per migliorare il trade-off tra precisione e calcolo per i componenti di ricerca semantica che sfrutta la flessibilità intrinseca delle rappresentazioni Matryoshka. Ci sono due parti principali nel tipico pipeline ANNS: (a) una struttura di ricerca dati che indicizza e memorizza i punti dati; e (b) un metodo di calcolo del punto di query che fornisce la distanza (approssimativa) tra una query e un insieme di punti dati.

In questo studio, dimostriamo che AdANNS può essere utilizzato per migliorare le prestazioni di entrambi i sottosistemi ANNS e quantifichiamo i miglioramenti in termini di trade-off tra sforzo computazionale e precisione. In particolare, introducono AdANNS-IVF, una struttura di indice basata su AdANNS che è simile alla struttura IVF più comune e alla relativa struttura ScaNN. Inoltre, introducono l’adattività della rappresentazione nel OPQ, una quantizzazione di fatto standard, con l’aiuto di AdANNS-OPQ. AdANNS-IVFOPQ, una variante di IVFOPQ basata su AdANNS, e AdANNS-DiskANN, una variante di DiskANN, sono due altri esempi di metodi ibridi dimostrati dai ricercatori. Rispetto agli indici IVF costruiti utilizzando RRs, AdANNS-IVF è sperimentalmente dimostrato essere sostanzialmente più accurato-computo ottimale. AdANNS-OPQ viene mostrato come preciso come l’OPQ su RRs mentre è significativamente più economico.

Le AdANNS sono progettate con architetture di ricerca in grado di gestire vari casi d’uso su larga scala, ognuno con requisiti di risorse unici per l’addestramento e l’inferenza. Tuttavia, talvolta l’utente non può esplorare lo spazio di progettazione a causa di problemi di creazione e archiviazione degli indici.

In conclusione

Le AdANNS sono state proposte da un gruppo di ricercatori dell’Università di Washington, Google Research e dell’Università di Harvard per migliorare il trade-off precisione-calcolo utilizzando rappresentazioni adattive in molte fasi delle pipeline ANNS. Rispetto ai blocchi di costruzione ANNS tradizionali, che utilizzano la stessa rappresentazione inflessibile in tutto, le AdANNS sfruttano la flessibilità intrinseca delle rappresentazioni matryoshka per costruire blocchi di costruzione superiori. Per i due principali blocchi di costruzione ANNS – le strutture di dati di ricerca (AdANNS-IVF) e la quantizzazione (AdANNS-OPQ) – le AdANNS raggiungono il trade-off precisione-calcolo SOTA. Infine, combinando i blocchi di costruzione basati su AdANNS, è possibile costruire indici ANNS compositi migliorati in situazioni reali, consentendo una ricerca elastica consapevole del calcolo e riducendo i costi fino a 8 volte rispetto alle basi solide.