Trasformazione della ricerca su Catalyst incontra CatBERTa, un modello di intelligenza artificiale basato su Transformer progettato per la previsione energetica utilizzando input testuali

La ricerca su Catalyst incontra CatBERTa, un modello di intelligenza artificiale basato su Transformer per la previsione energetica tramite input testuali.

La ricerca sui catalizzatori chimici è un campo dinamico in cui si cercano sempre soluzioni nuove e durature. Fondamento dell’industria contemporanea, i catalizzatori accelerano le reazioni chimiche senza consumarsi nel processo, alimentando tutto, dall’energia più pulita alla creazione di farmaci. Tuttavia, trovare i migliori materiali catalizzatori è stato un processo difficile e lungo che richiede intricate calcoli di chimica quantistica e ampi test sperimentali.

Un componente chiave per la creazione di processi chimici sostenibili è la ricerca dei migliori materiali catalizzatori per reazioni chimiche specifiche. Tecniche come la Teoria Funzionale della Densità (DFT) funzionano bene ma hanno alcune limitazioni perché richiede molte risorse per valutare una varietà di catalizzatori. È problematico dipendere solo dai calcoli DFT poiché un singolo catalizzatore bulk può avere numerose orientazioni superficiali e gli adsorbati possono attaccarsi a luoghi diversi su queste superfici.

Per affrontare le sfide, un gruppo di ricercatori ha introdotto CatBERTa, un modello basato su Transformer progettato per la previsione dell’energia che utilizza input testuali. CatBERTa è stato costruito su un encoder Transformer pre-addestrato, un tipo di modello di deep learning che ha mostrato prestazioni eccezionali in compiti di elaborazione del linguaggio naturale. La sua caratteristica unica è che può elaborare dati testuali comprensibili per gli esseri umani e aggiungere funzionalità target per la previsione dell’energia di adsorbimento. Ciò consente ai ricercatori di fornire dati in un formato semplice da comprendere, migliorando l’usabilità e l’interpretabilità delle previsioni del modello.

• Come funziona realmente la diffusione stabile? Una spiegazione intuitiva
• Rilevamento della forma dei punti cloud 3D per la modellazione interna
• Spiegare l’attenzione nei Transformers [Dal punto di vista dell’encoder]

Il modello ha la tendenza a concentrarsi su particolari token nel testo di input, che è una delle principali conclusioni tratte dallo studio delle valutazioni di attenzione di CatBERTa. Questi indicatori riguardano gli adsorbati, che sono le sostanze che aderiscono alle superfici, la composizione complessiva del catalizzatore e le interazioni tra questi elementi. CatBERTa sembra essere in grado di identificare e dare importanza agli aspetti essenziali del sistema catalitico che influenzano l’energia di adsorbimento.

Questo studio ha anche sottolineato l’importanza degli atomi interagenti come termini utili per descrivere gli arrangiamenti di adsorbimento. Il modo in cui gli atomi dell’adsorbato interagiscono con gli atomi del materiale bulk è cruciale per la catalisi. È interessante notare che variabili come la lunghezza del legame e la composizione atomica di questi atomi interagenti hanno solo un impatto limitato sulla precisione con cui può essere prevista l’energia di adsorbimento. Questo risultato implica che CatBERTa può dare priorità a ciò che è più importante per il compito in questione ed estrarre le informazioni più pertinenti dall’input testuale.

In termini di precisione, CatBERTa è stato in grado di prevedere l’energia di adsorbimento con un errore medio assoluto (MAE) di 0,75 eV. Questo livello di precisione è paragonabile a quello delle Graph Neural Network (GNN), ampiamente utilizzate per fare previsioni di questo tipo. CatBERTa ha anche un vantaggio aggiuntivo che, per sistemi chimicamente identici, le energie stimate da CatBERTa possono annullare efficacemente gli errori sistematici fino al 19,3% quando vengono sottratte l’una dall’altra. Ciò indica che una parte cruciale dello screening dei catalizzatori e della valutazione della reattività, gli errori nella previsione delle differenze di energia, hanno il potenziale per essere notevolmente ridotti da CatBERTa.

In conclusione, CatBERTa presenta una possibile alternativa alle GNN convenzionali. Ha dimostrato la possibilità di migliorare la precisione delle previsioni delle differenze di energia, aprendo la strada a procedure di screening dei catalizzatori più efficaci e precise.