L’impronta di carbonio di GPT-4
'The carbon footprint of GPT-4'.
I dati recentemente trapelati ci permettono per la prima volta di stimare le emissioni di carbonio provenienti dall’addestramento di GPT-4 di OpenAI
Con le recenti notizie che ci avvertono che le temperature medie globali continuano a salire [1], è importante ricordarci che la maggior parte delle attività umane ha una impronta di carbonio che contribuisce al riscaldamento globale e ai cambiamenti climatici. Questo vale anche per la tecnologia digitale in generale e l’IA in particolare. Questo articolo serve come un promemoria di questo, poiché stima le emissioni di carbonio derivanti dall’addestramento del grande modello di linguaggio GPT-4 di OpenAI.
Per fare tali stime, abbiamo bisogno di sapere:
- Quanta elettricità è stata utilizzata per addestrare GPT-4
- L’intensità di carbonio dell’elettricità, ovvero l’impronta di carbonio generata dalla produzione di 1 KWh di elettricità
Immergiamoci subito.
Unisciti a VoAGI con il mio link di riferimento – Kasper Groes Albin Ludvigsen
Come membro di VoAGI, una parte della tua quota di iscrizione va agli scrittori che leggi e tu ottieni accesso completo ad ogni storia…
kaspergroesludvigsen.medium.com
- Il data storytelling – l’arte di raccontare storie attraverso i dati
- Le aziende tecnologiche sperano che gli allenamenti possano convincere le donne ad acquistare visori VR
- L’energia solare prende una nuova svolta
Il consumo di elettricità di GPT-4
Iniziamo stimando il consumo energetico di GPT-4. Secondo informazioni non verificate trapelate, GPT-4 è stato addestrato su circa 25.000 GPU Nvidia A100 per 90-100 giorni [2].
Supponiamo che le GPU siano state installate nei server Nvidia HGX che possono ospitare 8 GPU ciascuno, il che significa che sono state necessarie 25.000 / 8 = 3.125 server.
Per calcolare il consumo di elettricità da queste informazioni, abbiamo bisogno di conoscere il thermal design power (TDP) di un server Nvidia HGX.
Sfortunatamente, Nvidia non divulga queste informazioni, quindi usiamo invece il TDP del server Nvidia DGX simile, che è di 6,5 kW [3]. Quindi, se un server Nvidia DGX funziona alla massima potenza per 1 ora, avrà consumato 6,5 KWh.
Ricordiamo che si stima che siano stati necessari 90-100 giorni per addestrare GPT-4. Ciò corrisponde a 2.160 o 2.600 ore per server. Moltiplicando questo per 6,5 kW, otteniamo che durante l’addestramento, ogni server può aver consumato da 14.040 a 16.900 KWh di elettricità.
