Archivio Futuro Fortissimo
🎼 ff.82 Guerra a colpi di chip
Le GPU saranno le trincee del 21esimo secolo?
Pubblicato il · Michele Merelli
- La guerra fredda a colpi di nanometri
- Quanto inquinano i modelli di intelligenza artificiale?
- Spendiamo più in computer che in persone?
🦖ff.82.1 Estinzione di massa?
Substack ↗500 milioni di anni fa,l’esplosione Cambriana. Forse un nuovo organismo in grado di generare ossigeno ha “soffocato” le altre forme di vita che vivevano respirando CO2.
Oggi, la CO2 torna a fare paura. Le emissioni per via di AI stanno crescendo, uno scambio con ChatGPT equivale a un’ora di luce LED, un’immagine DALL-E a una ricarica di smartphone.
Ilcomputroniosarà la prossima forma di vita? La CO2 si prenderà la sua rivincita?
Però, però, però. Catastrofismi e sensazionalismi a parte, su 🎼ffproviamo a snocciolare un po’ più nel profondo la questione:
Paragonare ChatGPT a luce LED è forviante. In un caso parliamo del primo esempio di una tecnologia di massa, nel secondo caso il risultato di un secolo di miglioramenti (rispetto al filamento a tungsteno)Se anche ChatGPT consuma 10x una ricerca Google, quante altre ricerche Google previene?
Inoltre,L’MITfa notare che il consumo energetico dell’AI può portare a benefici e che già ci sono soluzioni di efficientamento:
diffusione di Small Nuclear Reactors (proposta di Microsoft)gestione ottimizzata delle risorse computazionali
Angolo nerd. Il report sulle proiezioni del consumo energetico di internet.
🐔 ff.82.2 Polli computazionali
Substack ↗My cock is much bigger than yoursMy cock can walk right through the doorSystem of a Down,Cigaro
Con questaanalogia, i System trattano la corsa agli armamenti. Idatacenterpotrebbero essere i prossimi “cock”, i prossimi razzi, le prossime trincee.
E’ vero, si stanno diffondendo modelli più piccoli ed efficienti (vediMistral, la startup francesce che fa paura a OpenAI), con risultati paragonabili ai Golia GPT-4 e Gemini. Però, con lo scalare dei parametri (e della potenza di calcolo) i risultati sono sempre migliori.
Bene così. Non è scontato avere una tecnologia che migliora semplicemente allocando più risorse: vediinnovazione “ad S” di turbine eoliche e motori a scoppio.
🥶ff.82.3 Guerra fredda
Substack ↗Tornando ai polli: cosa sta succedendo a livello politico? L’embargo verso la Cina di chip e macchine litografiche di ASML è in atto da tempo (🐌 ff. 42. 3 Bastoni tra le AI-ruote). Chris Miller approfondisce inChip War.
🥵 ff.82.4 Guerra calda
Substack ↗NVIDIA produrrà nel 2024 1 M di GPU H100 ($40k l’una, con performance 9x rispetto alla A100).
Noam Shazeer, CEO di Character. ai, calcola cheabbiamo GPU per sostenere un modello GPT-4 a persona. Ma non c’è computronio per tutti ela guerra è soprattutto tra aziende.
Tesla si è accaparrata solo 15k GPU. AncheOpenAI (nonostante la partnership Microsoft) non ha tutte le risorse necessarie(forse uno dei motivi del defenestramento, poi rientrato, di Altman?).
Come sempre visionario, Musk sta costruendo la sua indipendenza con Dojo, il supercomputertailor-madeche nel 2024 sarà nella top 5 mondiale (analisi diSawyer Merritt).
Davide tra i Gol-IA (scusate). Il ricercatore della ColumbiaIshan Dhanani vuole democratizzare l’accesso al computronio, decentralizzando.
prima di andare ricordati di mettere un cuoricino qua sotto.❤️
uscite precedenti|instagram|linkedin|un caffè