Futuro Fortissimo संग्रह
🎼 ff.82 चिप्स से लड़ा जाने वाला युद्ध
क्या GPU 21वीं सदी की खाइयाँ होंगी?
प्रकाशित · Michele Merelli
- नैनोमीटरों से लड़ा जाता शीत युद्ध
- AI मॉडल कितना प्रदूषण करते हैं?
- क्या हम लोगों से ज़्यादा कंप्यूटरों पर ख़र्च करते हैं?
🦖ff.82.1 सामूहिक विलुप्ति?
Substack ↗50 करोड़ साल पहले, कैम्ब्रियन विस्फोट। शायद ऑक्सीजन बनाने वाले एक नए जीव ने CO2 साँस में लेकर जीने वाले दूसरे जीवों का “दम घोंट” दिया।
आज CO2 फिर डराने लगी है। AI की वजह से उत्सर्जन बढ़ रहा है: ChatGPT से एक बातचीत एक घंटे की LED रोशनी के बराबर है, DALL-E की एक तस्वीर स्मार्टफ़ोन के एक चार्ज के बराबर।
क्या computronium जीवन का अगला रूप होगा? क्या CO2 अपना बदला लेगी?
लेकिन, लेकिन, लेकिन। प्रलय की भविष्यवाणियों और सनसनी को छोड़कर, 🎼ff पर इस सवाल को थोड़ा और गहराई से खोलते हैं:
ChatGPT की तुलना LED रोशनी से करना भ्रामक है। एक मामले में हम एक जन-तकनीक के पहले उदाहरण की बात कर रहे हैं, दूसरे में एक सदी के सुधारों के नतीजे की (टंगस्टन फ़िलामेंट की तुलना में)। अगर ChatGPT एक Google सर्च से 10 गुना ज़्यादा खपत करता भी है, तो वह कितनी दूसरी Google सर्च बचाता है?
इसके अलावा, MIT बताता है कि AI की ऊर्जा खपत फ़ायदे ला सकती है और दक्षता बढ़ाने के समाधान पहले से मौजूद हैं:
Small Nuclear Reactors का प्रसार (Microsoft का प्रस्ताव), कंप्यूटिंग संसाधनों का बेहतर प्रबंधन
Nerd कॉर्नर. इंटरनेट की ऊर्जा खपत के अनुमानों पर रिपोर्ट।
🐔 ff.82.2 कम्प्यूटेशनल मुर्ग़ियाँ
Substack ↗My cock is much bigger than yoursMy cock can walk right through the doorSystem of a Down,Cigaro
इस तुलना के ज़रिए System of a Down हथियारों की होड़ की बात करते हैं। डेटा सेंटर अगले “cock”, अगले रॉकेट, अगली खाइयाँ हो सकते हैं।
सच है, छोटे और ज़्यादा कुशल मॉडल फैल रहे हैं (देखिए Mistral, वह फ़्रेंच स्टार्टअप जिससे OpenAI डरता है), जिनके नतीजे GPT-4 और Gemini जैसे दिग्गजों के बराबर हैं। लेकिन पैरामीटर (और कंप्यूटिंग पावर) बढ़ने के साथ नतीजे लगातार बेहतर होते जाते हैं।
अच्छी बात है। ऐसी तकनीक मिलना आम नहीं जो सिर्फ़ ज़्यादा संसाधन लगाने से बेहतर हो जाए: पवन टरबाइन और कंबशन इंजन का “S-कर्व” नवाचार देखिए।
🥶ff.82.3 शीत युद्ध
Substack ↗मुर्गों पर लौटते हैं: राजनीतिक स्तर पर क्या हो रहा है? चीन पर चिप्स और ASML की लिथोग्राफ़ी मशीनों का प्रतिबंध काफ़ी समय से लागू है (🐌 ff.42.3 AI के पहियों में रोड़े)। Chris Miller इसे Chip War में गहराई से समझाते हैं।
🥵 ff.82.4 गर्म युद्ध
Substack ↗2024 में NVIDIA 10 लाख H100 GPU बनाएगी ($40k प्रति GPU, A100 से 9 गुना प्रदर्शन)।
Character.ai के CEO Noam Shazeer का हिसाब है कि हमारे पास हर व्यक्ति के लिए एक GPT-4 मॉडल चलाने लायक GPU हैं। लेकिन computronium सबके लिए नहीं है और जंग ख़ास तौर पर कंपनियों के बीच है।
Tesla ने सिर्फ़ 15k GPU हासिल किए। OpenAI के पास भी (Microsoft साझेदारी के बावजूद) सारे ज़रूरी संसाधन नहीं हैं (शायद Altman को हटाने, और फिर वापस लाने, की एक वजह यह भी?)।
हमेशा की तरह दूरदर्शी Musk, Dojo के साथ अपनी आत्मनिर्भरता बना रहे हैं, एक tailor-made सुपरकंप्यूटर जो 2024 में दुनिया के टॉप 5 में होगा (Sawyer Merritt का विश्लेषण)।
Gol-AI-aths के बीच David (माफ़ कीजिए)। Columbia के शोधकर्ता Ishan Dhanani विकेंद्रीकरण के ज़रिए computronium तक पहुँच को लोकतांत्रिक बनाना चाहते हैं।
जाने से पहले नीचे एक छोटा सा दिल लगाना याद रखें। ❤️
पिछले अंक | instagram | linkedin | एक कॉफ़ी