All In Podcast episode terbaru, bagaimana para tokoh melihat Micron, hambatan penyimpanan, model open-source China, dan inference terdistribusi

Episode All In Podcast ini sangat padat informasi, saya pilih beberapa topik yang paling layak dibagikan dan saya rangkum.
Pertama, jalur model open-source China, perkembangannya lebih cepat dari perkiraan
Zhipu AI merilis model open-source kelas Frontier generasi baru GLM 5.2, dengan 744 miliar parameter, konteks 100 juta token, dan sepenuhnya menggunakan lisensi open-source MIT. Data evaluasinya cukup mencengangkan: dalam tolok ukur pemrograman software engineering, model ini mengalahkan GPT-5.5, dan hanya kurang dari 1% dari Claude Opus 4.8 milik Anthropic yang paling canggih, namun harga API-nya 85% lebih murah daripada model AS dengan performa setara.
Ada detail menarik dalam acara tersebut, yaitu metode yang digunakan tim China untuk mempercepat pengejaran: menggunakan ribuan ponsel dan iPad sebagai perangkat farm, mengajukan pertanyaan dengan kepadatan tinggi ke API model frontier teratas AS menggunakan akun terenkripsi, mengambil jalur inferensi lawan, dan memberikannya ke model open-source mereka untuk pelatihan penguatan. Ini setara dengan menggunakan jawaban standar yang telah dikeluarkan biaya besar oleh lab AS sebagai contekan, mencapai performa mendekati dengan biaya yang sangat rendah.
Sikap Sacks terhadap hal ini cukup tajam. Ia mengkritik Dario dari Anthropic yang sebelumnya mendorong pemerintah AS untuk menetapkan proses persetujuan keamanan yang rumit, pembatasan diri semacam ini justru memperlambat laju AS sendiri. Model Fabel terpaksa ditarik karena tuduhan pembajakan, persetujuan untuk model baru OpenAI juga sulit diperoleh. Menurutnya, secara teknis model China saat ini tertinggal sekitar 9 bulan, secara chip tertinggal sekitar 24 bulan, tetapi sudah sepenuhnya menggunakan chip lokal seperti Huawei Ascend untuk melatih keluarga GLM5. Di masa depan, "kotak AI" yang dioptimalkan untuk chip lokal, murah dan mudah digunakan ini kemungkinan besar akan dijual dengan harga murah ke pasar global, sementara AS justru membuat berbagai pembatasan, sehingga memberikan peluang pasar ekspor bernilai triliunan dolar ini.
Laporan keuangan Micron kali ini, acara tersebut memberikan posisi yang tepat: DRAM adalah hambatan nyata dalam gelombang AI
Pendapatan Micron kuartal ini melonjak empat kali lipat, dari 90 miliar menjadi 420 miliar, proyeksi jauh melampaui ekspektasi, kapasitas HBM untuk tahun 2026 sudah terjual habis.
Ada pendapat yang disampaikan dengan cukup blak-blakan dalam acara tersebut: sebelumnya orang-orang mencari berbagai perusahaan komponen kecil Jepang di Twitter sebagai "saham hambatan", tetapi nyatanya yang menjadi kunci hanyalah DRAM, terutama HBM. Alasannya sederhana, bandwidth dan kapasitas memori menentukan batas fisik fisik performa inferensi semua model besar, ini adalah batasan keras yang tidak bisa dihindari. Bahkan disebutkan bahwa pabrik super yang sedang dibangun Musk, inti teknologinya juga berfokus pada DRAM, bukan serat optik, catu daya, atau memori flash NAND.
Micron juga melakukan perubahan yang cukup menarik dalam model bisnis kali ini: menandatangani perjanjian pasokan jangka panjang dengan penyedia cloud inti yang memiliki perlindungan "batas bawah dan atas harga", mengunci 50% pendapatan masa depan. Ini berarti meskipun di masa depan siklus industri menurun, harga kontrak minimum yang dijamin masih lebih tinggi dari puncak laba kotor siklus mana pun di masa lalu.
Dalam hal hambatan masuk, meskipun Changxin Memory Technologies China sedang mempersiapkan IPO, di masa depan mungkin akan menggunakan memori kelas konsumen berbiaya rendah untuk meredakan tekanan biaya pabrikan besar seperti Apple, tetapi di bidang HBM kelas atas yang dibutuhkan server AI, secara global hanya ada Micron, SK Hynix, dan Samsung yang bisa memproduksinya, dengan tingkat kesulitan proses yang sangat tinggi, tidak bisa dikejar dalam jangka pendek.
Acara tersebut memberikan prediksi yang cukup ekstrem: di tahun depan, 30% hingga 40% dari belanja modal skala super global akan langsung mengalir ke pabrikan chip DRAM. Lonjakan biaya ini telah menyebabkan Apple menaikkan harga jual eceran seluruh lini MacBook dan Mac Studio.
Bagian tentang komputasi edge dan inference terdistribusi adalah konten paling imajinatif dalam episode ini, saya bagikan beberapa ide yang menurut saya menarik
Tesla mengajukan merek dagang bernama "Megapod" pada 18 Juni. Logika fisik di baliknya adalah: membangun pusat data 1 gigawatt di darat memerlukan proses persetujuan yang sangat panjang untuk tanah, energi, dan pendingin cair. Ide Megapod adalah mengintegrasikan GPU, jaringan baterai, dan sistem pendingin ke dalam pusat data modular berbentuk kontainer, yang langsung ditempatkan di jaringan stasiun pengisian super Tesla yang sudah disetujui, memiliki jaringan listrik yang ada dan lahan kosong, sehingga menghindari hambatan terbesar dalam pembangunan pusat data tradisional — persetujuan dan koneksi listrik.
Logika jalur inference terdistribusi juga cukup menarik: model menjawab pertanyaan dapat dipecah menjadi dua tahap, tahap Prefill untuk memahami pertanyaan dan tahap Decode dengan bandwidth tinggi dan konsumsi memori tinggi. Modal besar dapat membeli kartu grafis bekas yang sudah terdepresiasi, menambahkan chip yang dioptimalkan khusus untuk decoding di bagian depan, membentuk jaringan inference terdistribusi dengan biaya lebih rendah.
Ide yang lebih gila lagi adalah memberikan diskon kepada pengguna yang membeli baterai penyimpanan rumah Powerwall di masa depan, memaksakan pemasangan chip AI di setiap baterai, dan kemudian dengan koneksi satelit Starlink, saat baterai tidak digunakan, secara otomatis membentuk kumpulan inferensi P2P terdistribusi yang besar, mendapatkan daya komputasi lepas pantai yang hampir gratis secara terus-menerus. Jika ide ini benar-benar terwujud, itu akan menjadi pukulan telak bagi raksasa cloud tradisional.
Bagian paling gila adalah komputasi luar angkasa. Membangun pusat data 1 gigawatt di darat memerlukan biaya chip 35 miliar dolar AS ditambah biaya pendinginan dan tenaga kerja 25 miliar dolar AS, serta menghadapi berbagai sengketa lahan. Namun seiring dengan kemampuan penggunaan kembali penuh Starship SpaceX, biaya untuk meluncurkan daya komputasi 1 gigawatt ke orbit luar angkasa melalui koneksi laser mungkin turun drastis menjadi hanya 5 miliar dolar AS. Lingkungan dingin alami luar angkasa dan energi matahari yang hampir tak terbatas kemungkinan akan membuat ekonomi operasional pusat data luar angkasa melampaui pusat data di permukaan bumi dalam 3 hingga 4 tahun.