Pendiri bersama OpenAI, Andrej Karpathy, yang bergabung dengan Anthropic bulan lalu, pada 9 Juni membagikan penilaian terhadap Claude Fable 5. Ia menyebut adanya lompatan performa yang bermakna lintas versi-generasi, menggunakan perumpamaan “perangkat lunak mengalir terus-menerus seperti air keran” untuk menggambarkan dampak produktivitasnya. Namun, Karpathy secara tegas memperingatkan agar jangan menyerah pada pemeriksaan kode.
Penilaian kemampuan pemeriksaan Karpathy terhadap Fable 5
Lompatan performa lintas versi-generasi: Karpathy mengonfirmasi bahwa Fable 5 mencapai lompatan performa lintas versi-generasi, dengan keunggulan yang terutama terasa saat menangani tugas yang lebih panjang. Ia dapat menjalankan perintah kompleks secara efektif, hampir tanpa intervensi manual.
Debug kompleks untuk rantai panjang: Karpathy menyatakan bahwa Fable 5, ketika menghadapi target pengembangan yang besar, mampu memahami maksud dengan cepat dan melangkah secara mandiri. Ini adalah pertama kalinya ia merasakan dorongan kuat untuk sepenuhnya tidak melihat kode.
Peringatan tegas (kutipan asli Karpathy): Ia menekankan agar jangan sepenuhnya melewatkan tinjauan kode di lingkungan produksi; ini adalah peringatan langsungnya kepada pengguna.
Penjelasan model dasar (konfirmasi Karpathy): Karpathy menyebutkan bahwa Claude Fable 5 dan Claude Mythos 5 berbagi model dasar yang sama, dan Fable 5 menambahkan langkah-langkah perlindungan keamanan tambahan di atas dasar tersebut.
Paradoks Jevons: kerangka analisis Karpathy
Dalam komentarnya, Karpathy menyebutkan bahwa ketika perangkat lunak yang tersedia dapat mengalir terus-menerus seperti air keran, “Paradoks Jevons” di ranah perangkat lunak akan terpicu.
Definisi paradoks Jevons: Ketika efisiensi penggunaan sumber daya meningkat secara besar-besaran, karena biaya penggunaan turun secara besar-besaran, total permintaan terhadap sumber daya tersebut justru akan tumbuh secara eksponensial, bukan berkurang.
Analisis penerapan Karpathy (dari komentar platform X-nya): Ia menyatakan bahwa efek pemicuan ini akan mendorong orang untuk menciptakan banyak alat penggunaan tunggal yang “sangat spesifik” (hyper-specific), serta sejumlah besar kumpulan uji (test set). Pada akhirnya, hal itu akan mendorong pertumbuhan eksponensial terhadap kebutuhan perangkat lunak secara keseluruhan.
Konfirmasi isu terkait mekanisme perlindungan keamanan
Karpathy dalam komentarnya menyatakan bahwa konfigurasi mekanisme perlindungan keamanan pada awal peluncuran Claude Fable 5 masih terlalu sensitif dan perlu dioptimalkan lebih lanjut. Penilaian ini selaras dengan penjelasan resmi Anthropic dalam pengumuman peluncuran Fable 5. Anthropic mengakui bahwa saat ini langkah-langkah keamanannya kadang memberi alarm palsu untuk permintaan yang sebenarnya tidak berbahaya (laju pemicuan total kurang dari 5%), serta menyatakan tengah berupaya memperbaiki dan mengurangi alarm palsu tersebut secepatnya.
Pertanyaan Umum
Apa makna “Paradoks Jevons” yang disebut Karpathy dalam pembuatan kode AI?
Berdasarkan komentar Karpathy di platform X, ketika AI membuat biaya produksi perangkat lunak mendekati nol, kebutuhan terhadap perangkat lunak tidak akan turun karenanya; justru akan tumbuh secara eksponensial. Ia memprediksi hal ini akan mendorong pengembang menciptakan lebih banyak alat penggunaan tunggal yang sangat terpersonalisasi dan kumpulan uji skala besar, sehingga memperbesar total konsumsi perangkat lunak secara keseluruhan.
Mengapa Karpathy secara tegas memperingatkan agar jangan sepenuhnya melewatkan tinjauan kode di lingkungan produksi?
Karpathy menyatakan bahwa meskipun kemampuan Fable 5 membuatnya untuk pertama kalinya timbul keinginan kuat untuk sama sekali tidak melihat kode, ia sekaligus memperingatkan dengan tegas bahwa praktik tersebut tidak boleh diterapkan di lingkungan produksi. Peringatannya selaras dengan saran resmi Anthropic—bahkan keluaran model yang kuat pun tetap memerlukan pengawasan manusia untuk memastikan keandalan.
Apa pandangan spesifik Karpathy terhadap mekanisme perlindungan keamanan Fable 5?
Karpathy dalam komentarnya menyatakan bahwa konfigurasi mekanisme perlindungan keamanan pada awal peluncuran Fable 5 terlalu sensitif dan perlu dioptimalkan lebih lanjut. Dalam pengumuman resmi Anthropic juga dikonfirmasi bahwa saat ini langkah-langkah keamanan kadang memberi alarm palsu untuk permintaan yang tidak berbahaya, dengan tingkat pemicuan di bawah 5%, serta menyatakan tengah melakukan perbaikan berkelanjutan.
