Physical Intelligence Memperkenalkan Arsitektur MEM Untuk Memberikan Robot Memori Yang Dibutuhkan Untuk Tugas Dunia Nyata

Secara Singkat

Para peneliti mengembangkan Memori Berwujud Multi-Skala, sebuah sistem yang memberi robot memori jangka pendek dan panjang sehingga mereka dapat melacak kemajuan dan menyelesaikan tugas kompleks alih-alih hanya menjalankan tindakan terisolasi

Selama bertahun-tahun, impian tentang robot rumah tangga yang benar-benar membantu tampak sangat dekat. Robot sudah bisa mengikuti perintah seperti “cuci penggorengan,” “lipat pakaian,” atau “buat sandwich.” Di lingkungan laboratorium, sistem ini menunjukkan ketangkasan dan presisi yang mengesankan. Namun, meskipun ada kemajuan pesat dalam model dasar robotik, ada sesuatu yang fundamental yang masih kurang: memori.

Robot yang dapat menjalankan satu tugas tidak sama dengan robot yang dapat menyelesaikan sebuah pekerjaan. Membersihkan seluruh dapur, memasak makanan, atau menyiapkan bahan untuk resep membutuhkan lebih dari sekadar keterampilan terisolasi. Dibutuhkan kontinuitas — kemampuan untuk mengingat apa yang sudah dilakukan, apa yang masih harus dilakukan, dan di mana semua barang berada. Tanpa benang naratif itu, bahkan robot yang paling mampu pun menjadi sangat tidak kompeten.

Inilah tantangan yang kini coba dipecahkan para peneliti di Physical Intelligence dengan arsitektur baru bernama Memori Berwujud Multi-Skala (MEM) — sebuah sistem yang dirancang untuk memberi robot memori jangka pendek dan panjang agar mereka dapat melakukan tugas yang berlangsung selama menit, bukan detik.

Hasilnya menunjukkan sesuatu yang penting: masa depan robotika mungkin lebih bergantung pada arsitektur kognitif yang lebih baik daripada tangan mekanik yang lebih baik.

Model robotik modern sudah memiliki perpustakaan keterampilan motorik yang luar biasa. Mereka bisa memegang objek rapuh, memanipulasi alat, dan menavigasi lingkungan yang berantakan. Tapi jika diminta membersihkan seluruh dapur — mengelap meja, menyimpan bahan belanja, mencuci piring, dan mengatur alat makan — batasannya menjadi sangat jelas.

Masalahnya bukan pada keterampilan itu sendiri. Masalahnya adalah bagaimana keterampilan tersebut dikordinasikan. Tugas yang kompleks membutuhkan kesadaran yang terus-menerus. Robot harus mengingat kabinet mana yang sudah dibuka, di mana menaruh tutup panci, atau apakah sudah mencuci piring. Mereka juga harus melacak objek yang keluar dari pandangan dan mempertahankan peta mental lingkungan saat melakukan tindakan baru.

Kognisi manusia melakukan ini dengan mudah. Mesin, sampai baru-baru ini, belum mampu. Menyimpan setiap pengamatan yang dilihat robot selama menit atau jam secara komputasi tidak memungkinkan. Tapi membuang informasi itu menyebabkan perilaku yang kacau — kesalahan berulang, langkah yang terlupakan, atau tindakan yang bertentangan dengan keputusan sebelumnya. Dalam penelitian robotik, tantangan ini kadang disebut sebagai “kebingungan sebab-akibat,” di mana sistem salah menafsirkan peristiwa masa lalu dan memperkuat perilaku yang salah.

Hasilnya: robot yang tampak mengesankan dalam demo singkat tetapi kesulitan menyelesaikan tugas dunia nyata.

Sistem Memori Untuk Kecerdasan Fisik

Arsitektur MEM mengatasi masalah ini dengan memperkenalkan struktur memori berlapis. Alih-alih menyimpan semuanya secara setara, sistem memisahkan memori menjadi dua bentuk yang saling melengkapi:

Memori visual jangka pendek menangkap pengamatan terbaru menggunakan arsitektur pengkodean video yang efisien. Ini memungkinkan robot memahami gerakan, melacak objek antar frame, dan mengingat peristiwa yang terjadi beberapa detik lalu — sangat penting untuk tindakan presisi seperti membalik sandwich keju panggang atau menggosok piring.

Sementara itu, memori konseptual jangka panjang menyimpan kemajuan tugas dalam bahasa alami. Alih-alih mengingat data visual mentah tanpa batas waktu, robot menulis “catatan” singkat berisi deskripsi tentang apa yang telah terjadi — pernyataan seperti “Saya menaruh panci di wastafel” atau “Saya mengambil susu dari kulkas.”

Ringkasan ini menjadi bagian dari proses penalaran robot. Secara efektif, mesin membangun naratifnya sendiri tentang tugas tersebut. Mesin penalaran kemudian memutuskan dua hal sekaligus: tindakan apa yang harus dilakukan selanjutnya dan informasi apa yang layak diingat. Kombinasi ini memungkinkan model melacak tugas yang berlangsung hingga lima belas menit — jauh lebih lama daripada kebanyakan demonstrasi robot sebelumnya.

Salah satu kemampuan paling menarik yang dimungkinkan oleh MEM adalah adaptasi dalam konteks. Robot membuat kesalahan. Itu tidak terelakkan. Tapi sebagian besar sistem robot mengulang kesalahan tersebut tanpa henti karena mereka tidak memiliki memori tentang kegagalan.

Perbedaannya menjadi jelas dalam eksperimen sederhana. Dalam satu pengujian, robot mencoba mengambil sumpit datar. Tanpa memori, mesin berulang kali mencoba pegangan yang sama yang gagal. Dengan memori aktif, robot mengingat percobaan yang gagal dan mencoba pendekatan berbeda — akhirnya berhasil.

Contoh lain adalah membuka kulkas. Dari data visual saja, robot tidak bisa langsung menentukan ke arah mana pintu kulkas terbuka. Sistem tanpa memori akan mengulang tindakan yang sama berulang kali. Robot dengan memori mencoba satu arah, mengingat kegagalan, lalu mencoba sisi yang berlawanan.

Perubahan kecil ini mewakili sesuatu yang mendalam: kemampuan belajar dalam tugas itu sendiri. Alih-alih bergantung sepenuhnya pada data pelatihan, robot beradaptasi secara langsung.

Para peneliti mengevaluasi sistem yang dilengkapi memori ini pada tugas yang semakin kompleks. Pertama, tantangan yang cukup sederhana: membuat sandwich keju panggang. Ini membutuhkan memori jangka pendek untuk mengatur waktu sambil melakukan langkah-langkah fisik yang halus seperti membalik roti dan menyusun sandwich.

Selanjutnya, tantangan logistik: mengambil bahan untuk resep. Robot harus mengingat bahan apa saja yang sudah dikumpulkan, di mana letaknya, dan apakah laci serta kabinet sudah ditutup. Akhirnya, tantangan paling berat: membersihkan seluruh dapur.

Ini berarti menyimpan barang, mencuci piring, mengelap meja, dan melacak bagian mana dari ruangan yang sudah dibersihkan.

Model yang dilengkapi memori ini secara signifikan mengungguli versi tanpa struktur memori, menunjukkan keandalan dan tingkat penyelesaian tugas yang lebih tinggi.

Perbedaan ini menunjukkan perubahan kunci dalam robotika. Alih-alih mengoptimalkan tindakan terisolasi, para peneliti kini membangun sistem yang mampu menjalankan alur kerja yang berkelanjutan.

Mengapa Memori Adalah Perbatasan Berikutnya Dalam Robotika

Implikasi yang lebih luas dari MEM adalah bahwa robotika memasuki fase baru. Selama puluhan tahun, bidang ini fokus pada persepsi dan kontrol: membantu mesin melihat dunia dan memanipulasi objek. Baru-baru ini, model multimodal besar secara dramatis meningkatkan kemampuan robot dalam menafsirkan instruksi dan menjalankan perilaku motorik yang kompleks.

Namun, seiring kematangan kemampuan tersebut, hambatannya pun bergeser. Tantangan berikutnya adalah kontinuitas kognitif — memungkinkan robot beroperasi dalam jangka waktu lama tanpa kehilangan jejak tujuan mereka. Sistem memori seperti MEM menyediakan kerangka untuk kontinuitas itu. Alih-alih bereaksi setiap saat, robot dapat mempertahankan naratif internal tentang tindakan, keputusan, dan lingkungan mereka. Naratif ini yang memungkinkan munculnya perilaku kompleks.

Jika pendekatan ini terus berkembang, implikasinya jauh melampaui membersihkan dapur. Robot masa depan mungkin perlu mengikuti instruksi yang berlangsung selama berjam-jam atau bahkan berhari-hari. Bayangkan memberi tahu asisten rumah:

“Saya pulang pukul 6 sore — tolong siapkan makan malam dan bersihkan rumah setiap hari Rabu.”

Melaksanakan permintaan seperti itu akan membutuhkan pemahaman instruksi panjang, perencanaan sub-tugas, mengingat kemajuan, dan beradaptasi saat terjadi kesalahan.

Mempertahankan riwayat video mentah dari setiap tindakan selama itu akan tidak mungkin. Sebagai gantinya, robot kemungkinan akan mengandalkan sistem memori hierarkis, di mana pengalaman dikompresi menjadi representasi yang semakin abstrak.

MEM adalah langkah awal menuju arsitektur tersebut. Ini menunjukkan bahwa kunci untuk robot yang lebih mampu mungkin bukanlah motor yang lebih kuat atau sensor yang lebih tajam, tetapi memori yang lebih baik — dan kemampuan untuk bernalar tentang itu. Jika robot akhirnya bisa mengingat apa yang mereka lakukan, mereka juga akhirnya bisa menyelesaikan pekerjaan.