Pemberontakan Menjalankan Model AI A.X K1 SK Telecom di Server NPU Domestik

Pemberontakan, perusahaan semikonduktor AI asal Korea Selatan, berhasil menjalankan model AI skala sangat besar A.X K1 milik SK Telecom pada server neural processing unit (NPU) dalam negeri, demikian diumumkan perusahaan pada 23. Dengan menggunakan server AI miliknya, “Rebel Server”, Rebellions mengeksekusi model secara stabil dengan lebih dari 500 miliar parameter dan menunjukkan layanan agen AI yang menangani banyak permintaan pengguna secara bersamaan. Pencapaian ini menunjukkan kelayakan menjalankan layanan AI skala besar hanya dengan model AI dalam negeri dan infrastruktur NPU, sekaligus menempatkannya sebagai contoh praktis kapabilitas AI berdaulat. Rebellions adalah anggota konsorsium di bawah SK Telecom dalam proyek model fondasi AI independen Kementerian Sains dan ICT, yang bertanggung jawab mendemonstrasikan infrastruktur AI berbasis NPU dalam negeri.

Rebellions Mengoptimalkan Perangkat Lunak untuk Arsitektur MoE dan Pemrosesan Paralel

A.X K1 menerapkan struktur Mixture of Experts (MoE) yang secara selektif hanya menggunakan model spesialis yang diperlukan untuk meningkatkan efisiensi komputasi model skala besar. Rebellions mengoptimalkan perangkat lunak khusus untuk model MoE dan menerapkan teknologi untuk mendistribusikan berbagai operasi ke beberapa NPU guna pemrosesan paralel. Hal ini memungkinkan satu server memproses banyak permintaan pengguna secara real time. Perusahaan menyatakan bahwa satu Rebel Server mengamankan kinerja infrastruktur yang sebanding dengan server GPU berperforma tinggi kelas global, sekaligus mengurangi pembangunan pusat data dan beban operasional.

Rebel Server Mendemonstrasikan Layanan Agen AI Multi-Pengguna Real-Time

Dalam demonstrasi tersebut, Rebellions menampilkan layanan agen di mana pengguna bisa mengajukan pertanyaan seperti “toko obat yang buka pada akhir pekan” dan menerima hasil yang ditampilkan pada peta. Sistem memproses respons secara real time bahkan di lingkungan ketika beberapa pengguna secara bersamaan memasukkan pertanyaan yang berbeda. Demonstrasi ini memvalidasi kemampuan server untuk menangani beban kerja multi-pengguna secara bersamaan dengan performa yang stabil.

Rebellions Berpartisipasi dalam Proyek Model Fondasi AI Pemerintah

Park Sung-hyun, CEO Rebellions, menyatakan, “Ini adalah kasus praktis AI berdaulat yang menunjukkan bahwa layanan AI skala besar dapat dijalankan hanya dengan model ultra-besar dalam negeri dan NPU dalam negeri.” Rebellions berpartisipasi sebagai anggota konsorsium di bawah SK Telecom dalam proyek model fondasi AI independen Kementerian Sains dan ICT, di mana pihaknya bertanggung jawab mendemonstrasikan infrastruktur AI berbasis NPU dalam negeri.

FAQ

Apa yang dicapai Rebellions dengan model A.X K1 milik SK Telecom?

Rebellions berhasil menjalankan model AI A.X K1 milik SK Telecom, yang memiliki lebih dari 500 miliar parameter, pada Rebel Server berbasis NPU dalam negeri. Perusahaan mendemonstrasikan layanan agen AI yang menangani banyak permintaan pengguna secara bersamaan secara real time.

Bagaimana Rebel Server milik Rebellions menangani model AI skala besar secara efisien?

Rebel Server mengoptimalkan perangkat lunak untuk arsitektur Mixture of Experts (MoE) yang digunakan pada A.X K1, dengan mendistribusikan berbagai operasi ke NPU untuk pemrosesan paralel. Ini memungkinkan satu server mencapai kinerja infrastruktur yang sebanding dengan server GPU berperforma tinggi global sambil memproses banyak permintaan pengguna secara real time.