AMD Merilis Model Instella-MoE yang Sepenuhnya Open-Source dengan 16B Parameter pada 25 Juli

AMD-3,29%
Menurut BlockBeats, AMD merilis model mixture-of-experts (MoE) Instella-MoE yang sepenuhnya open-source pada 25 Juli, dengan total 16 miliar parameter dan 2,8 miliar parameter yang aktif per token. Model dasarnya meraih skor rata-rata 76,7, menempati posisi di antara model bahasa open-source terdepan serta mengungguli SmolLM3-3B dan OLMo-3-7B. Model ini dilatih menggunakan GPU AMD Instinct MI300X dan MI325X dengan stack perangkat lunak ROCm. Instella-MoE mendukung panjang konteks token 64K. AMD secara publik merilis seluruh bobot model, konfigurasi pelatihan, distribusi data, checkpoint menengah, serta kode inferensi untuk mendorong penelitian model AI terbuka.
Penafian: Informasi di halaman ini mungkin berasal dari sumber pihak ketiga dan hanya untuk referensi. Ini tidak mewakili pandangan atau pendapat Gate dan bukan merupakan nasihat keuangan, investasi, atau hukum. Perdagangan aset virtual melibatkan risiko tinggi. Mohon jangan hanya mengandalkan informasi di halaman ini saat membuat keputusan. Untuk detailnya, lihat Penafian.
Komentar
0/400
Tidak ada komentar