Sakana AI dan Nvidia Mencapai Inferensi H100 30% Lebih Cepat dengan Melewati 80% Perhitungan yang Tidak Valid

Sakana AI dan Nvidia telah merilis TwELL sebagai open-source, format data yang jarang (sparse) yang memungkinkan GPU H100 melewati 80% komputasi yang tidak valid pada model bahasa besar tanpa mengorbankan akurasi. Solusi ini memberikan inferensi hingga 30% lebih cepat dan pelatihan 24% lebih cepat di H100, sekaligus mengurangi penggunaan memori puncak. Dalam pengujian pada model berparameter 1,5 miliar, pendekatan ini menurunkan neuron aktif menjadi di bawah 2% melalui regularisasi ringan selama pelatihan, tanpa penurunan kinerja di tujuh tugas turunan.
Penafian: Informasi di halaman ini mungkin berasal dari sumber pihak ketiga dan hanya untuk referensi. Ini tidak mewakili pandangan atau pendapat Gate dan bukan merupakan nasihat keuangan, investasi, atau hukum. Perdagangan aset virtual melibatkan risiko tinggi. Mohon jangan hanya mengandalkan informasi di halaman ini saat membuat keputusan. Untuk detailnya, lihat Penafian.
Komentar
0/400
Tidak ada komentar