vLLM Resep situs selesai dengan redesign besar, menyediakan solusi optimalisasi model dan perangkat keras untuk deployment

robot
Pembuatan abstrak sedang berlangsung

Berita ME News, 22 April (UTC+8), proyek vLLM mengumumkan bahwa perpustakaan konfigurasi yang dikelola komunitas, vLLM Recipes, telah selesai didesain ulang secara besar-besaran. Situs web versi baru bertujuan membantu pengguna dengan cepat menyebarkan dan menjalankan model bahasa besar, fitur utama yang baru ditambahkan adalah menyediakan jawaban yang dapat diklik untuk pertanyaan seperti “Bagaimana menjalankan model tertentu pada perangkat keras tertentu untuk menyelesaikan tugas tertentu”. Situs ini menggunakan gaya URL yang mirip dengan HuggingFace, pengguna dapat langsung menuju halaman solusi optimalisasi yang sesuai dengan mengganti bagian domain dalam URL model. Platform ini menyediakan berbagai model seperti Qwen3.6-35B-A3B, Kimi-K2.6, serta perintah baris \vllm serve\ yang dioptimalkan untuk berbagai perangkat keras GPU seperti NVIDIA H100/H200/B200/B300, AMD MI300X/MI325X/MI355X. Pengguna dapat menelusuri solusi berdasarkan penyedia seperti Arcee AI, Baidu, ByteDance, DeepSeek, Google, Meta, Microsoft, dan lainnya. Platform ini sepenuhnya kompatibel dengan vLLM dan menyediakan tautan ke dokumentasi resmi, repositori GitHub, serta daftar kompatibilitas perangkat keras model lengkap. (Sumber: InFoQ)

Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
  • Hadiah
  • Komentar
  • Posting ulang
  • Bagikan
Komentar
Tambahkan komentar
Tambahkan komentar
Tidak ada komentar
  • Sematkan