Berita Gate, 27 April — Logan Kilpatrick, manajer produk senior di Google DeepMind dan pemimpin produk untuk Google AI Studio, menyatakan di X bahwa setiap perusahaan yang membangun produk berbasis AI harus menetapkan tolok ukur kustomnya sendiri untuk mengukur performa model AI. Ia menyebutnya sebagai cara untuk membuat peningkatan model “memberi manfaat yang secara tidak proporsional bagi perusahaan Anda” dan mendesak para pendiri serta pemimpin bisnis untuk “mulai besok.”

Kebanyakan perusahaan saat ini mengandalkan papan peringkat publik untuk memilih model AI, tetapi papan peringkat ini mengukur kemampuan umum yang sering tidak selaras dengan skenario bisnis tertentu. Kilpatrick mencontohkan perusahaan peninjau kontrak yang paling peduli pada akurasi ekstraksi klausul—sebuah kemampuan yang tidak ada dalam tolok ukur publik, sehingga tidak mungkin menilai performa model pada tugas tersebut. Tolok ukur kustom menawarkan dua keunggulan utama: pertama, tolok ukur ini memungkinkan perusahaan mengevaluasi setiap pembaruan model terhadap tugas bisnis mereka sendiri dan memilih model yang berkinerja terbaik pada kasus penggunaan mereka yang sebenarnya, bukan model dengan peringkat tertinggi secara keseluruhan; kedua, tolok ukur ini memungkinkan perusahaan membagikan set pengujian tersebut kepada penyedia model, sehingga mendorong optimasi berkelanjutan di area yang penting bagi bisnis mereka.

Kilpatrick mencatat bahwa perusahaan seperti Zapier dan Sierra sudah menerapkan pendekatan ini, dengan mengatakan bahwa “ada banyak alpha yang bisa diciptakan di sini.”

Lihat Sumber

Penafian: Informasi di halaman ini dapat berasal dari pihak ketiga dan tidak mewakili pandangan atau opini Gate. Konten yang ditampilkan hanya untuk tujuan referensi dan bukan merupakan nasihat keuangan, investasi, atau hukum. Gate tidak menjamin keakuratan maupun kelengkapan informasi dan tidak bertanggung jawab atas kerugian apa pun yang timbul akibat penggunaan informasi ini. Investasi aset virtual memiliki risiko tinggi dan rentan terhadap volatilitas harga yang signifikan. Anda dapat kehilangan seluruh modal yang diinvestasikan. Harap pahami sepenuhnya risiko yang terkait dan buat keputusan secara bijak berdasarkan kondisi keuangan serta toleransi risiko Anda sendiri. Untuk detail lebih lanjut, silakan merujuk ke Penafian.