Selalu menggunakan GitHub Copilot untuk meninjau PR, karena GitHub secara otomatis menjalankan dan tampaknya juga tidak dikenai biaya.

Namun beberapa kali review terakhir membuat saya mulai meragukan apa yang sebenarnya "dipahami" oleh Copilot.

Misalnya sebuah pertanyaan dasar: ia tetap menganggap 1.82.0 lebih tinggi daripada 1.91.1, yang merupakan kesalahan umum dalam penilaian nomor versi oleh model besar awal.

Jika ini masalah model, maka ia juga akan menganggap rust 1.91.1 belum dirilis, yang menunjukkan kemampuan pencarian dan penilaian status nyata dari agent juga kurang.

Masalah yang lebih besar lagi adalah: review dari Copilot jelas dilakukan per file.

Memeriksa gaya kode dan kondisi batas cukup baik, tetapi kurang memiliki perspektif global. Misalnya dalam sebuah PR, karena salah menghitung jalur relatif, agent menyalin file yang sama berkali-kali, padahal hanya satu yang berlaku—masalah seperti ini sama sekali tidak terdeteksi, bahkan tidak peduli apa yang diminta oleh issue asli yang terkait PR tersebut.

Menurut saya, seorang agent reviewer kode yang layak harus terlebih dahulu melakukan penilaian secara menyeluruh:

Apakah PR memenuhi issue, apakah sesuai dengan tujuan proyek, apakah tata letak dan pilihan arsitektur file masuk akal, baru kemudian masalah sintaks dan detail.

Akhir-akhir ini saya berencana menambahkan mode reviewer untuk holon.
Apakah sekarang kalian benar-benar menggunakan reviewer agent? Biasanya pakai apa?