ให้ผู้ช่วยเขียนโปรแกรม AI ควบคุมเดสก์ท็อปโดยตรง: เครื่องมือ CLI แบบเนทีฟของ Zig ชื่อ usecomputer เปิดซอร์ส โค้ดเข้ากันได้กับ Claude Code และ Codex

จากการตรวจสอบของ 1M AI News นักพัฒนาโอเพนซอร์ส Tommaso De Rossi ได้ปล่อยเครื่องมือคำสั่งอัตโนมัติบนเดสก์ท็อป usecomputer ซึ่งเขียนด้วย Zig เป็นไฟล์ไบนารีแบบเนทีฟโดยไม่พึ่งพา runtime ของ Node.js ช่วยให้ผู้ช่วยเขียนโปรแกรม AI (เช่น Claude Code, Codex, OpenCode ฯลฯ) ควบคุมเมาส์ คีย์บอร์ด และการจับภาพหน้าจอโดยตรง รองรับ macOS และ Linux (X11, Wayland ผ่าน XWayland)

usecomputer ให้คำสั่ง CLI สำหรับการจับภาพหน้าจอ การเคลื่อนที่/คลิก/ลาก/เลื่อนของเมาส์ การป้อนข้อมูลด้วยคีย์บอร์ด และการสร้างคีย์ลัด พร้อมระบบแมปพิกัด (coord-map) ที่แปลงพิกัดพิกเซลในภาพหน้าจอเป็นพิกัดบนหน้าจอจริง การส่งออกภาพหน้าจอจะปรับขนาดด้านที่ยาวที่สุดเป็น 1568 พิกเซลโดยอัตโนมัติเพื่อให้เหมาะสมกับบริบทของโมเดล เครื่องมือนี้ยังรองรับ Kitty Graphics Protocol หลังจากตั้งค่าตัวแปรสภาพแวดล้อมแล้ว การจับภาพหน้าจอสามารถฝังเข้าไปในบริบทของโมเดลโดยตรงโดยไม่ต้องอ่านไฟล์เพิ่มเติม

De Rossi ก่อนหน้านี้ได้พัฒนาเครื่องมืออัตโนมัติบนเบราว์เซอร์ Playwriter (มีดาวบน GitHub มากกว่า 3200 ดวง) ซึ่ง usecomputer ได้ขยายจากการอัตโนมัติบนเบราว์เซอร์ไปสู่การอัตโนมัติบนเดสก์ท็อป โครงการนี้แยกออกมาจากคลังเดียว kimaki ของเขา และให้ใช้งานได้ทั้งแบบ CLI และ Node.js โดยใน README มีตัวอย่างการใช้งานแบบสมบูรณ์ของการผนวกรวมกับเครื่องมือของ OpenAI และ Anthropic อย่างครบถ้วน