Lassen Sie den KI-Programmierassistenten direkt den Desktop steuern: Das native CLI-Tool Zig usecomputer ist Open Source und kompatibel mit Claude Code und Codex

Laut 1M AI News Monitoring veröffentlicht der Open-Source-Entwickler Tommaso De Rossi das Desktop-Automatisierungskommandozeilentool usecomputer, geschrieben in Zig als native Binärdatei, ohne auf Node.js-Laufzeit zu setzen. Damit können KI-Programmierassistenten (Claude Code, Codex, OpenCode usw.) direkt Maus, Tastatur und Screenshots auf dem Desktop steuern. Unterstützt werden macOS und Linux (X11, Wayland via XWayland).

usecomputer bietet CLI-Befehle für Screenshots, Mausbewegungen/-klicks/-ziehen/-scrollen, Tastatureingaben und Shortcut-Kombinationen, inklusive eines Koordinatensystems (coord-map), das Pixelkoordinaten in tatsächliche Bildschirmkoordinaten umwandelt. Die Screenshot-Ausgabe skaliert standardmäßig die längste Seite auf 1568 Pixel, um sie an den Modell-Kontext anzupassen. Das Tool unterstützt auch das Kitty Graphics Protocol; nach Setzen der Umgebungsvariable können Screenshots direkt in den Modell-Kontext eingebettet werden, ohne zusätzliche Dateien lesen zu müssen.

De Rossi hat zuvor das Browser-Automatisierungstool Playwriter (über 3200 GitHub-Sterne) entwickelt. usecomputer erweitert die Browser-Automatisierung auf die Desktop-Automatisierung. Das Projekt wurde aus seinem Einzel-Repository kimaki ausgegliedert und bietet sowohl CLI- als auch Node.js-Bibliotheksnutzung. Im README sind vollständige Integrationsbeispiele für OpenAI computer tool und Anthropic computer use enthalten.