Claude Code est redoutable pour écrire du code. Mais jusqu'ici, il avait un angle mort : les interfaces. Il pouvait écrire une app de bureau entière sans jamais la voir tourner. Le workflow ressemblait à ça : Claude code, tu lances l'app, tu cliques partout, tu fais une capture du bug, tu la colles dans le terminal, Claude corrige, et on recommence.
Avec Computer Use, cette boucle se ferme. Claude peut voir l'écran, cliquer et faire des captures. Il lance lui-même ce qu'il a construit, le teste, et te fait un rapport. Le tout depuis le terminal, sans que tu touches à la souris.
Pour tester en conditions réelles, la vidéo reprend Claude Terminal Canvas, l'app construite la semaine dernière : une app de bureau Tauri (React et Xterm.js) qui affiche des terminaux sur un canevas infini, façon Figma.
C'est un bon cobaye : une interface riche, du glisser-déposer, des groupes, du redimensionnement. Exactement le genre de choses qu'on ne peut pas vérifier en lisant le code.
Avant de tout confier à Computer Use, il faut comprendre où il se place. La vidéo propose une hiérarchie simple, du plus direct au plus lourd :
- MCP : si un serveur MCP donne accès à ce dont tu as besoin, c'est le plus fiable ;
- Bash : une commande dans le terminal reste plus rapide et plus précise qu'une souris ;
- Chrome : pour les applications web, piloter le navigateur ;
- Computer Use : en dernier recours, pour tout ce qui n'a ni API ni interface web, comme une app de bureau native.
Computer Use est puissant, mais c'est aussi le plus lent et le moins précis : une capture d'écran, un raisonnement, un clic, une nouvelle capture. Si une méthode plus directe existe, utilise-la.
L'activation se fait en deux minutes, via la commande /mcp dans Claude Code.
Sur macOS, il faut ensuite accorder deux autorisations système au terminal :
- Accessibilité, pour pouvoir contrôler la souris ;
- Enregistrement de l'écran, pour pouvoir faire des captures.
Une fois ces autorisations données, Claude prend sa première capture d'écran.
La démo : mains levées
La démo est impressionnante justement parce qu'on ne fait rien. Claude construit l'app, la lance, et commence ses tests :
- le glisser-déposer des terminaux sur le canevas ;
- les groupes ;
- le redimensionnement.
Pendant ce temps, les mains restent levées loin du clavier. Le déplacement de la souris est fluide. À la fin, Claude rend un rapport de test complet.
Une limitation relevée pendant la démo : le contrôle s'est limité aux clics, sans saisie au clavier.
La partie la plus utile de la vidéo, ce sont les détails qu'on découvre en l'utilisant.
1. Un seul Claude à la fois. Le contrôle de l'ordinateur est verrouillé à l'échelle de la machine : deux sessions ne peuvent pas piloter la souris en même temps. Logique, il n'y a qu'un seul curseur.
2. Tes apps disparaissent. Pendant que Claude travaille, tes autres applications sont masquées. Ne t'inquiète pas en voyant ton bureau se vider.
3. Le terminal est invisible. Le terminal de Claude Code n'apparaît pas dans ce qu'il voit, une mesure liée à la protection contre les injections de prompt.
4. Échap, c'est le bouton rouge. Si quelque chose tourne mal, la touche Échap arrête tout.
5. Par app et par session. Les autorisations sont accordées application par application, et pour la session en cours.
6. Des niveaux de contrôle. Trois niveaux existent : View (voir), Click (cliquer) et Full (contrôle complet). Donne le minimum nécessaire.
7. Des avertissements « sentinelles ». Certaines situations déclenchent des avertissements spécifiques, à lire plutôt qu'à ignorer.
8, 9 et 10. Notification, mode -p et réglage par projet. La vidéo aborde enfin trois derniers points : les notifications, le mode non interactif -p et le réglage par projet.
Donner la souris à un agent n'est pas anodin. Quelques réflexes :
- Reste à proximité pendant les premières utilisations, le doigt sur Échap.
- Donne le niveau de contrôle minimal : View si tu veux juste un avis sur l'interface, Click pour des tests, Full seulement si c'est nécessaire.
- Ferme ce qui est sensible avant de lancer une session : messagerie, gestionnaire de mots de passe, documents confidentiels.
- Préfère MCP, Bash ou Chrome quand c'est possible : ce sont des outils plus prévisibles.
Quelques cas où Computer Use apporte vraiment quelque chose :
- les apps de bureau (Tauri, Electron, natives) que tu développes, pour une passe de tests visuels après chaque grosse modification ;
- les logiciels sans API, quand il faut récupérer une information ou vérifier un réglage ;
- les vérifications d'interface qu'un test automatisé rate : un élément qui déborde, un bouton masqué, une animation qui saccade.
Pour une app web, commence plutôt par Chrome : c'est plus rapide et plus précis.
Computer Use dans Claude Code est une research preview : une fonctionnalité en avant-première, qui va s'améliorer. Il est pour l'instant réservé à macOS. Le changelog montre déjà des ajustements, comme la correction en 2.1.85 (26 mars) d'une erreur de l'outil sur les configurations multi-écrans.
Même imparfait, il change le rapport avec les projets qui ont une interface. Claude ne se contente plus de te promettre que le bouton fonctionne : il clique dessus.
- Computer Use permet à Claude Code de voir l'écran, cliquer et faire des captures pour tester ce qu'il construit.
- Il passe en dernier dans la hiérarchie : MCP, puis Bash, puis Chrome, puis Computer Use.
- Activation via
/mcp, puis les autorisations macOS Accessibilité et Enregistrement de l'écran.
- Dix subtilités, dont le verrou machine, la touche Échap et les niveaux View, Click et Full.
- Research preview, sur macOS uniquement pour l'instant.
