Anthropic a lancé une toute nouvelle fonctionnalité « Computer Use » (contrôle de l’ordinateur) pour son outil d’agent de code IA Claude Code, disponible pour les utilisateurs macOS sous forme de « Research Preview » (aperçu de recherche). Cette fonctionnalité permet à Claude de contrôler directement l’écran de l’ordinateur de l’utilisateur : ouvrir des applications, cliquer sur des boutons, saisir du texte, faire des captures d’écran, et relier dans une même conversation l’exécution complète du flux de travail, de l’écriture de code aux tests d’interface utilisateur, sans quitter le terminal.
Qu’est-ce que Claude peut vous aider à « cliquer » ?
D’après la documentation technique officielle, Computer Use est principalement conçu pour les tâches qui nécessitent une interface graphique (GUI), c’est-à-dire celles que vous devez normalement mettre de côté le terminal pour faire vous-même :
Construire et vérifier des applications natives : demandez à Claude d’écrire une application de la barre de menu macOS ; il la compilera, la lancera, cliquera étape par étape sur tous les contrôles pour confirmer que tout fonctionne, et vous n’avez même pas encore ouvert cette application.
Tests UI de bout en bout : pointez une application Electron locale et dites « tester le nouveau parcours d’onboarding » ; Claude ouvrira l’application, cliquera sur les étapes d’inscription, et fera des captures d’écran de chaque écran. Pas besoin de configuration Playwright, pas besoin de framework de test.
Débogage des problèmes visuels et de mise en page : dites à Claude « cette modale est coupée dans une petite fenêtre », il réduira la fenêtre pour reproduire le bug, capturera l’écran, modifiera le CSS, puis confirmera à nouveau le résultat du correctif — il voit ce que vous voyez.
Outils ne proposant que du GUI : outils de conception, panneaux de contrôle matériels, simulateur iOS, ou tout logiciel propriétaire qui n’a pas de CLI ni d’API.
Ordre de priorité pour le choix des outils de Claude
Computer Use est l’outil « le plus répandu et le plus lent ». Claude choisit le mode le plus précis selon l’ordre de priorité :
S’il y a un MCP Server correspondant → utiliser MCP
Si ce sont des commandes Shell → utiliser Bash
Si ce sont des opérations dans le navigateur et qu’il y a un paramètre « Claude in Chrome » → utiliser l’extension Chrome
Si rien de tout cela ne s’applique → n’activer que alors Computer Use
Autrement dit, le contrôle de l’écran est réservé aux cas où les autres méthodes n’atteignent pas le résultat : applications natives, simulateurs, outils sans API.
Comment activer Computer Use
Computer Use est fourni sous la forme d’un MCP Server intégré (nom :
computer-use
), désactivé par défaut ; il faut l’activer manuellement :
Dans une session interactive de Claude Code, exécutez /mcp, puis dans la liste, trouvez computer-use (affiché comme désactivé)
Après sélection, cliquez sur Enable ; les paramètres sont enregistrés durablement par projet, et il suffit de configurer une fois par projet
Lors de la première fois où vous laissez Claude contrôler l’ordinateur, macOS demandera d’accorder deux autorisations : Utilisation de l’assistance (Accessibility) et Enregistrement d’écran (Screen Recording). Après autorisation, sélectionnez « Réessayer », et dans certains cas, il faudra redémarrer Claude Code
À chaque session de travail, autorisez une par une les applications
Activer
computer-use
Le fait d’activer
computer-use
ne signifie pas que Claude peut contrôler toutes les applications de votre ordinateur. À chaque session, la première fois que Claude a besoin de contrôler une application donnée, le terminal affiche une invite indiquant :
Quelles applications Claude souhaite contrôler
S’il y a des demandes d’autorisations supplémentaires (comme l’accès au presse-papiers)
Combien d’autres applications seront masquées pendant la session
Choisissez « Autoriser pour cette session » ou « Refuser » ; l’autorisation n’est valable que pour la session en cours. Pour les applications ayant un accès système étendu, le système affichera aussi un avertissement supplémentaire :
Comment Claude travaillera sur votre écran
Verrouillage exclusif à l’échelle de la machine : après le lancement de Computer Use, une serrure d’exclusion au niveau de la machine sera obtenue. Si une autre session Claude Code utilise déjà l’ordinateur, la nouvelle demande échouera et indiquera qu’il faut d’abord terminer l’autre session.
Autres apps masquées temporairement : lorsque Claude commence à contrôler l’écran, les applications visibles non autorisées seront masquées, afin que Claude n’interagisse qu’avec les applications autorisées. La fenêtre de votre terminal reste visible et n’est pas capturée ; vous pouvez la surveiller en temps réel, et Claude ne voit pas ses propres sorties. Une fois Claude terminé, les applications masquées sont restaurées automatiquement.
Interruption possible à tout moment : après l’acquisition du verrou, macOS affichera une notification « Claude is using your computer · press Esc to stop ». Appuyez à tout moment
Esc
ou sur le terminal Ctrl+C pour interrompre immédiatement : Claude libérera le verrou, restaurera toutes les applications et rendra le contrôle.
Mécanismes de sécurité et limites de confiance
La documentation officielle insiste particulièrement sur le fait que, contrairement aux outils Bash sandboxés, Computer Use s’exécute directement dans votre environnement de bureau, et les limites de confiance sont différentes. Les garde-fous de sécurité intégrés incluent :
Autorisation par application : Claude ne peut contrôler que les applications que vous avez explicitement autorisées au cours de la session en cours
Avertissement « sentinelle » : les applications à qui vous accordez un accès à Shell, au système de fichiers ou aux paramètres système seront spécialement signalées avant l’autorisation
Injection d’invites détectée automatiquement : Claude examine le contenu à l’écran et marque les attaques potentielles d’injection d’invites
Conditions et limitations d’utilisation
Nécessite un abonnement Pro ou Max (les offres Team, Enterprise ne s’appliquent pas)
Nécessite Claude Code v2.1.85 ou supérieur
Actuellement pris en charge uniquement sur macOS (phase de Research Preview)
Doit être utilisé dans une session interactive ; ne prend pas en charge le mode non interactif (drapeau
-p
)
Les applications comme les navigateurs et les plateformes de transactions sont limitées au « mode de visualisation » ; le terminal et les IDE sont en « mode de clic » ; les autres applications ont un contrôle complet
MacRumors indique que, par rapport à ses concurrents, le Computer Use de Claude applique une conception plus stricte et axée sur la priorité des autorisations, et qu’actuellement il est limité à Mac, tandis que les autres offres ont déjà pris en charge macOS, Windows et Linux.
Pour les développeurs, la plus grande valeur de cette fonctionnalité est de raccourcir la boucle « écrire du code → tester → corriger les bugs » : Claude ne se contente pas d’écrire du code, il peut aussi vérifier personnellement les résultats en regardant votre écran.
Avertissement sur les risques : investir dans des cryptomonnaies comporte des risques élevés ; leur prix peut fluctuer fortement et vous pourriez perdre la totalité de votre capital. Veuillez évaluer soigneusement les risques.
Cet article : La nouvelle fonctionnalité de Claude Code : l’IA contrôle directement l’écran de votre Mac, de l’écriture du code dans le terminal jusqu’au test par clic — en une seule fois en chaîne, apparaît pour la première fois sur Chaîne d’actualités ABMedia.
