OpenAI a déployé la fonction Computer Use pour son application de bureau Codex sur macOS. Sa dernière nouveauté est particulièrement marquante : votre Mac n’a même pas besoin d’être déverrouillé pour que l’agent de codage utilise vos applications pendant votre absence.
Dans une publication sur X, OpenAI Developers a indiqué que les utilisateurs peuvent désormais envoyer des tâches à Codex depuis leur téléphone et le laisser agir sur les applications de leur Mac, « même lorsque l’écran est éteint et verrouillé ». L’image jointe à la publication montre un Mac verrouillé affichant une superposition « Codex is Using Your Mac », avec une invitation à appuyer sur une touche ou à cliquer pour le déverrouiller.
Une automatisation qui fonctionne avec des autorisations précises
Pour que cette fonctionnalité fonctionne, le plugin Computer Use doit être installé et disposer des autorisations Screen Recording et Accessibility. Une fois ces permissions accordées, Codex peut cliquer dans les fenêtres, taper du texte, naviguer dans les menus et interagir avec le presse-papiers dans les applications que vous avez explicitement autorisées.
OpenAI explique que cette fonctionnalité est utile pour les tâches que les outils en ligne de commande ne peuvent pas facilement gérer. Cela inclut par exemple la reproduction d’un bug visible uniquement dans une interface graphique, la modification des réglages d’une application ou l’exécution d’un parcours dans une application de bureau que Codex aide à développer.
Codex demande l’autorisation avant d’utiliser une nouvelle application
Codex demande une autorisation avant d’agir dans chaque nouvelle application. Pour les utilisateurs les plus confiants, il est également possible de marquer certaines applications comme « Always allow », afin de les autoriser en permanence.
OpenAI précise que la fonctionnalité n’est pas disponible dans l’Espace économique européen, au Royaume-Uni et en Suisse au lancement. Elle ne peut pas non plus automatiser les applications Terminal, Codex lui-même, ni les invites d’administration au niveau du système.
OpenAI enrichit encore son application Codex
Cette mise à jour fait suite à plusieurs ajouts récents à Codex, dont une nouvelle fonction Appshots. Celle-ci permet d’intégrer une capture d’écran et du texte provenant d’une fenêtre d’application Mac dans un fil Codex grâce au raccourci Commande-Commande.
OpenAI a aussi ajouté un nouveau mode /goal, qui permet à un agent de continuer à travailler vers un objectif précis pendant plusieurs heures, voire plusieurs jours.
Laisser un commentaire