Avec la nouvelle compétence de Copilot Studio, votre agent d’IA peut utiliser des sites Web et des applications comme vous

Imaginez un Agent d’IA Cela peut non seulement effectuer des recherches sur le Web, mais également interagir avec les sites Web pour accomplir des tâches spécifiques – le tout à part entière. C’est l’idée derrière une nouvelle innovation de Microsoft.

Mercredi, le géant du logiciel annoncé une nouvelle compétence interactive conçu pour autonomiser les agents d’IA que les gens créent Copilot Studio produit. Cette compétence est l’utilisation de l’ordinateur. Tout agent que vous créez peut fonctionner avec une application de bureau ou un site Web pour effectuer des actions spécifiques comme vous le pouvez.

Aussi: Que sont les agents de l’IA? Comment accéder à une équipe d’assistants personnalisés

En arrivant via un aperçu de la recherche sur l’accès anticipé, la nouvelle compétence permettra aux agents d’interagir avec les applications et les sites en cliquant sur les boutons, en sélectionnant les menus et en remplissant les champs et les formulaires sur un écran. Les agents peuvent accomplir des tâches interactives même si aucune API n’est disponible pour utiliser l’application ou le site. Comme Microsoft l’a formulé: « Si une personne peut utiliser l’application, l’agent le peut aussi. »

Pour effectuer des tâches par eux-mêmes, les agents que vous concevez pourront utiliser des navigateurs grand public, tels que Microsoft Edge, Chrome et Firefox. La fonctionnalité elle-même fonctionne sur un backend hébergé par Microsoft, vous n’avez donc pas besoin de vos propres serveurs ou systèmes. Les données générées restent sur le cloud Microsoft et ne seront pas utilisées pour former le modèle d’IA de l’entreprise.

Les agents peuvent s’adapter automatiquement aux modifications des applications et sites Web de bureau, vous ne devriez donc pas avoir à les modifier si un bouton ou un écran est révisé. Puisqu’ils sont capables de « voir » l’écran, ils peuvent décider quoi faire et comment le faire en temps réel sans votre intervention. Ils possèdent également un raisonnement intégré pour s’attaquer à des problèmes ou des obstacles en cours de route, vous ne devriez donc pas avoir à intervenir si un problème se pose.

Aucune programmation ou codage n’est nécessaire pour construire un agent d’IA. À l’invite de Copilot Studio, vous décrivez simplement ce que vous voulez que l’agent fasse en utilisant le langage naturel. Vous pouvez tester et affiner votre invite lorsque vous voyez les étapes se dérouler dans un mode simulé avant d’envoyer l’agent en mission. De plus, vous pouvez voir l’historique de l’utilisation de l’ordinateur de votre agent, avec des captures d’écran et ses propres étapes de raisonnement.

Aussi: Chatgpt vient de le rendre facile à trouver et à modifier toutes les images AI que vous avez jamais générées

Dans son article de blog, Microsoft a cité trois exemples dans lesquels les agents de l’IA pourraient jouer un rôle.

Sntrée automatisée de données: Vous devez saisir de grandes quantités de données de différentes sources dans un système central. L’agent d’IA peut assumer cette tâche, réduisant le temps, l’effort et le travail manuel de votre côté.

Étude de marché: Une personne en marketing doit collecter des données à partir de différentes sources en ligne pour l’analyse. L’agent d’IA pourrait parcourir les différents sites et collecter les informations nécessaires en soi.

Traitement des factures: Quelqu’un en finance doit extraire des données des factures et ajouter les informations dans un système comptable. L’agent d’IA pourrait automatiquement saisir et transférer les données dans le système de bon système.

Tout cela semble génial en théorie. Mais l’IA d’aujourd’hui est loin d’être parfaite. Même un vieux Bot IA peut faire des erreurs. Ajoutez la complexité de l’utilisation automatisée et indépendante de l’ordinateur, et l’agent d’IA pourrait éventuellement prendre un faux pas, cliquer sur le mauvais bouton ou simplement abandonner sa mission.

Aussi: Copilot Studio est comme un ensemble LEGO pour construire des agents d’IA

La seule façon de le dire est de créer un agent pour travailler avec un site Web ou une application et voir comment il se comporte. Dans cet esprit, Microsoft invite les utilisateurs de Copilot Studio à remplir et à soumettre un formulaire d’inscription Pour obtenir un accès anticipé à la fonction d’utilisation de l’ordinateur.

Si vous n’utilisez pas déjà Copilot Studio, vous pouvez Essayez-le gratuitement. Pour le configurer, vous devrez utiliser un compte de travail ou d’école. Une fois signé, vous êtes placé sur la page principale du studio Copilot, où vous pouvez décrire le type d’agent que vous souhaitez créer.

Vous voulez plus d’histoires sur l’IA? Inscrivez-vous à l’innovationnotre newsletter hebdomadaire.