La vision du copilote de Microsoft peut maintenant voir et analyser l’écran de l’ensemble de votre PC – pas seulement ce qui est dans Edge

Microsoft a élargi les pouvoirs et la portée de son Copilot Vision Ai pour vous aider avec tous les types de contenu. Dans un Article de blog publié jeudila société a révélé que Copilot Vision est maintenant cuit dans l’application Copilot Windows, où vous pouvez lui demander d’analyser et de répondre aux questions sur tout élément de votre écran.

Un grand bond en avant

Disponible aux États-Unis pour Windows 10 et 11 et bientôt dans d’autres pays non européens, Copilot Vision sur Windows agit comme un compagnon virtuel, fournissant un autre ensemble d’yeux pour vous aider avec des fichiers, des applications et d’autres éléments affichés et partagés à l’écran. Vous pouvez lui demander d’analyser ou de résumer le contenu ou de répondre à toute question à ce sujet.

Vous ne savez pas comment utiliser une application spécifique? Avec l’option Faits saillants, vous pouvez demander à Copilot comment accomplir une certaine tâche. L’IA vous montrera alors où aller et quoi faire.

Aussi: 8 façons d’utiliser Copilot Vision de Microsoft pour gagner du temps sur mon téléphone et mon PC

Par exemple, peut-être que vous jouez à un jeu et êtes coincé à un certain niveau. Demandez à Copilot Vision des conseils sur la façon de procéder, et cela vous amènera. Peut-être que vous consultez une photo dans un programme comme Adobe Photoshop Elements et vous vous demandez comment améliorer l’éclairage. Demandez des conseils à Copilot Vision, et cela expliquera les étapes spécifiques à suivre dans les éléments de Photoshop.

Vous pouvez même partager deux applications ou fichiers à la fois, et Copilot Vision reliera les points entre eux. Par exemple, vous pouvez partager à la fois votre calendrier et une page Web d’événements intéressants et demander à l’IA de trouver des dates lorsque vous seriez libre d’assister aux événements que vous aimez. Copilot Vision trouvera une date appropriée et vous parlera même des étapes pour ajouter l’événement à votre calendrier.

Cette dernière compétence est un grand bond en avant pour Copilot Vision. Auparavant, la version de bureau de l’outil fonctionnait uniquement dans Edge et ne pouvait analyser et répondre aux questions sur votre page Web actuelle. Maintenant, tout ce que vous ouvrez à Windows est disponible pour que vous puissiez partager avec Copilot.

Comment l’essayer

Dans Windows 10 ou 11ouvrez le Copilot Windows App. Cliquez sur l’icône de lunettes à droite de l’invite. Vous verrez une liste de tous vos fichiers ouverts, applications et fenêtres. Allumez l’interrupteur pour l’article que vous souhaitez partager avec Copilot. L’IA devrait alors vous accueillir dans la voix que vous avez créée. (J’utilise la voix des vagues avec son accent britannique chic.)

Aussi: Le copilote de Microsoft pour le jeu arrive en bêta – comment l’essayer sur votre téléphone

Vous pouvez ensuite lui poser n’importe quelle question sur le contenu partagé, et il devrait fournir les informations dont vous avez besoin ou vous guider à travers un processus spécifique. Lorsque vous avez terminé la conversation, cliquez simplement sur Stop ou X pour revenir à l’invite du copilote.

Si vous souhaitez inclure un deuxième élément dans la conversation, cliquez à nouveau sur l’icône des lunettes et activez l’interrupteur pour la fenêtre supplémentaire. Vous pouvez ensuite poser une question qui fait référence aux deux articles ouverts.

Mon expérience

J’ai pris Copilot Vision pour un tour en utilisant certains des exemples que j’ai énumérés. Par exemple, j’ai ouvert une photo dans des éléments de Photoshop qui avaient des réflexions de lumière dessus et j’ai demandé à Copilot comment les retirer. Il a expliqué où et comment utiliser l’outil de brossage de guérison spot dans le programme pour éliminer les réflexions.

J’ai également ouvert mon calendrier et un calendrier des prochains jeux de New York. J’ai demandé à Copilot de trouver une date où je serais libre de voir un jeu entre les Yankees et les Orioles. Il a identifié une date spécifique et m’a même demandé si je voulais ajouter l’événement à mon calendrier et m’a proposé de me montrer comment faire.

Aussi: Microsoft dévoile 9 nouvelles fonctionnalités de copilote – vous pouvez en essayer maintenant

La confidentialité est toujours une préoccupation avec les outils de partage d’écran et de capture (RappelJe pense à toi). Mais avec Copilot Vision, vous êtes au siège du conducteur. Vous devez choisir activement de partager une fenêtre spécifique avec l’IA; Sinon, il ne peut pas voir ou analyser ce qu’il y a sur votre écran.

« Copilot Vision sur Windows est une toute nouvelle façon de s’engager avec votre PC Windows, vous aidant en cas de besoin », a déclaré Microsoft dans le billet de blog. « Lorsque vous choisissez de l’activer, Copilot Vision peut voir ce que vous voyez et vous en parler en temps réel. Il agit comme votre deuxième ensemble d’yeux, capable d’analyser le contenu, d’aider lorsque vous êtes perdu, de fournir des idées et de répondre à vos questions au fur et à mesure. Que vous naviguiez, le travail ou le travail sans effort. »

Obtenez les meilleures histoires du matin dans votre boîte de réception chaque jour avec notre Newsletter Tech Today.