Pourquoi remettre le contrôle total aux agents de l’IA serait une énorme erreur

Et lorsque les systèmes peuvent contrôler simultanément plusieurs sources d’informations, le potentiel de préjudice explose. Par exemple, un agent ayant accès aux communications privées et aux plateformes publiques pourrait partager des informations personnelles sur les réseaux sociaux. Ces informations peuvent ne pas être vraies, mais elles voleraient sous le radar des mécanismes traditionnels de vérification des faits et pourraient être amplifiés par un partage supplémentaire pour créer de graves dommages de réputation. Nous imaginons que «ce n’était pas moi – c’était mon agent !!» sera bientôt un refrain commun pour excuser les mauvais résultats.

Gardez l’humain dans la boucle

Le précédent historique montre pourquoi le maintien de la surveillance humaine est essentiel. En 1980, les systèmes informatiques ont faussement indiqué que plus de 2 000 missiles soviétiques se dirigeaient vers l’Amérique du Nord. Cette erreur a déclenché des procédures d’urgence qui nous rapprochaient dangereusement de la catastrophe. Quelle catastrophe évité a été la vérification croisée humaine entre différents systèmes d’avertissement. Si la prise de décision avait été entièrement déléguée aux systèmes autonomes priorisant la vitesse sur la certitude, le résultat pourrait avoir été catastrophique.

Certains contrer que les avantages valent les risques, mais nous soutiendrons que réaliser ces avantages ne nécessite pas de renoncer au contrôle humain complet. Au lieu de cela, le développement d’agents d’IA doit se produire aux côtés du développement d’une surveillance humaine garantie d’une manière qui limite la portée de ce que les agents de l’IA peuvent faire.

Les systèmes d’agents open source sont un moyen de traiter les risques, car ces systèmes permettent une plus grande surveillance humaine de ce que les systèmes peuvent et ne peuvent pas faire. À l’étreinte Face, nous développons smolagentsun cadre qui fournit Environnements sécurisés en sable et permet aux développeurs de construire des agents avec la transparence à la base afin que tout groupe indépendant puisse vérifier s’il existe un contrôle humain approprié.

Cette approche contraste fortement avec la tendance dominante vers des systèmes d’IA de plus en plus complexes et opaques qui obscurcissent leurs processus décisionnels derrière des couches de technologie propriétaire, ce qui rend impossible la garantie de la sécurité.

Alors que nous naviguons sur le développement d’agents d’IA de plus en plus sophistiqués, nous devons reconnaître que la caractéristique la plus importante de toute technologie n’augmente pas l’efficacité mais ne favorise pas le bien-être humain.

Cela signifie créer des systèmes qui restent des outils plutôt que des décideurs, des assistants plutôt que des remplacements. Le jugement humain, avec toutes ses imperfections, reste la composante essentielle pour s’assurer que ces systèmes servent plutôt que de renverser nos intérêts.

Margaret Mitchell, Avijit Ghosh, Sasha Luccioni, Giada Pistilli travaillent tous pour étreindre le visage, Une startup mondiale dans l’IA responsable des open source.