Pour les développeurs et les professionnels de l’informatique, l’IA peut être à la fois une arme secrète et une bombe à retardement

Notre histoire commence, comme le font beaucoup d’histoires, avec un homme et son IA. L’homme, comme beaucoup d’hommes, est un peu un geek et un peu programmeur. Il a également besoin d’une coupe de cheveux.

L’IA est l’aboutissement de milliers d’années d’avancement humain, tous mis au service de la vie de l’homme un peu plus facile. L’homme, bien sûr, c’est moi. Je suis ce gars.

Aussi: La meilleure IA pour le codage en 2025 (et quoi ne pas utiliser)

Malheureusement, alors que l’IA peut être incroyablement brillant, il a également une propension à mentirinduire en erreur et faire des erreurs choquant stupides. C’est la partie stupide dont nous discuterons dans cet article.

Les preuves anecdotiques ont de la valeur. Mes rapports sur la façon dont j’ai Résolu rapidement certains problèmes avec l’IA sont réels. Les programmes avec lesquels j’ai utilisé l’IA pour écrire sont toujours utilisés. J’ai utilisé l’IA pour aider à accélérer les aspects de mon flux de programmation, surtout lorsque je me concentre sur les sweet spots où je suis moins productif et l’IA est assez compétent, comme les fonctions d’écriture qui appellent des API publiées publiquement.

Aussi: Je suis un expert en outils AI, et ce sont les deux seuls pour lesquels je paie (plus trois que j’envisage)

Vous savez comment nous sommes arrivés ici. AI génératif Éclater sur la scène à la pointe de 2023 et se fraye un chemin dans le travail des connaissances depuis.

Un domaine, comme le dit le récit, où l’IA brille vraiment est sa capacité à écrire du code et à aider à gérer les systèmes informatiques. Ces affirmations ne sont pas fausses. J’ai montré, plusieurs fois, Comment ai a codage résolu et génie des systèmes problèmes que j’ai personnellement rencontrés.

Codage de l’IA dans le monde réel: ce que la science révèle

De nouveaux outils sont toujours livrés avec de grandes promesses. Mais livrent-ils dans des paramètres du monde réel?

La plupart de mes rapports sur l’efficacité de la programmation ont été basés sur des preuves anecdotiques personnelles: mes propres expériences de programmation utilisant l’IA. Mais je suis un gars. J’ai un temps limité à consacrer à la programmation et, comme chaque programmeur, j’ai certains domaines où je passe la majeure partie de mon temps de codage.

Aussi: J’ai testé 10 détecteurs de contenu AI – et ces 5 ont correctement identifié le texte AI à chaque fois

Récemment, cependant, une organisation de recherche à but non lucratif appelée METR (Évaluation du modèle et recherche sur les menaces) Analyse approfondie de la productivité du codage de l’IA.

Leur méthodologie semble solide. Ils ont travaillé avec 16 expérimentés développeurs open source qui ont activement contribué à de grands référentiels populaires. Les analystes METR ont fourni aux développeurs 246 problèmes des référentiels qui devaient être réparés. Les codeurs ont reçu environ la moitié des problèmes où ils ont dû travailler seuls, et environ la moitié où ils pouvaient utiliser une IA pour obtenir de l’aide.

Les résultats étaient frappants et inattendus. Alors que les développeurs eux-mêmes ont estimé que l’aide de l’IA a augmenté leur productivité en moyenne de 24%, l’analyse de METR a montré à la place que l’assistance de l’IA les ralentis en moyenne de 19% en moyenne.

C’est un peu un rayeur de tête. METR a dressé une liste de facteurs qui pourraient expliquer le ralentissement, y compris l’optimisme sur l’utilité de l’IA, la familiarité à haut développeur avec leurs référentiels (et moins de connaissances en IA), la complexité des grands référentiels, le manque de fiabilité de l’IA et un problème continu et un problème continu où l’IA refuse d’utiliser « une connaissance ou un contexte tacite important ».

Aussi: Comment les agents de codage de l’IA pourraient détruire les logiciels open source

Je dirais que deux autres facteurs pourraient avoir une efficacité limitée:

Choix de problème: Les développeurs ont été informés des problèmes sur lesquels ils devaient utiliser une aide d’IA et quels problèmes ils ne pouvaient pas. Mon expérience suggère que les développeurs compétents doivent choisir où utiliser l’IA en fonction du problème qui doit être résolu. Dans mon cas, par exemple, obtenir l’IA pour écrire une expression régulière (quelque chose que je n’aime pas faire et je suis assez merdique) me ferait gagner beaucoup plus de temps que d’amener l’IA à modifier le code unique que j’ai déjà écrit, de travailler régulièrement et de savoir à l’intérieur et à l’extérieur.

Choix de l’IA: Selon le rapport, les développeurs ont utilisé le curseur, une fourche centrée sur l’IA de code vs, qui a utilisé Claude 3.5 / 3.7 Sonnet à l’époque. Quand J’ai testé 3,5 sonnetles résultats ont été terribles, le sonnet échouant à trois de mes tests sur quatre. Par la suite, mes tests de Claude 4 Sonnet étaient considérablement meilleurs. METR a indiqué que les développeurs ont rejeté plus de 65% du code généré par l’IA. Cela va prendre du temps.

Cette fois où Chatgpt a suggéré de nuer mon système

Les résultats des METR sont intéressants. L’IA est clairement une épée à double tranchant en ce qui concerne l’aide de codage. Mais il ne fait aucun doute que l’IA peut fournir une valeur considérable aux codeurs. Si quoi que ce soit, je pense que ce test prouve à nouveau l’affirmation selon laquelle l’IA est un excellent outil pour les programmeurs expérimentés, mais une ressource potentielle à haut risque pour les débutants.

Aussi: Pourquoi je passe à VS Code. Astuce: tout est question d’intégration d’outils IA

Regardons un exemple concret, qui aurait pu me coûter beaucoup de temps et de problèmes si je suivais Les conseils de Chatgpt.

Je configurais un conteneur Docker sur mon laboratoire domestique à l’aide de Portainer (un outil qui aide à gérer les conteneurs Docker). Pour une raison quelconque, Portainer ne permettrait pas au bouton de déploiement de créer le conteneur.

Cela avait été une longue journée, donc je n’ai pas vu le problème évident. Au lieu de cela, j’ai demandé à Chatgpt. J’ai nourri des captures d’écran ChatGPT de la configuration, ainsi que mon fichier de configuration Docker.

Chatgpt m’a recommandé de désinstaller et de réinstaller Portainer. Il m’a également suggéré de supprimer docker du Distro linux et utilisez le gestionnaire de packages pour le réinstaller. Ces actions auraient eu pour effet de tuer tous mes conteneurs.

Il convient de noter que Chatgpt ne recommandait pas ou ne me demandait pas si j’avais des sauvegardes des conteneurs. Il m’a juste donné les séquences de ligne de commande qu’il a recommandées de couper et de coller pour supprimer et reconstruire Portainer et Docker. Ce fut une recommandation extrêmement destructrice et irresponsable.

L’ironie est que Chatgpt n’a jamais compris pourquoi Portainener ne me laisserait pas déployer le nouveau conteneur, mais je l’ai fait. Il s’avère que je n’ai jamais rempli le champ de nom du conteneur. C’est ça.

Aussi: Qu’est-ce que le codage AI de l’ambiance? C’est toute la rage mais ce n’est pas pour tout le monde – voici pourquoi

Parce que je suis assez expérimenté, j’ai hésité lorsque Chatgpt m’a dit de nucaire mon installation. Cependant, quelqu’un qui s’appuie sur l’IA pour obtenir des conseils aurait pu potentiellement réduire un serveur entier faute de saisir un nom de conteneur.

La solution de marteau: une métaphore pour les ratés de l’IA

Pour illustrer l’absurdité possible avec la logique de l’IA, voici une analogie que j’ai écrite après une session particulièrement frustrante. Dans cette petite histoire, j’imagine que j’utilise Chatgpt pour me conseiller sur la façon d’installer une fenêtre de chambre, au lieu d’un système informatique.

Salut, chatppt. J’ai des problèmes à aligner la fenêtre de ma nouvelle chambre dans le cadre de la fenêtre. Pouvez-vous aider?

Bien sûr. Je m’efforcerai de vous aider à aligner votre fenêtre dans le cadre de la fenêtre. Avez-vous un marteau?

Un marteau?

Oui, si vous appuyez sur le coin du cadre de la fenêtre avec un marteau, il distribuera la force sur le cadre de la fenêtre et réglera la fenêtre dans le cadre.

Mais un marteau n’est-il pas susceptible de briser les fenêtres?

Non, le marteau a une surface plus grande, ce qui vous permettra d’aligner correctement la fenêtre dans le cadre de la fenêtre. Frappez-le à la légère.

À quelle légère? Et où dois-je le frapper?

Appuyez simplement sur la fenêtre avec la tête du marteau au point où la fenêtre n’est pas alignée.

Mais que se passe-t-il si je viens de retirer la fenêtre du cadre et de le remettre?

Cela impliquerait plus de marches que de frapper le coin de la fenêtre avec le marteau. Fais-moi confiance. Je connais ces choses. Un petit robinet le fera, et vous pouvez vous épargner le travail de retirer et de remettre la fenêtre.

D’accord, voilà.

Vous pouvez le faire.

Euh, la fenêtre entière se brise. Je vous ai dit que le marteau était une mauvaise idée.

Mes excuses. J’ai reconsidéré vos questions et vous avez raison. L’idée d’utiliser un marteau a été mal avisée. Je vous recommande de supprimer la fenêtre et de le réinstaller avec soin.

Mais je ne peux pas faire ça maintenant parce que vous avez recommandé d’utiliser un marteau, et maintenant la fenêtre est cassée.

Je suis vraiment désolé. Souhaitez-vous que je recommande des vendeurs de fenêtres?

Et c’est ce que ça fait parfois lorsque vous travaillez avec ChatGpt pour résoudre des problèmes de codage et informatiques. Il y arrive, mais pas toujours de la bonne façon.

AIS trop confiant et sous-informé: un combo dangereux

J’ai également connu l’IA qui allait complètement hors des rails. Je l’ai expérimenté en donnant des conseils non seulement complètement inutiles, mais également présentés avec la confiance apparente d’un expert.

Aussi: L’agent de codage Jules AI de Google a construit une nouvelle fonctionnalité que je pouvais réellement expédier – pendant que je faisais du café

Si vous allez utiliser des outils d’IA pour soutenir votre développement ou qu’il fonctionne, ces conseils pourraient vous empêcher de problèmes:

1. S’il n’y a pas beaucoup d’informations accessibles au public, l’IA ne peut pas aider. Mais l’IA inventera des trucs en fonction du peu qu’il sait, sans admettre qu’il manque d’expérience.
2. Comme mon chien, une fois que l’IA est obsédé par une chose, elle refuse souvent de regarder des alternatives. Si l’IA est coincée sur une approche, ne faites pas l’erreur de croire que ses recommandations polies sur une nouvelle approche sont réelles. Il descend toujours le même trou de lapin. Démarrer une nouvelle session.
3. Si vous ne savez pas grand-chose, ne comptez pas sur l’IA. Continuez votre apprentissage. Les développeurs expérimentés peuvent faire la différence entre ce qui fonctionnera et ce qui ne fonctionnera pas. Mais si vous essayez de mettre tout le codage à l’arrière de l’IA, vous ne saurez pas quand ni où il va mal ni comment le réparer.
4. Les codeurs utilisent souvent des outils spécifiques pour des tâches spécifiques. Un site Web peut être construit à l’aide de Python, CSS, HTML, JavaScript, Flask et Jinja. Vous choisissez chaque outil parce que vous savez ce qu’il fait bien. Choisissez vos outils d’IA de la même manière. Par exemple, je n’utilise pas l’IA pour la logique des affaires, mais je gagne en productivité en utilisant l’IA pour rédiger des appels d’API et des connaissances publiques, où cela peut me faire gagner beaucoup de temps.
5. Testez tout ce qu’une AI produit. Tout. Ligne par ligne individuelle. L’IA peut économiser une tonne de temps, mais elle peut également commettre d’énormes erreurs. Oui, prendre le temps et l’énergie pour tester à la main peuvent aider à prévenir les erreurs. Si l’IA propose d’écrire des tests unitaires, laissez-le. Mais testez les tests.

En fonction de votre niveau d’expérience, voici comment je vous recommande de penser à l’assistance de l’IA:

• Si vous ne savez rien d’un sujet ou d’une compétence: L’IA peut vous aider à passer comme si vous le faites, mais cela pourrait être incroyablement mauvais, et vous ne le savez peut-être pas.
• Si vous êtes un expert dans une matière ou une compétence: L’IA peut vous aider, mais cela vous fait chier. Votre expertise s’utilise non seulement pour séparer le Stupide AI de l’AI, mais aussi pour fabriquer soigneusement un chemin où l’IA peut réellement aider.
• Si vous êtes entre les deux: L’IA est un sac mixte. Cela pourrait vous aider ou vous causer des ennuis. Ne déléguez pas votre renforcement des compétences à l’IA car cela pourrait vous laisser derrière vous.

Aussi: Comment j’ai utilisé Chatgpt pour analyser, déboguer et réécrire un plugin cassé à partir de zéro – en une heure

L’IA générative peut être une excellente aide pour les développeurs expérimentés et les professionnels informatiques, en particulier lorsqu’ils sont utilisés pour des tâches ciblées et bien compris. Mais sa confiance peut être trompeuse et dangereuse.

L’IA peut être utile, mais revérifiez toujours son travail.

Avez-vous utilisé des outils d’IA comme Chatgpt ou Claude pour vous aider avec votre développement ou cela fonctionne? Ont-ils accéléré les choses ou ont presque fait exploser les choses? Êtes-vous plus confiant ou plus prudent lorsque vous utilisez l’IA sur des systèmes critiques? Avez-vous trouvé des cas d’utilisation spécifiques où l’IA brille vraiment, ou où il échoue hilarant? Faites-nous savoir dans les commentaires ci-dessous.

Vous pouvez suivre mes mises à jour quotidiennes de projet sur les réseaux sociaux. Assurez-vous de vous abonner à ma newsletter hebdomadaire de mise à jouret suivez-moi sur Twitter / X à @Davidgewirtzsur Facebook à Facebook.com/davidgewirtzsur Instagram à Instagram.com/davidgewirtzsur bluesky à @ Davidgewirtz.comet sur youtube à Youtube.com/davidgewirtztv.