Les outils de codage d’IA peuvent ralentir les développeurs chevronnés de 19%

«Le ralentissement de 19% observé parmi les développeurs expérimentés n’est pas un acte d’accusation de l’IA dans son ensemble, mais un reflet de la frottement du monde réel de l’intégration des suggestions probabilistes dans les flux de travail déterministes», a expliqué Gogia, soulignant que la mesure ne devrait pas inclure de «reprise en aval, de baisse de code et de révision des pairs – pas de temps à code».

Preuves plus larges de l’industrie

Les résultats de METR s’alignent sur les tendances concernant l’identification de Google 2024 DevOps Research and Assessment (Dora) Rapport, sur la base des réponses de plus de 39 000 professionnels. Alors que 75% des développeurs ont déclaré se sentir plus productifs avec des outils d’IA, les données racontent une histoire différente: chaque augmentation de 25% de l’adoption de l’IA a montré une baisse de 1,5% de la vitesse de livraison et une baisse de 7,2% de la stabilité du système. De plus, 39% des répondants ont déclaré avoir peu ou pas de confiance dans le code généré par l’IA.

Ces résultats contredisent des études optimistes antérieures. Recherche de MIT, Princeton et Université de Pennsylvanieanalysant les données de plus de 4 800 développeurs de Microsoft, Accenture, et une autre société Fortune 100, ont constaté que les développeurs utilisant Github Copilot ont effectué 26% de tâches supplémentaires en moyenne. Une expérience contrôlée séparée a révélé que les développeurs ont terminé les tâches de codage 55,8% plus rapidement avec le copilote GitHub. Cependant, ces études utilisaient généralement des tâches plus simples et plus isolées par rapport aux scénarios complexes du monde réel examinés dans la recherche METR.