Comment la réservation.com mesure l’impact de l’IA sur la productivité des développeurs

En tant que nom établi dans les voyages en ligne, Booking.com a longtemps maintenu sa position de leader mondial – ils attirent plus de 500 millions de visiteurs par mois et plus d’un milliard de réservations annuelles. Mais maintenir leur position sur le marché à l’avenir, dans l’industrie du voyage de plus en plus rapide, a nécessité le leadership de Booking.com pour viser son attention vers l’accélération de leur rythme de livraison de logiciels et d’innovation. Pour aider à y parvenir, l’entreprise se penche fortement pour déployer l’IA dans ses 3 500 ingénieurs.

«Nous sommes très enthousiasmés par Genai, car il a le potentiel de multiplier l’impact de notre organisation d’ingénierie», explique Amos Haviv de l’équipe d’expérience du développeur de Booking.com. «Notre vision est de donner à chaque développeur l’équivalent d’un ingénieur senior assis à côté d’eux pour jumeler les problèmes du programme et de résoudre les problèmes», ajoute Bruno Passos, chef de produit de groupe de l’équipe responsable de la lance de leurs efforts d’IA.

Défis précoces avec l’adoption de l’IA

Lorsque Booking.com a commencé à déployer des assistants de code d’IA pour les développeurs, ils ont été confrontés à des défis en raison des attentes différentes des cadres et des développeurs. En raison de l’immense battage médiatique autour de l’IA, certains cadres avaient des espoirs élevés pour ce qui pourrait être réalisé, tandis que les développeurs exprimaient le scepticisme envers la véritable utilité de ces outils.

«Le monde entier parlait de l’IA, et les chiffres que nous entendions étaient astronomiques: les affirmations de centaines de milliers d’heures économisées pour les développeurs», partage Passos. « Mais rien n’était de le soutenir. Donc, notre objectif initial était simplement de comprendre ce que Genai pouvait réellement faire pour nous et de trouver un moyen de mesurer la valeur qu’elle offrait à l’organisation. »

En plus de mesurer le véritable impact du Genai sur le développement, Booking.com avait également besoin de données pour guider les décisions clés concernant les évaluations des fournisseurs, ainsi que pour concentrer ses efforts de formation et d’activation pour stimuler l’adoption réussie.

«Nous devions comprendre comment l’IA a affecté la vitesse d’ingénierie, la satisfaction et la qualité du code», explique Passos. « Sans cette perspicacité, nous ne serions pas en mesure de parler en toute confiance du retour sur investissement de l’investissement de la réservation dans l’IA avec le reste de l’entreprise. Nous ne saurions pas non plus si nous devrions conduire plus d’adoption pour un outil ou un cas d’utilisation spécifique. »

Implémentation d’une approche basée sur les données

Pour mesurer l’adoption et l’impact des outils d’IA, Booking.com s’est associé à Dxune plate-forme d’intelligence des développeurs conçue par des chercheurs de premier plan. En utilisant DX, l’équipe de Passos a rapidement pu commencer à quantifier l’impact que les assistants du code AI avaient dans leurs équipes de développement de logiciels.

Leurs résultats comprenaient:

• Les développeurs qui ont utilisé AI Daily avaient 16% de débit de code plus élevé que ceux qui ne l’ont pas fait.
• Les utilisateurs de l’IA gagnaient du temps sur les tâches de routine, ce qui leur permet de se concentrer sur le travail de plus grande valeur.
• La satisfaction des développeurs à l’égard de l’outillage de l’IA avait augmenté de 15 points au cours des six mois précédents, grâce aux efforts de l’activation interne.

Les résultats ci-dessus ont été dérivés des données qualitatives et quantitatives collectées via la plate-forme DX. En combinant des signaux directs des développeurs, ainsi que des analyses longitudinales et transversales de plusieurs signaux de productivité, l’équipe de Passos a acquis une vision approfondie de l’état actuel de l’impact de l’IA à travers l’organisation.

Zane Wright, chef de produit senior, partage: «Nous avons pu utiliser des données pour prendre des décisions tactiques et stratégiques sur l’endroit où investir davantage dans notre programme Genai. Des décisions comme les fournisseurs que nous devrions aller, où nous devrions regarder plus loin pour évaluer un impact plus approfondi sur notre entreprise et comment nous devons structurer nos programmes pour avoir le meilleur impact sur les développeurs en avance.»

Un aperçu qui a surpris l’équipe de Passos: un grand nombre de développeurs hésitaient toujours à adopter des outils d’IA en raison du scepticisme et de la confusion. Pour y remédier, d’autres investissements dans l’activation des développeurs étaient nécessaires. «Nous avons réalisé que l’éducation serait tout aussi importante pour accroître l’adoption que des améliorations à la technologie elle-même», partage Passos.

Aller au-delà de l’adoption initiale

Armé de données montrant l’impact positif de l’IA sur la productivité des développeurs, l’équipe de Passos a fixé son objectif sur la conduite vers une adoption à 100%, ainsi que pour trouver des moyens d’encourager les développeurs à intégrer plus fréquemment des outils d’IA dans leur travail.

«Les données de DX nous ont montré que les développeurs étaient plus efficaces s’ils utilisaient une IA quotidiennement, ou au moins douze jours par mois. Nous avons donc mis en mission pour comprendre comment conduire non seulement l’adoption, mais aussi un usage quotidien généralisé», explique Passos.

Avec cet objectif à l’esprit, Booking.com a mis en œuvre plusieurs stratégies:

Segmentation et sensibilisation ciblée: L’équipe utilise DX pour identifier quels segments de développeurs obtiennent plus ou moins de valeur des outils d’IA. «Nous avons trouvé des données de segmentation particulièrement utiles pour conduire l’adoption de l’IA», explique Bailey Stewart, ingénieur logiciel principal. «Cela nous dit quelles communautés de la réservation n’ont pas trouvé autant de valeur dans les outils Genai. Ensuite, nous les contactons pour déterminer ce que nous pouvons faire pour les aider à trouver plus de valeur.»

Éducation et expériences pratiques: La société organise une série d’événements de deux jours où le premier jour se concentre sur l’éducation Genai (LLMS, les techniques d’incitation et la manipulation du contexte) et le deuxième jour se concentre sur l’application de ces techniques pour résoudre de vrais problèmes. «Nous prenons un problème commercial dans une unité commerciale spécifique et essayons de le résoudre avec Genai en faisant appel à des experts internes et externes», explique Passos.

Communication continue: L’équipe partage régulièrement des mises à jour sur les nouvelles fonctionnalités et capacités de l’IA grâce à un contenu interne. «Chaque fois que nous avons mis à jour notre assistant de codage AI avec de nouvelles fonctionnalités, nous publions et communiquons ce que les développeurs peuvent maintenant faire», explique Passos. «Par exemple, au départ, nous ne pouvions utiliser qu’un seul LLM; maintenant les développeurs peuvent utiliser plusieurs LLM en fonction de leur tâche spécifique. Chaque fois que nous faisons un changement comme celui-ci, nous le communiquons en interne au reste de l’organisation.»

Heures de bureau et formation: L’équipe accueille des heures de bureau régulières où les développeurs peuvent obtenir de l’aide avec les outils d’IA et apprendre les meilleures pratiques. «Nous avons maintenant près de 100% de nos développeurs qui adoptent le Genai. Certaines des plus grandes clés pour y parvenir ont été nos heures de bureau, ainsi que la production de contenu sur la façon d’utiliser Genai: par exemple, qu’est-ce qu’un LLM, comment inviter… il y a beaucoup de contenu vidéo que nous produisons et publions régulièrement», note Passos.

Grâce à ces efforts ciblés, Booking.com constate déjà une augmentation significative de l’adoption et de l’utilisation des outils d’IA des développeurs. Cela a conduit à une augmentation supplémentaire des gains de productivité, avec des équipes entièrement adoptées montrant un débit 30% plus élevé que les équipes non adoptées.

Dans l’attente, Booking.com se concentre sur la poursuite de son cycle de vie de développement logiciel avec des outils d’IA, garantissant que l’entreprise reste compétitive dans un paysage rapide.