Un mélange agentique d’experts pour DevOps avec Sunil Mallya

Aujourd’hui, nous sommes rejoints par Sunil Mallya, CTO et co-fondateur de Flip AI. Nous discutons du système de débogage incident de FLIP pour DevOps, qui a été construit à l’aide d’un modèle de langage de grand langage (MOE) personnalisé (LLM) formé sur un nouveau jeu de données d’observabilité « Comelt » qui combine des données de fusion traditionnelles – les métcriques, les événements, les journaux et les traces – avec le code pour identifier efficacement les données de défaillance des racines dans les systèmes logiciels complexes. Nous discutons des défis de l’intégration des données de séries chronologiques avec les LLM et de leur architecture multi-décodeur conçue à cet effet. Sunil décrit la conception basée sur les agents de leur système, en se concentrant sur des rôles et des limites clairs pour assurer la fiabilité. Nous examinons leur «gymnase du chaos», un environnement d’apprentissage de renforcement utilisé pour tester et améliorer la robustesse du système. Enfin, nous discutons des considérations pratiques de déploiement d’un tel système à grande échelle dans divers environnements et bien plus encore.