Évolution des plates-formes Mlops pour une IA et des agents génératifs avec Abhijit Bose

Aujourd’hui, nous sommes rejoints par Abhijit Bose, responsable des plates-formes d’IA et ML d’entreprise chez Capital One pour discuter de l’évolution de l’approche de l’entreprise et des idées sur les meilleures pratiques de l’IA et de la plate-forme génératrices. Dans cet épisode, nous fouillons dans l’approche centrée sur la plate-forme de l’entreprise de l’IA, et comment ils ont évolué leurs Mlops et plateformes de données existants pour soutenir les nouveaux défis et opportunités présentés par les charges de travail et les agents d’IA génératrices. Nous explorons leur utilisation de l’infrastructure basée sur le cloud – dans ce cas sur AWS – pour fournir une base sur laquelle ils superposent des services et outils open-source et propriétaires. Nous couvrons leur utilisation de LLAMA 3 et des modèles ouverts, leur approche de la réglage fin, leur outillage d’observabilité pour les applications Gen AI, leur utilisation de techniques d’optimisation d’inférence comme la quantification, etc. Enfin, Abhijit partage l’avenir des flux de travail agentiques dans l’entreprise, l’application du raisonnement de style Openai O1 dans les modèles et les nouveaux rôles et compétences nécessaires dans le paysage Genai évolutif.