Modèles et middleware pour les applications LLM avec Kyle Roche

Aujourd’hui, nous sommes rejoints par Kyle Roche, fondateur et PDG de GripTape pour discuter des modèles et du middleware pour les applications LLM. Nous plongeons dans les modèles émergents pour développer des applications LLM, telles que les données invites.–qui permet la récupération des données sans compromettre la chaîne de pensée dans les modèles de langue–et les pipelines, qui sont des tâches séquentielles qui sont données aux LLM qui peuvent impliquer différents modèles pour chaque tâche ou étape dans le pipeline. Nous explorons également GripTape, une pile middleware open-source et basée sur Python qui vise à connecter en toute sécurité les applications LLM aux systèmes de données internes et externes d’une organisation. Nous discutons des abstractions qu’il offre, y compris les pilotes, la gestion de la mémoire, les ensembles de règles, les workflows basés sur DAG et une pile rapide. De plus, nous abordons les préoccupations courantes des clients telles que les problèmes de confidentialité, de recyclage et de souveraineté, et plusieurs cas d’utilisation qui tirent parti des méthodes de récupération basées sur les rôles pour optimiser les tâches d’augmentation humaine.