Appel Asynchrone LLM, utilisant le SDK OpenAI et Gemini 2.0 Flash
- Intelligence Artificielle
Noesis News- 0
- 4 minutes de lecture
Auteur (s): Hadi Rouhani
Publié à l’origine sur Vers l’IA.
– une approche universelle en appelant LLMS de différentes marques
Cette histoire réservée aux membres est sur nous. Mettre à niveau pour accéder à tout le milieu.
Hadi Rouhani
·
S’abonner
Publié dans
Vers l’IA
· 5 min Read · Il y a 17 heures
19
Écouter
Partager
Plus
Vous cherchez à masquer les faits saillants? Vous pouvez maintenant les cacher au menu «•••».
D’accord, je l’ai
Accès au référentiel GitHub: lien
J’ai travaillé sur une application de production qui utilise GPT-4O pour générer des résumés à partir d’un système de chiffon. Les parties prenantes ont demandé à tester Gemini 2.0 Flash pour comparer les réponses et évaluer les commentaires des utilisateurs. Cela m’a amené à réaliser la nécessité d’une approche universelle à une époque de multiple LLM Apis. J’ai découvert que le SDK Openai Python prend en charge la plupart des API LLM, vous permettant de spécifier l’URL de base de l’API souhaitée. Cette flexibilité optimise considérablement la fonctionnalité principale des applications.
Pour mon cas d’utilisation, le service backend reposait entièrement sur Azure Openai et d’autres ressources Azure, telles que Azure AI Search et COSMOSDB. Nous avions besoin d’une solution pour passer en douceur le modèle de génération de l’OpenAI à l’API Gemini de Google (ou API Vertex AI pour une utilisation d’entreprise).
Dans cet article, je vous marche étape par étape, comment basculer de manière transparente entre les modèles en utilisant uniquement la bibliothèque SDK Openai à Python.
Quelques avantages de cette approche:
Moins de bibliothèques de dépendances à installer (pensez à cette application Docker Container légère!) Commutation entre les modèles… Lisez le blog complet gratuitement sur Medium.
Publié via Vers l’IA
