(P) L’API du lot Gemini est rentable mais notoirement difficile à utiliser. Construit quelque chose pour le rendre facile

Recherchez le projet de conservateur BespokeLabs sur GitHub

Gemini a de très bons modèles, mais l’interface API et la documentation sont .. que puis-je dire! Voici les étapes fastidieuses à suivre pour que le lot travaille avec Gemini pour une remise de 50%:

1. Créer des fichiers de demande au format JSONL (doit suivre la structure de demande de Gemini!).
2. Téléchargez ce fichier dans un seau GCP et obtenez l’URL de stockage cloud (et gardez une trace de cela).
3. Créez un travail de prédiction par lots sur Vertex AI avec la même URL de stockage cloud.
4. Les demandes divisées dépassant 150k, répétant les étapes 1 et 2 pour chaque lot.
5. Interrogation manuelle de l’état de Vertex à l’aide d’ID de lots (se complique lorsque plusieurs fichiers de lots sont téléchargés).
6. Persistez les réponses manuellement pour la mise en cache de base. 😵‍💫

C’est trop. Utilisez simplement le conservateur sur github avec un lot = true. Essayez-le