Construire des produits LLM du monde réel avec un réglage fin et plus avec Hamel Husain

Aujourd’hui, nous sommes rejoints par Hamel Husain, fondatrice de Parlsance Labs, pour discuter des tenants et aboutissants de la construction de produits du monde réel à l’aide de modèles de grande langue (LLM). Nous lançons les choses en discutant de nouvelles applications de LLM et de la façon de penser aux expériences des utilisateurs d’IA modernes. Nous fouillons ensuite dans le principal défi rencontré par les développeurs LLM – comment itérer d’une démo snazzy ou d’une preuve de concept à une application basée sur LLM. Nous discutons des avantages, des inconvénients et du rôle des LLM à réglage fin et fouillons quand utiliser cette technique. Nous couvrons le processus de réglage fin, les pièges courants dans l’évaluation, tels que compter trop sur des outils génériques et manquer les nuances de cas d’utilisation spécifiques, les outils de réglage fin de l’Open-source LLM comme l’axolotl, l’utilisation des adaptateurs LORA, et plus encore. Hamel partage également des informations sur les cadres d’optimisation et d’inférence du modèle et comment les développeurs devraient aborder ces outils. Enfin, nous fouillons comment utiliser les techniques d’évaluation systématiques pour guider l’amélioration de votre application LLM, l’importance de la génération et de la conservation des données et des parallèles avec les pratiques traditionnelles d’ingénierie logicielle.