Building Applications basées sur LLM avec Azure Openai avec Jay Emery

Aujourd’hui, nous sommes rejoints par Jay Emery, directeur des ventes techniques et de l’architecture chez Microsoft Azure. Dans notre conversation avec Jay, nous discutons des défis rencontrés par les organisations lors de la création d’applications basées sur LLM, et nous explorons certaines des techniques qu’ils utilisent pour les surmonter. Nous plongeons dans les préoccupations concernant la sécurité, la confidentialité des données, la gestion des coûts et les performances ainsi que la capacité et l’efficacité de l’incitation à atteindre les résultats souhaités par rapport à un réglage fin, et lorsque chaque approche doit être appliquée. Nous couvrons des méthodes telles que le réglage rapide et le chaînage rapide, la variance rapide, le réglage fin et le chiffon pour améliorer la sortie LLM ainsi que des moyens d’accélérer les performances d’inférence telles que le choix du bon modèle, de la parallélisation et des unités de débit provisionnées (PTU). En plus de cela, Jay a également partagé plusieurs cas d’utilisation intrigants décrivant comment les entreprises utilisent des outils tels que le flux d’invite d’apprentissage automatique Azure et le studio Azure ML AI pour adapter les LLM à leurs besoins et processus uniques.