Drame d’huile de serpent LLM – Fastml

Au cours de la dernière année, Openai a été le principal fournisseur du drame dans le monde de l’IA. Maintenant, il y a un nouveau joueur, même si cela façonne une merveille à un coup. Voici un bref aperçu de ce qui s’est passé.

Le jeudi 5 septembre, une personne du nom de Matt Shumer annoncé qu’il avait le Top Open Source LLM du monde. Les scores de référence ont suggéré que le modèle 70b était meilleur que LLAMA 405B et à égalité avec les principaux LLM commerciaux. Comment? En utilisant « Reflectionding, une technique développée pour permettre aux LLMS de corriger leurs propres erreurs».

Si trop beau pour être de vrais scores de référence n’a pas déchaîné vos plumes, la prochaine dissonance est venue lorsque le modèle téléchargé sur Huggingface n’a pas fonctionné pour une raison mystérieuse. Matt se dépêchait d’expliquer et a dit qu’ils «recontraient» le modèle.

Oh Husbant, vous avez téléchargé les mauvais poids sur Hugging Face et maintenant nous sommes Hommeress. pic.twitter.com/ltgg7szeeq

– Sankalp (@dejavucoder) 9 septembre 2024

Ensuite, ils ont téléchargé une «nouvelle» version, apparemment formée pour trois époques au lieu de deux, et les gens ont découvert que le La nouvelle version est exactement la même que l’anciennebien que divisé en parties différemment, afin qu’il ne soit pas évident que les modèles sont les mêmes.

Diverses personnes ont tenté de reproduire les résultats de référence et ont constamment découvert que ils ne pouvaient pas.

Le modèle 70b est juste un Pire version de Llama 3 70bcomme le montrent ces images Diff.

R / Localllama: Réflexion-lama-3.1-70b est en fait LLAMA-3.

Outre les poids téléchargés, le modèle a été accessible via une API. Les résultats du modèle 70b et de l’API sont différents. En d’autres termes, le modèle téléchargé sur HF et le modèle desservant l’API sont différents.

De plus, Les gens ont découvert Que le modèle servant l’API est juste Claude avec une invite de système personnalisée. Puis Matt l’a apparemment changé en GPT-4O pour secouer les poursuivants.

Voici un Fil Twitter avec un résumé de tout cela.

Bref, apparemment, tout est faux. La question dans l’esprit des gens est pourquoi. Les réponses probables sont soit une sorte de tentative de saisir de l’argent, soit une stupidité simple, soit la pêche à la traîne, ou peut-être qu’elles n’avaient que des concepts d’un plan. Le temps nous dira probablement.

À partir de maintenant, Matt dit ils Demandez à une équipe de travailler sans relâche pour comprendre ce qui s’est passé et déterminera comment procéder une fois que nous arrivons au bas. Une fois que nous aurons tous les faits, nous continuerons d’être transparents avec la communauté sur ce qui s’est passé et les prochaines étapes.

Oui, par tous les moyens, continuer être transparent.