Olmo: Tout ce dont vous avez besoin pour former un LLM open source avec Akshita Bhagia

Aujourd’hui, nous sommes rejoints par Akshita Bhagia, ingénieur de recherche principal à l’Institut Allen pour l’IA. Akshita nous rejoint pour discuter d’Olmo, un nouveau modèle de langue open source avec 7 milliards et 1 milliard de variantes, mais avec une différence clé par rapport aux modèles similaires offerts par Meta, Mistral et autres. À savoir, le fait que AI2 a également publié l’ensemble de données et les outils clés utilisés pour former le modèle. Dans notre conversation avec Akshita, nous fouillons dans les modèles OLMO et les divers projets tombant sous le parapluie Olmo, y compris Dolma, un corpus ouvert de trois milliards pour la pré-formation du modèle de langue, et Paloma, une référence et un outillage pour évaluer les performances du modèle de langue dans une variété de domaines.