L’avenir du développement de LLM est open source

Image de l’éditeur | Chatte

# Introduction

L’avenir des modèles de grande langue (LLMS) ne sera pas dicté par une poignée de laboratoires d’entreprise. Il sera façonné par des milliers d’esprit à travers le monde, itérant en plein air, repoussant les limites sans attendre l’approbation de la salle de conférence. Le Le mouvement open source a déjà montré qu’il peut suivre le rythmeet dans certaines régions, même dépasser, ses homologues propriétaires. En profondeurn’importe qui?

Ce qui a commencé comme un filet de poids divulgués et de constructions amateurs est maintenant un courant rugissant: des organisations comme Visage étreint, Mistralet Eleutherai prouvent que la décentralisation ne signifie pas le trouble – cela signifie l’accélération. Nous entrons dans une phase où l’ouverture équivaut à la puissance. Les murs descendent. Et ceux qui insistent sur les portes fermées peuvent se retrouver à défendre les châteaux qui pourraient s’effondrer facilement.

# Les LLMS open source ne se rattrapent pas, ils gagnent

Regardez au-delà de la brillance marketing des sociétés de milliards de dollars et vous verrez une autre histoire se dérouler. Lama 2, Mistral 7b, et mixtral surpassent les attentesfrappant au-dessus de leur poids contre les modèles fermés qui nécessitent des amplitudes plus de paramètres et de calcul. L’innovation open source n’est plus réactionnaire – elle est proactive.

Les raisons sont structurelles, en particulier Parce que les LLMS propriétaires sont paralysés par la gestion des risques d’entrepriseRoude scolaire légale et une culture du perfectionnisme. Projets open source? Ils expédient. Ils itéèrent rapidement, ils cassent les choses et ils reconstruisent mieux. Ils peuvent crowdsource à la fois l’expérimentation et la validation d’une manière qu’aucune équipe interne ne pouvait reproduire à grande échelle. Un seul thread Reddit peut faire surface de bugs, découvrir des invites intelligentes et exposer les vulnérabilités dans les heures suivant une version.

Ajoutez à cela l’écosystème émergent des contributeurs – des développeurs de fonctions de réglage sur les données personnelles, des chercheurs construisant des suites d’évaluation, des ingénieurs élaborant des temps d’exécution d’inférence – et ce que vous obtenez est un moteur de progression vivante et respirant. De façon, L’IA fermée sera toujours réactive. L’IA ouvert est vivante.

# La décentralisation ne signifie pas le chaos – cela signifie le contrôle

Les critiques adorent encadrer le développement de LLM open-source en tant que Far West, débordant de risques d’abus. Ce qu’ils ignorent, c’est que l’ouverture ne nie pas la responsabilité – elle le permet. La transparence favorise l’examen. Les fourches introduisent une spécialisation. Les garde-corps peuvent être testés ouvertement, débattus et améliorés. La communauté devient à la fois l’innovateur et le chien de garde.

Comparez qu’avec le modèle opaque, les versions de sociétés fermées, où les audits de biais sont internes, les méthodes de sécurité sont secrètes et les détails critiques sont expurgés sous des prétextes «responsables de l’IA». Le monde open-source peut être plus désordonné, Mais c’est aussi beaucoup plus démocratique et accessible. Il reconnaît que le pouvoir sur le langage – et donc la pensée – ne devrait pas être consolidé entre les mains de quelques PDG de la Silicon Valley.

Les LLM ouvertes peuvent également autonomiser les organisations qui auraient autrement été verrouillées – des startups, des chercheurs des pays à faibles ressources, des éducateurs et des artistes. Avec les bons poids de modèle et une certaine créativité, vous pouvez désormais créer votre propre assistant, tuteur, analyste ou copilote, qu’il s’agisse d’écrire du code, d’automatiser les workflows ou d’améliorer Kubernetes Clusters, sans frais de licence ni limites API. Ce n’est pas un accident. C’est un changement de paradigme.

# L’alignement et la sécurité ne seront pas résolus dans les salles de conférence

L’un des arguments les plus persistants contre les LLM ouverts est la sécurité, en particulier les préoccupations concernant l’alignement, l’hallucination et l’utilisation abusive. Mais voici la dure vérité: ces problèmes affligent les modèles fermés tout autant, sinon plus. En fait, le verrouillage du code derrière un pare-feu n’empêche pas une mauvaise utilisation. Cela empêche la compréhension.

Les modèles ouverts permettent une expérimentation réelle et décentralisée dans les techniques d’alignement. Équipe rouge dirigée par la communauté, RLHF provenant de la foule (apprentissage du renforcement des commentaires humains)et la recherche d’interprétabilité distribuée est déjà florissante. L’open source invite plus d’yeux sur le problème, plus de diversité de perspectives et plus de chances de découvrir des techniques qui se généralisent réellement.

De plus, le développement ouvert permet un alignement sur mesure. Toutes les communautés ou groupes de langues n’ont pas besoin des mêmes préférences de sécurité. Un «Guardian AI» d’une taille unique d’une société américaine ne sera inévitablement pas en deçà lors du déploiement à l’échelle mondiale. Alignement local fait de manière transparente, avec des nuances culturelles, nécessite un accès. Et l’accès commence par l’ouverture.

# L’incitation économique change également

L’élan open source n’est pas seulement idéologique – c’est économique. Les entreprises qui se penchent sur les LLM ouvertes commencent à surpasser ceux qui gardent leurs modèles comme les secrets commerciaux. Pourquoi? Parce que les écosystèmes battent les monopoles. Un modèle sur lequel d’autres peuvent s’appuyer rapidement devient rapidement la valeur par défaut. Et dans l’IA, être la valeur par défaut signifie tout.

Regardez ce qui s’est passé avec Pytorch, Tensorflow, et Bibliothèque Transformers de l’étreinte. Les outils les plus adoptés dans l’IA sont ceux qui ont adopté tôt l’éthique open source. Maintenant, nous voyons la même tendance se dérouler avec les modèles de base: les développeurs veulent l’accès, pas les API. Ils veulent une modification, pas des conditions d’utilisation.

De plus, Le coût du développement d’un modèle fondamental a considérablement baissé. Avec des points de contrôle ouverts, des bootstraps de données synthétiques et des pipelines d’inférence quantifiés, même les entreprises de taille moyenne peuvent former ou affiner leur propre LLMS. Le fossé économique que Big IA appréciait autrefois se tarit – et ils le savent.

# Quelle grande IA se trompe sur l’avenir

Les géants de la technologie croient toujours que la marque, le calcul et le capital les porteront à la domination de l’IA. Meta pourrait être la seule exception, avec son modèle Llama 3 restant toujours open source. Mais la valeur dérive en amont. Il ne s’agit plus de savoir qui construit le plus grand modèle – il s’agit de savoir qui construit le plus utilisable. La flexibilité, la vitesse et l’accessibilité sont les nouveaux champs de bataille, et les victoires open source sur tous les fronts.

Regardez simplement à quelle vitesse la communauté ouverte implémente les innovations liées au modèle de langue: Flashattention, Lora, QloraMélange de routage des experts (MOE) – chacun adopté et réimplémenté en quelques semaines ou même jours. Les laboratoires propriétaires peuvent à peine publier des articles avant que Github ne dispose d’une douzaine de fourches sur un seul GPU. Cette agilité n’est pas seulement impressionnante – elle est imbattable à grande échelle.

L’approche propriétaire suppose que les utilisateurs veulent de la magie. L’approche ouverte suppose que les utilisateurs souhaitent une agence. Et à mesure que les développeurs, les chercheurs et les entreprises mûrissent dans leurs cas d’utilisation de LLM, ils gravitnt vers des modèles qu’ils peuvent comprendre, façonner et déployer de manière indépendante. Si une grande IA ne pivote pas, ce ne sera pas parce qu’ils n’étaient pas assez intelligents. Ce sera parce qu’ils étaient trop arrogants pour écouter.

# Réflexions finales

La marée a tourné. Les LLMS open source ne sont plus une expérience marginale. Ils sont une force centrale qui façonne la trajectoire de la langue AI. Et comme les obstacles à l’entrée tombent – des pipelines de données à l’infrastructure de formation en passant par les piles de déploiement – plus de voix se joindront à la conversation, d’autres problèmes seront résolus en public et plus d’innovation se produira lorsque chacun peut le voir.

Cela ne signifie pas que nous abandonnerons tous les modèles fermés. Mais cela signifie qu’ils devront prouver leur valeur dans un monde où des concurrents ouverts existent – et surpassent souvent. L’ancien défaut de secret et de contrôle s’effondre. À sa place se trouve un réseau mondial dynamique de bricoles, de chercheurs, d’ingénieurs et d’artistes qui croient que la véritable intelligence devrait être partagée.

Nahla Davies est un développeur de logiciels et un écrivain technologique. Avant de consacrer son travail à plein temps à l’écriture technique, elle a géré – parmi d’autres choses intrigantes – pour servir de programmeur principal dans une organisation de marque expérientielle de 5 000 5 000 personnes dont les clients incluent Samsung, Time Warner, Netflix et Sony.