Alexnet, le modèle AI qui a tout commencé, publié sous forme de code source – pour que tous puissent télécharger

Il existe de nombreuses histoires sur la façon dont l’intelligence artificielle est venue prendre le contrôle du monde, mais l’un des développements les plus importants est l’émergence en 2012 d’Alexnet, un réseau neuronal qui, pour la première fois, a démontré un énorme bond dans la capacité d’un ordinateur à reconnaître les images.

Jeudi, le Musée d’histoire de l’informatique (CHM), en collaboration avec Google, publié pour la première fois le code source Alexnet écrit par l’étudiant diplômé de l’Université de Toronto, Alex Krizhevsky, le placer sur github pour que tous parcourent et téléchargent.

« CHM est fier de présenter le code source de la version 2012 d’Alex Krizhevsky, Ilya Sutskever et de Geoffery Hinton’s Alexnet, qui a transformé le domaine de l’intelligence artificielle », écrivez les organisateurs du musée Dans le fichier readme sur github.

Aussi: Openai est-il condamné? Les modèles open source peuvent l’écraser, avertit l’expert

La création de Krizhevsky conduirait à un flot d’innovation au cours des années qui ont suivi, et des tonnes de capitaux, en fonction de la preuve qu’avec des données et des calculs suffisants, les réseaux de neurones pourraient réaliser des percées précédemment considérées comme principalement théoriques.

Le code, qui pèse un peu de 200 kb dans le dossier source, combine le code Nvidia Cuda, le script Python et un peu de C ++ pour décrire comment faire une analyse de réseau neuronal convolutionnel et catégoriser les fichiers d’image.

L’historien des logiciels du musée, Hansen HSU, a passé cinq ans à négocier avec Google, qui détient les droits sur la source, pour publier le code, comme il le décrit dans son essai À propos de l’héritage de l’IA et de la façon dont Alexnet est né.

Krizhevsky était un étudiant diplômé du scientifique de l’IA lauréat du prix Nobel Geoffrey Hinton à l’époque. Un deuxième étudiant diplômé, Ilya Sutskever, qui a ensuite cofondé Openai, a exhorté Krizhevsky à poursuivre le projet. Comme HSU cite Hinton, « Ilya pensait que nous devrions le faire, Alex l’a fait fonctionner et j’ai obtenu le prix Nobel. »

Google possède la propriété intellectuelle d’Alexnet car elle a acquis Hinton, Krizhevsky et la startup de SUTSKEVER, DNNResearch.

Jusqu’à ce qu’Alexnet, Hinton et d’autres aient travaillé pendant des années pour prouver que les collections « d’apprentissage en profondeur » de neurones artificielles pouvaient apprendre des modèles dans les données.

Comme le note HSU, l’IA était devenue un remous car il n’a pas réussi à démontrer des résultats significatifs. Le réseau neuronal convolutionnel (CNN) avait montré des départs prometteurs dans l’exécution de tâches telles que la reconnaissance des chiffres manuscrits, mais il n’avait pas transformé aucune industrie jusque-là.

Aussi: Les chercheurs de l’IA gagnent le prix Turing pour la technique qui a rendu possible le triomphe d’échecs d’Alphago

Hinton et d’autres vrais croyants ont continué à travailler, à affiner la conception de réseaux de neurones, y compris les CNN, et à déterminer dans de petites expériences sur les puces GPU NVIDIA comment l’augmentation du nombre de couches de neurones artificiels pourrait théoriquement conduire à de meilleurs résultats.

Selon HSU, SUTSKEVER a eu le point de vue que le travail théorique pouvait être mis à l’échelle à un réseau neuronal beaucoup plus important avec suffisamment de puissance et de données d’entraînement.

Comme Sutskever l’a dit au co-fondateur et PDG de Nvidia, Jensen Huang, lors d’une conversation au coin du feu en 2023, il savait que la fabrication de réseaux de neurones fonctionnerait, même si cela allait à l’encontre de la sagesse conventionnelle.

« Les gens ne regardaient pas de grands réseaux de neurones » en 2012, a déclaré Sutskever à Huang. « Les gens s’entraînaient simplement sur les réseaux de neurones avec 50, 100 neurones », plutôt que sur des millions et des milliards qui sont devenus plus tard standard. Sutskever savait qu’ils avaient tort.

Aussi: Et si AI dirigeait ER Triage? Voici comment cela a accéléré les soins aux patients dans les tests du monde réel

« Ce n’était pas seulement une intuition; c’était, je dirais, un argument irréfutable, qui s’est déroulé comme ceci: si votre réseau neuronal est profond et grand, il pourrait être configuré pour résoudre une tâche difficile. »

Le trio a trouvé les données de formation dans lesquelles ils avaient besoin Imagenetqui était une nouvelle création du professeur Fei Fei Li de l’Université de Stanford à l’époque. Li avait elle-même frotté la sagesse conventionnelle dans l’enrôlement des travailleurs d’Amazon Mechanical Turk pour marquer à la main 14 millions d’images de tous les types d’objets, un ensemble de données beaucoup plus grand que n’importe quel ensemble de données de vision par ordinateur à l’époque.

« Cela semblait être un ensemble de données incroyablement difficile, mais il était clair que si nous devions former un grand réseau neuronal convolutionnel sur cet ensemble de données, cela devait réussir si nous pouvons avoir le calcul », a déclaré Sutskever en 2023.

L’informatique rapide dont ils avaient besoin s’est avérée être un ordinateur de bureau à double gpu sur lequel Krizhevsky a travaillé dans sa chambre chez ses parents.

Aussi: Qu’est-ce que Deepseek AI? Est-ce sûr? Voici tout ce que vous devez savoir

Lorsque les travaux ont été présentés au concours annuel ImageNet en septembre 2012, Alexnet a marqué près de 11 points de mieux que le concurrent le plus proche, un taux d’erreur de 15,3%. Ils ont décrit l’œuvre dans un article formel.

Yann LeCun, scientifique en chef de l’IA chez Meta Plateformes, qui avait précédemment étudié sous Hinton et avait été le pionnier de l’ingénierie CNN dans les années 1990, a proclamé Alexnet à l’époque comme un tournant.

« Il avait raison », écrit Hsu. « Avant Alexnet, presque aucun des principaux papiers de vision informatique n’a utilisé de filets neuronaux. Après cela, presque tous. »

Ce que le trio avait fait était de faire du bien sur tous les travaux théoriques sur la fabrication de réseaux de neurones « profonds » à partir de nombreuses autres couches de neurones, pour prouver qu’ils pouvaient vraiment apprendre des modèles.

« Alexnet n’était que le début », écrit HSU. « Au cours de la prochaine décennie, les réseaux de neurones avanceraient pour synthétiser des voix humaines crédibles, battre les joueurs de champion de go, modèle le langage humain et générer des œuvres d’art, culminant avec la sortie de Chatgpt en 2022 par Openai, une entreprise co-fondée par Sutskever. »

SUTSKEVER prouverait plus tard que la fabrication de réseaux de neurones pourrait entraîner des percées surprenantes. L’arrivée de Chatgpt à l’automne 2022, une autre photo entendue dans le monde, est le résultat de tous les modèles GPT 1, 2 et 3 avant lui. Ces modèles étaient tous le résultat de la foi de Sutskever dans la mise à l’échelle des réseaux de neurones à une taille sans précédent.

Aussi: Le CTO vs CMO AI Power Struggle – qui devrait vraiment être en charge?

« J’avais une très forte conviction que plus grand est meilleur et que l’un des objectifs que nous avions à Openai est de comprendre comment utiliser correctement l’échelle », a-t-il déclaré à Huang en 2023.

Huang a crédité le trio lors de son discours d’ouverture au Consumer Electronics Show en janvier. « En 2012, Alex Krizhevsky, Ilya Sutskever et Geoff Hinton ont découvert Cuda », a déclaré Huang, « l’a utilisé pour traiter Alexnet, et le reste est l’histoire. »

La version d’Alexnet dans le formulaire de code source a un timing intéressant. Il arrive juste au moment où le champ d’IA et l’ensemble de l’économie mondiale sont captivé par un autre modèle open-source, Deepseek AI R1.

Vous voulez plus d’histoires sur l’IA? Inscrivez-vous à l’innovationnotre newsletter hebdomadaire.