Quelle est la prochaine étape pour l’IA et les mathématiques

Cette année, un certain nombre de LRM, qui essaient de résoudre un problème étape par étape plutôt que de cracher le premier résultat qui leur vient, ont atteint Scores élevés à l’examen de mathématiques de l’invitation américaine (AIME), un test donné aux 5% des élèves de mathématiques du secondaire américains.

Dans le même temps, une poignée de nouveaux modèles hybrides qui combinent des LLM avec une sorte de système de vérification des faits ont également fait des percées. Emily de Oliveira Santos, mathématicienne à l’Université de São Paulo, au Brésil, souligne l’alphaproof de Google Deepmind, un système qui combine un LLM avec le modèle de jeu de DeepMind Alphazero, comme une étape clé. L’année dernière, Alphaproof est devenu le premier programme informatique à Faites correspondre les performances d’un médaillé d’argent à l’Olympiade de mathématiques internationalesl’une des compétitions de mathématiques les plus prestigieuses au monde.

Et en mai, un modèle Google DeepMind appelé Alphaevolve ont découvert de meilleurs résultats que tout ce que les humains avaient encore trouvé Pour plus de 50 puzzles de mathématiques non résolus et plusieurs problèmes d’informatique du monde réel.

La hausse en cours est claire. «Le GPT-4 ne pouvait pas faire de mathématiques bien au-delà du premier cycle», explique De Oliveira Santos. « Je me souviens l’avoir testé au moment de sa sortie avec un problème de topologie, et il ne pouvait tout simplement pas écrire plus de quelques lignes sans se perdre complètement. » Mais quand elle a posé le même problème à l’O1 d’Openai, une LRM libérée en janvier, il l’a cloué.

Cela signifie-t-il que de tels modèles sont tous prêts à devenir le type d’espoir de coauteur de Darpa? Pas nécessairement, elle dit: «Les problèmes de l’olympiaade en mathématiques impliquent souvent de pouvoir effectuer des astuces intelligentes, tandis que les problèmes de recherche sont beaucoup plus exploratifs et ont souvent beaucoup, beaucoup plus de pièces émouvantes.» Le succès à un type de résolution de problèmes peut ne pas se poursuivre à un autre.

D’autres sont d’accord. Martin Bridson, mathématicien à l’Université d’Oxford, pense que le résultat de l’Olympiade de mathématiques est une grande réussite. «D’un autre côté, je ne trouve pas cela époustouflant», dit-il. «Ce n’est pas un changement de paradigme dans le sens où« Wow, je pensais que les machines ne pourraient jamais faire ça ». Je m’attendais à ce que les machines puissent le faire. »

C’est parce que même si les problèmes de l’Olympiade en mathématiques – et des tests de lycée ou de premier cycle similaires comme AIME – sont difficiles, il y a un modèle à beaucoup d’entre eux. «Nous avons des camps d’entraînement pour former des lycéens à les faire», explique Bridson. «Et si vous pouvez entraîner un grand nombre de personnes pour faire ces problèmes, pourquoi ne devriez-vous pas pouvoir former une machine pour les faire?»

Sergei Gukov, mathématicien du California Institute of Technology qui entraîne les équipes d’Olympiad en mathématiques, souligne que le style de question ne change pas trop entre les compétitions. De nouveaux problèmes sont définis chaque année, mais ils peuvent être résolus avec les mêmes vieilles astuces.