Les chercheurs développent une technologie d’IA qui peut surveiller les lanceurs en utilisant une vidéo à basse résolution capturée par les smartphones

Des chercheurs de l’Université de Waterloo ont développé une nouvelle technologie d’intelligence artificielle (IA) qui peut analyser avec précision les performances et la mécanique des lanceurs en utilisant une vidéo à basse résolution des jeux de baseball.

Le système, développé pour les Orioles de Baltimore par l’équipe Waterloo, branche des trous dans une technologie beaucoup plus élaborée et coûteuse déjà installée dans la plupart des stades qui accueillent la Ligue majeure de baseball (MLB), dont les équipes ont de plus en plus exploité dans analyse des données au cours des dernières années.

Ces systèmes, produits par une entreprise appelée Hawk-Eye Innovations, utilisent plusieurs caméras spéciales dans chaque parc pour attraper les joueurs en action, mais les données qu’ils rendent sont généralement disponibles pour l’équipe à domicile qui possède le stade dans lequel ces jeux sont joués.

Pour ajouter des jeux à leur opération d’analyse, ainsi que d’utiliser des vidéos pour smartphone prises par des scouts dans les jeux de ligue mineure et universitaire, les Orioles ont demandé à des experts de la vidéo et de l’IA à Waterloo pour obtenir de l’aide il y a environ trois ans.

Le résultat est un système relativement simple appelé Pitchernet, qui surmonte des défis tels que le flou de mouvement pour suivre les mouvements des lanceurs sur le monticule, puis fournit des données sur les métriques, y compris la vitesse de tangage et le point de libération à partir de diffusion standard et de vidéo de smartphone.

Un article sur le projet, Pitchernet: Power the Moneyball Evolution in Baseball Video Analytics, a été présenté au 2024 Conférence IEEF / CVF sur la vision par ordinateur et la reconnaissance des modèles et est disponible sur arxiv serveur de préimprimée.

« Les Orioles nous ont approchés avec un problème car ils n’ont pas été en mesure d’analyser les positions de pose et, par la suite, de la biomécanique de leurs lanceurs à des jeux qui n’ont peut-être pas accès à des caméras haute résolution », a déclaré le Dr John Zelek, professeur d’ingénierie de conception de systèmes et co-réalisateur du laboratoire de vision et de traitement d’image (VIP) à Waterloo.

« L’objectif de notre projet était d’essayer de dupliquer la technologie Hawk-Eye et d’aller au-delà en produisant des sorties similaires à partir de vidéos diffusées ou d’une caméra pour smartphone utilisée par un éclaireur assis quelque part dans les tribunes. »

Pour aider à former des algorithmes d’IA au cœur de la technologie, les chercheurs ont créé des avatars en trois dimensions de lanceurs afin que leurs mouvements puissent être vus à partir de nombreux points de vue.

Les informations provenant de la vidéo traitées par le système sont fournies aux analystes de biomécanique pour les Orioles, qui se sont engagés à financer conjointement le projet pour une autre année.

Ces données peuvent être utilisées pour ajuster la façon dont les lanceurs lancent le ballon pour améliorer les performances ou éviter les blessures, et évaluer le succès futur et la durabilité des perspectives de tangage.

« La technologie existante a déjà amélioré les analyses de baseball », a déclaré Jerrin Bright, un doctorat. Étudiant qui avait un rôle de premier plan dans le projet. « Étant donné qu’il est limité aux jeux à domicile, cependant, il y a un réel besoin de solutions qui fonctionnent dans n’importe quel cadre, en particulier pour le scoutisme. C’est là que notre système entre en jeu. »

Les chercheurs explorent maintenant l’application de l’idée sous-jacente – analyse des poses de joueurs en utilisant la diffusion standard et la vidéo pour smartphone – à d’autres sports professionnels, y compris le hockey et le basket-ball, en plus d’autres aspects du baseball, comme le frappeur.