Comment Helm.ai utilise une IA générative pour les voitures autonomes

Voitures autonomes étaient censés être dans nos garages maintenant, selon les prédictions optimistes d’il y a quelques années à peine. Mais nous pouvons approcher quelques points de basculement, avec adoption de robotaxi En montant et les consommateurs s’habituent à des systèmes d’assistance de conducteur de plus en plus sophistiqués dans leurs véhicules. Une entreprise qui fait avancer les choses est la Silicon Valley Helm.ai, qui développe des logiciels pour les deux systèmes d’assistance à pilote et entièrement véhicules autonomes.

La société fournit Modèles de fondation pour la prédiction d’intention et Planification des chemins que les voitures autonomes ont besoin sur la route et utilisent également AI génératif Pour créer des données d’entraînement synthétiques qui préparent des véhicules à beaucoup, beaucoup de choses qui peuvent se tromper là-bas. Spectre IEEE parlé avec Vladislav voroninskifondateur et PDG de Helm.ai, à propos de la création de la société de données synthétiques pour former et valider les systèmes automobiles autonomes.

Comment Helm.ai utilise-t-il une IA générative pour aider à développer des voitures autonomes?

Vladislav Voroninski: Nous utilisons une IA générative aux fins de la simulation. Donc, compte tenu d’une certaine quantité de données réelles que vous avez observées, pouvez-vous simuler de nouvelles situations en fonction de ces données? Vous souhaitez créer des données aussi réalistes que possible tout en offrant quelque chose de nouveau. Nous pouvons créer des données à partir de n’importe quel appareil photo ou capteur pour augmenter la variété de ceux ensembles de données et aborder les cas d’angle pour la formation et la validation.

Je sais que tu as Viden Pour créer des données vidéo et Worldgen Pour créer d’autres types de données de capteur. Les différentes constructeurs automobiles comptent-ils toujours sur différentes modalités?

Voroninski: Il y a certainement un intérêt pour plusieurs modalités de nos clients. Tout le monde n’essaie pas de tout faire avec la vision uniquement. Caméras sont relativement bon marché, tandis que lidar Les systèmes sont plus chers. Mais nous pouvons réellement former des simulateurs qui prennent les données de la caméra et simuler à quoi ressentir la sortie LiDAR. Cela peut être un moyen d’économiser sur les coûts.

Et même si c’est juste une vidéo, il y aura des cas qui sont incroyablement rares ou à peu près impossibles à obtenir ou trop dangereux pour obtenir pendant que vous effectuez une conduite en temps réel. Et nous pouvons donc utiliser une IA générative pour créer des données vidéo qui sont très, de très haute qualité et essentiellement indiscernables des données réelles pour ces cas. C’est aussi un moyen d’économiser collecte de données frais.

Comment créez-vous ces cas de bord inhabituels? Dites-vous: «Maintenant, mettez un kangourou sur la route, mettez maintenant un zèbre sur la route»?

Voroninski: Il existe un moyen d’interroger ces modèles pour les amener à produire des situations inhabituelles – il s’agit vraiment d’incorporer des moyens de contrôler les modèles de simulation. Cela peut être fait avec du texte ou des images invites ou divers types d’entrées géométriques. Ces scénarios peuvent être spécifiés explicitement: si un constructeur automobile a déjà une liste de situations de blanchisse Modèles de fondation pour produire ces situations. Vous pouvez également faire quelque chose de plus évolutif où il y a un processus d’exploration ou de randomisation de ce qui se passe dans la simulation, et qui peut être utilisé pour tester votre pile autonome contre diverses situations.

Et une bonne chose à propos des données vidéo, qui reste encore la modalité dominante pour l’auto-conduite, vous pouvez vous entraîner sur des données vidéo qui ne proviennent pas seulement de la conduite. Ainsi, en ce qui concerne ces rares catégories d’objets, vous pouvez les trouver dans de nombreux ensembles de données différents.

Donc, si vous avez un ensemble de données vidéo de animaux Dans un zoo, va-t-il aider un système de conduite à reconnaître le kangourou sur la route?

Voroninski: Bien sûr, ce type de données peut être utilisé pour former des systèmes de perception pour comprendre ces différentes catégories d’objets. Et il peut également être utilisé pour simuler des données de capteur qui intègrent ces objets dans un scénario de conduite. Je veux dire, de même, très peu d’humains ont vu un kangourou sur une route dans la vraie vie. Ou même peut-être dans une vidéo. Mais c’est assez facile de vous évoquer dans votre esprit, non? Et si vous le voyez, vous pourrez le comprendre assez rapidement. Ce qui est bien dans l’IA générative, c’est que si (le modèle) est exposé à différents concepts dans différents scénarios, il peut combiner ces concepts dans de nouvelles situations. Il peut l’observer dans d’autres situations, puis apporter cette compréhension à la conduite.

Comment effectuez-vous le contrôle de la qualité pour données synthétiques? Comment assurez-vous à vos clients que c’est aussi bon que la vraie chose?

Voroninski: Il existe des mesures que vous pouvez capturer qui évaluent numériquement la similitude des données réelles avec les données synthétiques. Un exemple est que vous prenez une collection de données réelles et vous prenez une collection de données synthétiques censées l’imiter. Et vous pouvez ajuster une distribution de probabilité aux deux. Et puis vous pouvez comparer numériquement la distance entre ces distributions de probabilité.

Deuxièmement, nous pouvons vérifier que les données synthétiques sont utiles pour résoudre certains problèmes. Vous pouvez dire: «Nous allons aborder ce cas de coin. Vous pouvez vérifier que l’utilisation des données simulées résout réellement le problème et améliore la précision de cette tâche sans jamais s’entraîner sur des données réelles.

Y a-t-il des opposants qui disent que les données synthétiques ne seront jamais assez bonnes pour former ces systèmes et leur enseigner tout ce qu’ils doivent savoir?

Voroninski: Les opposants ne sont généralement pas des experts en IA. Si vous cherchez où va la rondelle, il est assez clair que la simulation aura un impact énorme sur le développement de systèmes de conduite autonomes. De plus, ce qui est assez bon, c’est une cible en mouvement, comme la définition de l’IA ou Agi( intelligence générale artificielle). Certains développements sont faits, puis les gens s’y habituent: « Oh, ce n’est plus intéressant. Mais je pense qu’il est assez clair que la simulation basée sur l’IA continuera de s’améliorer. jeSi vous voulez explicitement qu’un système d’IA modélise quelque chose, il n’y a pas de goulot d’étranglement à ce stade. Et puis c’est juste une question de la façon dont il se généralise.