Estimation du débit optique, segmentation panoptique et transformateurs de vision avec Fatih Porikli

Aujourd’hui, nous lançons notre couverture annuelle de la conférence CVPR rejoigne par Fatih Porikli, directrice principale de l’ingénierie chez Qualcomm AI Research. Dans notre conversation avec Fatih, nous explorons un trio de papiers acceptés par le CVPR, ainsi qu’une paire d’ateliers à venir lors de l’événement. Le premier papier, Panoptique, instance et relations sémantiques: un encodeur de contexte relationnel pour améliorer la segmentation panoptiqueprésente un nouveau cadre pour intégrer des contextes sémantiques et d’instance pour la segmentation panoptique. Ensuite, nous discutons Imposition de cohérence pour l’estimation du flux optiqueun article qui introduit des stratégies de cohérence nouvelles et efficaces pour l’estimation du flux optique. Le dernier article dont nous discutons est IRISFORMER: Transformateurs de vision dense pour le rendu inverse à image unique dans les scènes intérieuresqui propose une architecture de transformateur pour estimer simultanément les profondeurs, les normales, l’albédo variant spatialement, la rugosité et l’éclairage à partir d’une seule image d’une scène intérieure. Pour chaque article, nous explorons les motivations et les défis et obtenons des exemples concrètes pour démontrer chaque problème et solution présenté.