Détection des limites en temps réel à partir d’images bruyantes et d’imagerie HDR à un seul coup

Les technologies d’imagerie en instance de brevet créées au Collège de génie de l’Université Purdue pourraient être développées et commercialisées pour des applications aussi diverses que l’imagerie médicale, la navigation autonome, la surveillance, la microscopie et la fabrication avancée.

Qi Guo, professeur adjoint à l’Elmore Family School of Electrical and Computer Engineering, mène des équipes qui ont développé deux technologies:

• CT-lié, une méthode de détection des limites rapide et robuste. Il permet la découverte d’informations structurelles à partir de données visuelles extrêmement bruyantes.
• MetAHDR, un système d’imagerie et de détection de gamme et de détection de gamme à dynamique haute à tirs (HDR). Il élimine le besoin de captures séquentielles dans l’imagerie HDR conventionnelle.

Un prototype de travail de CT a été démontré et un document de recherche a été présenté au 26e atelier international de l’Institut des ingénieurs électriques et électronique (IEEE) sur le traitement du signal multimédia et également inclus dans la procédure de conférence.

UN document de recherche À propos de Metahdr a été publié dans la revue Optics Express.

À propos de CT-lié

Guo a déclaré que de nombreuses applications nécessitent une détection des frontières à partir d’images avec des niveaux de lumière très faibles, y compris la navigation autonome, la fabrication et imagerie médicale. Il a dit que la détection des structures limites d’images très bruyantes est un problème de vision informatique commun et difficile.

« Bien que la détection des limites de l’image ait été largement étudiée depuis les premiers stades de la vision par ordinateur, la précision des meilleurs algorithmes de détection des limites actuels n’est toujours pas satisfaisant lorsque les images d’entrée ont un niveau de lumière très faible », a-t-il déclaré.

CT-lié décomposer l’estimation des limites en deux tâches: détection locale et régularisation mondiale.

« Pendant la détection locale, le modèle utilise une architecture convolutionnelle pour prédire la structure limite de chaque patch d’image sous la forme d’une représentation des limites locale prédéfinie, le domaine des jonctions », a-t-il déclaré. « Ensuite, il utilise une architecture de transformateur pour les aliments pour affiner globalement les structures limites de chaque patch pour générer une carte de bord et une carte couleur lissée simultanément. »

Une étude expérimentale approfondie a démontré que le CT a obtenu la plus haute ou parmi la plus haute précision pour détecter les limites d’image à partir d’images très bruyantes par rapport aux meilleurs algorithmes précédents. Le code, les données de formation, les données de test, les résultats supplémentaires et une démonstration vidéo de la méthode proposée sont en ligne.

« Nous avons également démontré que CT-libellé produit des cartes de limite et de couleur sur des images réelles et capturées sans réglage supplémentaire et des vidéos de carte de limite en temps réel à 10 images par seconde », a déclaré Guo.

À propos de Metahdr

Guo a déclaré que l’imagerie et la détection de HDR à un coup peuvent être largement appliquées lorsque le profil de luminosité complet d’un environnement en mouvement doit être mesuré, y compris dans la fabrication avancée, les véhicules autonomes, l’imagerie microscopique et la vidéographie.

Lorsque des objets avec mouvement sont mesurés, des artefacts fantômes dans la reconstruction finale peuvent se produire; Ainsi, des algorithmes de post-traitement sophistiqués sont nécessaires.

« La construction d’un système d’imagerie qui peut mesurer simultanément plusieurs images de la hauteur d’exposition pourrait aider à éviter cet effort fastidieux », a déclaré Guo. « Cela peut être critique lorsque la mesure avec précision du signal HDR des scènes dynamiques est d’une importance capitale, comme la capture du scintillement de fluorescence en microscopie fluorescente ou la détection des défauts sur les lignes de production en mouvement. »

MetAHDR est un système d’imagerie et de détection HDR à un seul coup qui utilise une métasurface multifonctionnelle.

« La métasurface peut diviser un faisceau incident en plusieurs faisceaux de focalisation avec différentes quantités de puissance, formant simultanément plusieurs images de plage à faible dynamique (LDR) avec une irradiance distincte sur un photosenseur », a déclaré Guo. « Ensuite, les images LDR sont traitées conjointement à l’aide d’un algorithme de fusion HDR basé sur le gradient, qui s’avère efficace pour atténuer les artefacts de lumière résiduels encourus par la métasurface et la fusée de lentille. »

Le système Purdue Metahdr capture des images HDR avec une seule exposition ou quelques expositions et crée plusieurs images LDR simultanément.

« Les solutions actuelles pour générer des images HDR à capture unique nécessitent des photosenseurs et des circuits spécialisés », a déclaré Guo. « Metahdr utilise des technologies de caméra et de capteurs plus conventionnelles. »

La photographie et la vidéographie HDR à un seul coup avec des applications de détection en temps réel rendent MetAHDR particulièrement utile pour la surveillance, la microscopie et la fabrication avancée.

« Nous avons validé MetAHDR par expérimentation en utilisant une métasurface fabriquée », a déclaré Guo. « Les résultats ont montré plus d’une augmentation de 50 décibels de la plage dynamique par rapport aux solutions les plus récentes axées sur le matériel à l’imagerie HDR. »

Étapes de développement suivantes

Wei Xu, un doctorant en génie électrique et en génie informatique Purdue, a déclaré que le prototype de travail de la détection des limites en temps réel en temps réel dans des conditions à haut bruit. L’équipe a étendu la technologie en un algorithme plus large appelé Edges floues, qui effectue simultanément la détection des limites et l’estimation de la profondeur à partir d’images bruyantes.

« Pour cela, nous avons construit un prototype matériel à l’aide d’une lentille déformable pour capturer des paires d’images à faible luminosité avec des pouvoirs optiques variables », a déclaré Xu. « Ces avancées préparent la voie pour que les prochaines étapes passent des prototypes de recherche aux outils déployables qui peuvent être intégrés dans les produits d’imagerie de l’industrie. »

Un document de suivi qui tire parti de la représentation d’image de style CT pour mesurer les distances des objets à partir de photographies à faible luminosité a été accepté pour la conférence de cette année sur la vision par ordinateur et la reconnaissance des modèles; Il devrait être publié en juin.

Yuxuan Liu, un étudiant diplômé en génie électrique et informatique de Purdue, a déclaré que la prochaine étape pour commercialiser Metahdr est de permettre l’imagerie en couleur avec un champ de vision élargi.

« S’appuyant sur les progrès récents de l’imagerie informatique et des métasurfaces optiques, nous explorons l’intégration de l’intelligence artificielle, des méta-optiques et des lentilles de réfraction pour atteindre cet objectif », a déclaré Liu. « Cela détient un potentiel significatif de reconstruction d’informations à dimension supérieure, telles que le spectre, la profondeur et la polarisation dans un instantané. »

L’équipe de Guo collabore actuellement avec Jian Jin, professeur agrégé du département de génie agricole et biologique de Purdue, pour explorer l’utilisation potentielle de Metahdr dans le phénotypage agricole.