Comment une IA générative pourrait aider à rendre les sites de construction plus sûrs

Réponses à plusieurs questions (la personne sur l’échelle a-t-elle trois points de contact? Utiliser l’échelle comme échasses pour se déplacer?) sont combinés pour déterminer si l’échelle de l’image est utilisée en toute sécurité. «Notre système a plus d’une douzaine de couches de questionnement juste pour atteindre cette réponse», explique Lorenzo. DroneDeploy n’a pas publié publiquement ses données pour examen, mais il dit qu’il espère que sa méthodologie soit vérifiée indépendamment par des experts en sécurité.

Les 5% manquants

L’utilisation de modèles de langage de vision pour la construction de l’IA est prometteuse, mais il y a «des problèmes assez fondamentaux» à résoudre, y compris les hallucinations et le problème des cas de bord, ces dangers anormaux pour lesquels le VLM n’a pas formé, explique Chen Feng. Il mène Laboratoire AI4CE de l’Université de New Yorkqui développe des technologies pour la cartographie 3D et la compréhension des scènes dans la robotique de construction et d’autres domaines. «Quatre-vingt-quinze pour cent est encourageant, mais comment réparer ces 5% restants?» Il demande le taux de réussite de la sécurité de l’IA. Feng indique un article en 2024 appelé «Les yeux écarquillés? »- Écrit par Shengbang Tong, un doctorant à NYU, et co-écrit par l’IA luminaire Yann LeCun – qui a noté des« lacunes systématiques »dans les VLM.« Pour la détection d’objets, ils peuvent atteindre les performances de niveau humain assez bien », dit Feng. Il note que les VLM ont eu du mal à interpréter la structure de la scène 3D à partir d’images 2D, n’ont pas une bonne conscience de la situation dans le raisonnement des relations spatiales et manquent souvent de «bon sens» sur les scènes visuelles.

Lorenzo concède qu’il y a «quelques défauts majeurs» avec les LLM et qu’ils luttent avec le raisonnement spatial. Ainsi, l’IA de sécurité utilise également certaines méthodes d’apprentissage automatique plus anciennes pour aider à créer des modèles spatiaux des chantiers de construction. Ces méthodes incluent la segmentation des images en composants cruciaux et photogrammétrie, une technique établie pour créer un modèle numérique 3D à partir d’une image 2D. Sécurité L’IA s’est également fortement entraînée 10 zones à problèmes différentsy compris l’utilisation des échelons, pour anticiper les violations les plus courantes.

Malgré cela, Lorenzo admet qu’il y a des cas de bord que le LLM ne reconnaîtra pas. Mais il note que pour les gestionnaires de sécurité surmenés, qui sont souvent responsables de jusqu’à 15 sites à la fois, avoir un ensemble supplémentaire de «yeux» numériques est toujours une amélioration.

Aaron Tan, un chef de projet en béton basé dans la région de la baie de San Francisco, dit qu’un outil comme la sécurité AI pourrait être utile pour ces gestionnaires de sécurité surpassés, qui économiseront beaucoup de temps s’ils peuvent recevoir une alerte envoyée par e-mail plutôt que d’avoir à faire un trajet de deux heures pour visiter un site en personne. Et si le logiciel peut démontrer que cela aide à assurer la sécurité des gens, il pense que les travailleurs finiront par l’adopter.

Cependant, Tan note que les travailleurs craignent également que ces types d’outils ne soient «Bossware « avait l’habitude de les causer en difficulté. «Dans ma dernière entreprise, nous avons mis en œuvre des caméras (en tant que) un système de sécurité. Et les gars n’aimaient pas ça», dit-il. «Ils se disaient:« Oh, grand frère. Vous me regardez toujours – je n’ai aucune intimité. »»

Plus âgé ne signifie pas obsolète

Izhak Paz, PDG d’une société basée à Jérusalem appelée Safeguard AI, a envisagé d’incorporer les VLM, mais il est resté avec l’ancien paradigme d’apprentissage automatique parce qu’il le considère plus fiable. La «vieille vision informatique» basée sur l’apprentissage automatique «est toujours meilleure, car elle est hybride entre la machine elle-même et l’intervention humaine sur le traitement de la déviation», dit-il. Pour former l’algorithme sur une nouvelle catégorie de danger, son équipe agrége un grand volume de séquences étiquetées liées au danger spécifique, puis optimise l’algorithme en réduisant les faux positifs et les faux négatifs. Le processus peut prendre de semaines à plus de six mois, explique Paz. La formation terminée, la sauvegarde AI effectue une évaluation des risques pour identifier les dangers potentiels sur le site. Il peut «voir» le site en temps réel en accédant à des images à partir de n’importe quel appareil photo connecté à Internet à proximité. Ensuite, il utilise un agent d’IA pour pousser des instructions sur ce qu’il faut faire à côté des appareils mobiles des gestionnaires de site. Paz refuse de donner un prix précis, mais il dit que son produit n’est abordable que pour les constructeurs au niveau du «marché intermédiaire» et au-dessus, en particulier ceux qui gèrent plusieurs sites. L’outil est utilisé sur environ 3 500 sites en Israël, aux États-Unis et au Brésil.