MAGIC3D - Segmentation sémantique 3D multi-sources LiDAR et images

MAGIC3D est un projet innovant visant à automatiser la segmentation sémantique de nuages de points 3D issus de levés mobiles LiDAR et d’images panoramiques. Aujourd’hui, ces données 3D sont largement collectées dans les environnements urbains et routiers, mais leur exploitation reste limitée, car l’annotation manuelle nécessaire pour les enrichir en informations thématiques est coûteuse et chronophage.

L’objectif de MAGIC3D est de rendre ces nuages de points directement exploitables en leur attribuant automatiquement des classes sémantiques, par exemple routes, trottoirs, bâtiments, végétation, véhicules ou piétons. Pour cela, le projet s’appuie sur les dernières avancées en intelligence artificielle, en combinant deux approches complémentaires :

• La segmentation 3D par SuperPoint Transformer (SPT), spécialisée dans l’analyse directe des nuages de points, performante pour les objets complexes et les éléments en mouvement.
• La segmentation 2D par Vision Transformer (MMSegmentation), appliquée aux images panoramiques, robuste pour les grandes structures statiques.

Une étape clé réside dans la fusion multimodale : grâce à des cartes de profondeur optimisées et à un algorithme de projection avec tolérance adaptative, les informations issues des images et du LiDAR sont combinées pour tirer parti des forces de chaque méthode. Cette fusion améliore la précision globale et la cohérence de la classification.

Le projet a également mis au point une chaîne de traitement reproductible capable de traiter de très grands volumes de données : plus de 6 milliards de points et 14'000 images panoramiques, en environ 36 heures sur un GPU NVIDIA A40. L’implémentation optimisée avec JAX a permis d’accélérer significativement les étapes les plus coûteuses, notamment le calcul et le filtrage des cartes de profondeur.

En livrant un outil opérationnel et déployé chez le partenaire industriel Orbis360 SA, MAGIC3D renforce leur compétitivité en réduisant les coûts de traitement et en permettant une exploitation rapide et automatisée des nuages de points. Les résultats peuvent être visualisés via un outil web interactif, facilitant leur intégration dans les processus métiers.

Au-delà de cette première phase, MAGIC3D ouvre la voie à de futures évolutions comme le suivi temporel des changements ou l’analyse thématique à grande échelle, contribuant à des applications variées : gestion d’infrastructures, urbanisme, mobilité, environnement ou villes intelligentes.

L’ensemble du code source et de la documentation est disponible en open source à l’adresse suivante : https://gitlab.com/heig-vd-geo/MAGIC3D/MAGIC3D_main. 

Aperçu des résultats :