Semantic segmentation of multisource point clouds of existing parcels and structures using machine learning techniques
Segmentation sémantique de nuages de points multisources de parcelles et d’ouvrages existants à l'aide de techniques d'apprentissage machine
Résumé
Remote acquisition technologies are becoming more democratic and are no longer reserved for professionals. Their use is therefore more frequent and the possibilities of use are only increasing. These technologies, coupled with the increasing computing power of computers, make it possible to acquire and process a large amount of data. The combination of data from various technologies is therefore becoming possible.This research project is part of this line with the digitization of large geographical areas ranging from several hundred square meters to one square kilometer with several acquisition technologies. In our case, we have access to surveys from four distinct acquisition technologies that are airborne lidar aboard aircraft and helicopters, UAVs’ photogrammetry and terrestrial lidar. The main need is the creation of a complete point cloud from several types of surveys, as well as semantic segmentation algorithms for multi-source point clouds. This topic raises the question of how best to use the various field surveys to create and segment the multisource point cloud.Topics such as the use of data sources providing heterogeneous data for the same project are topics that are not well covered in the literature for several reasons. One of the main reasons is the lack of projects with multiple technologies in the industry. The acquisition technologies implemented for a project must best meet the project criteria. The assertion of using a single technology per project is increasingly challenged with the use of UAVs and photogrammetry to support ground-based lidars. However, the scientific literature is currently poor in articles taking multiple sources and even poorer when it comes to sources other than a photography/lidar pair. Our contributions are therefore multiple. First, the proposal includes different modules developed to process and semantically segment multisource point clouds. The propagation of the attributes acquired by the different sources on the neighboring points and finally, a simple system of taking into account the neighborhood. Our proposal allowed us to semantically segment multisource point clouds by taking into account the attributes of each source through different modules. An ablation study is then performed to evaluate the interest of the different modules of our proposal. This proposal allowed us to obtain very good results of semantic segmentation in comparison with algorithms of the scientific literature on this subject. Our work is in line with the openness of digital capture projects to the use of various complementary sources.
Les technologies d’acquisition à distance sont de plus en plus disponibles et performantes. Leur déploiement comme technologie de mesure sans contact est plus fréquent et les possibilités d’utilisation ne font qu’augmenter. Ces technologies, couplées à la puissance de calcul des ordinateurs, rendent possibles l’acquisition et le traitement d’un grand nombre de données. La combinaison des données issues de diverses technologies devient donc envisageable, et même souhaitable pour pallier les limites de chaque technologie.Ce projet de recherche s’inscrit dans cette lignée. Il a pour domaine d’application la numérisation de larges zones géographiques, allant de 10² m² au 10 km² avec l’exploitation simultanée de plusieurs technologies d’acquisitions. Dans notre cas spécifique, nous avons accès à des relevés de quatre technologies d’acquisition distinctes que sont le lidar aéroporté à bord d’avions, lidar porté à bord d’hélicoptères, la photogrammétrie par drones et le lidar terrestre. Le principal requis est la création automatisée, à partir de plusieurs types de relevés et via un algorithme de segmentation sémantique, d’un nuage de points multisource complet et consolidé. Ce sujet soulève la question fondamentale qui est de comment exploiter au mieux les différents relevés, qui sont divers par leurs densités et caractéristiques, dans le but de créer et de segmenter précisément le nuage de points multisource.Les différentes sources de données fournissant des données hétérogènes. Leur fusion et leur consolidation sont des sujets peu traités dans la littérature. La principale raison est le manque de projets industriels qui impliquent plusieurs technologies d’acquisition. Ces dernières, lorsqu’elles sont mises en place simultanément pour un projet, doivent répondre au mieux aux critères qui se résume à un nuage cohérent et une segmentation précise. L’utilisation d’une unique technologie par projet est de plus en plus remise en cause. En effet, avec l’utilisation croissante des drones et de la photogrammétrie aérienne pour soutenir les lidars terrestres procure un accès grandissant à des captations dites multisources. Cependant, la littérature scientifique est, pour le moment, maigre en articles prenant plusieurs sources, et est encore plus pauvre quand il s’agit de sources autre qu’un couple photographie/lidar.Nos travaux s’inscrivent dans l’optique d’une ouverture des projets de captation numérique pour l’usage de diverses sources complémentaires. Notre principale contribution propose différents modules développés pour traiter et segmenter sémantiquement les nuages de points multisources. La propagation des attributs acquis par les différentes sources est basée sur la notion de proximité. Les points avoisinants sont interjumelés et les attributs sont ainsi consolidés, ce qui a permis de segmenter sémantiquement tout en bénéficiant des avantages de chaque technologie. Une étude d’ablation est réalisée dans le but d’évaluer l’intérêt des différents modules de notre proposition. Notre proposition est validée sur des nuages de points multisources mis à disposition par notre partenaire industriel. Également, les performances de notre proposition sont comparées, avantageusement, avec autres algorithmes récemment proposés dans la littérature scientifique sur ce sujet. Notre proposition a permis d’obtenir de meilleures performances de segmentation sémantique. Toutefois, le temps des calculs est légèrement plus grand.
| Origine | Version validée par le jury (STAR) |
|---|