Spatialization, fusion and enrichment of multimodal imaging for Heritage Sciences
Spatialisation, fusion et enrichissement d'imagerie multimodale pour les Sciences du Patrimoine
Résumé
Digital heritage is becoming an effervescent concept at the crossroads of many disciplinary fields. By extension the multi-faceted Cultural heritage asset, as object of study, is at the center of interdisciplinary studies, essentially from digital-born documentation procedures and technologies where real-based modeling or sensing is a key feature. As a matter of fact, the imaging tools and 2D/3D digitization technologies mobilized today to survey, document and study heritage artifacts offer many perspectives and investigation paths to improve the shared knowledge around a heritage object. However, while the need of digital knowledge and expertise is developing in kind as well as in number, the also variable methods mobilized are facing the challenge of multimodality. As a core notion of this dissertation, the multimodality is understood and justified by the overgrowing need to gather and interlink various digital resources (including multiple sensors, scales of observation, spectral or temporal layers) in order to allow a crossing of views and expertise. This work is inspired by a systemic approach where the mechanisms and the data stream, from the raw instrumental data captured in-situ to the knowledge extraction and representation is explored by (re)usable strategies exploiting the richness of the multimodal scenarios. Starting from a critical review of the acquisition-processing-interpretation sequence, this thesis proposes innovative ways to improve key steps such as data fusion and data provenance. A global strategy is proposed to better articulate the instrumental, computational and analytical phases toward the construction of a digital twin of heritage object. This research work is structured by three contributions proposing at different crucial intersections of the system, so-called strategic actions, to increase the informative potential of 2D/3D multimodal modeling. The coherence of the explored tracks, allows in particular to reveal reasoned, and pragmatic approaches based on the multimodal digitization and potentially being able to contribute to the upcoming challenges in terms of correlation of spatio-temporal semantically enriched data.
Le Patrimoine Culturel est un objet d’étude protéiforme, désormais au centre d’enjeux documentaires interdisciplinaires, dont les procédures et les technologies numériques jouent un rôle prépondérant. Le Patrimoine Numérique s’installe comme une notion en effervescence, située à l’intersection de nombreux domaines de connaissances. Les techniques d'imageries mobilisées dans les Sciences du Patrimoine pour relever, documenter et examiner les objets patrimoniaux offrent de nombreuses perspectives d’investigation pour améliorer les connaissances partagées autour d’un objet d'étude devenu hybride, à l'interface entre le Réel et le Virtuel. Pour autant, à l’heure où ce savoir-faire numérique se développe, l'ensemble des méthodes et des outils mobilisés se heurtent au défi de la multimodalité. Cette problématique, au cœur de ce projet de thèse, se reflète par la nécessité croissante de mettre en coopération une variété de ressources numériques (comprenant une multiplicité de capteurs, d’échelles d’observations, de couches spectrales ou temporelles) dans l’objectif de permettre une croisée des regards et des expertises. Cette thèse propose d'appréhender les flux de numérisation 2D et 3D par une approche systémique visant à consolider le continuum informationnel reliant les données instrumentales capturées "in-situ" aux connaissances qu’il est possible d’en extraire. Ce travail de recherche explore différentes stratégies pour faire fructifier la richesse et la diversité des scenarios multimodaux. Les contributions principales se développent autour d'une relecture de la triade Acquisition -- Traitement -- Interprétation, en la mettant en interaction avec des thématiques telles que la Spatialisation, la Fusion et l'Enrichissement des données. Différentes approches sont proposées afin de mieux articuler les phases d’instrumentales, computationnelles et analytiques permettant d'augmenter le potentiel informatif des modélisations 2D/3D multimodales. Les pistes explorées sont appuyées par une série de travaux et d'expérimentations faisant émerger des synergies possibles pour explorer la corrélation de données spatio-temporelles sémantiquement enrichies basées sur des numérisations multimodales.
| Origine | Version validée par le jury (STAR) |
|---|