Patch-Based image fusion for computational photography - PASTEL - Thèses en ligne de ParisTech Access content directly
Theses Year : 2018

Patch-Based image fusion for computational photography

Fusion d'images par patchs pour la photographie computationnelle

Abstract

The most common computational techniques to deal with the limited high dynamic range and reduced depth of field of conventional cameras are based on the fusion of images acquired with different settings. These approaches require aligned images and motionless scenes, otherwise ghost artifacts and irregular structures can arise after the fusion. The goal of this thesis is to develop patch-based techniques in order to deal with motion and misalignment for image fusion, particularly in the case of variable illumination and blur.In the first part of this work, we present a methodology for the fusion of bracketed exposure images for dynamic scenes. Our method combines a carefully crafted contrast normalization, a fast non-local combination of patches and different regularization steps. This yields an efficient way of producing contrasted and well-exposed images from hand-held captures of dynamic scenes, even in difficult cases (moving objects, non planar scenes, optical deformations, etc.).In a second part, we propose a multifocus image fusion method that also deals with hand-held acquisition conditions and moving objects. At the core of our methodology, we propose a patch-based algorithm that corrects local geometric deformations by relying on both color and gradient orientations.Our methods were evaluated on common and new datasets created for the purpose of this work. From the experiments we conclude that our methods are consistently more robust than alternative methods to geometric distortions and illumination variations or blur. As a byproduct of our study, we also analyze the capacity of the PatchMatch algorithm to reconstruct images in the presence of blur and illumination changes, and propose different strategies to improve such reconstructions.
Dans de nombreuses situations, la dynamique des capteurs ou la profondeur de champ des appareils photographiques conventionnels sont insuffisantes pour capturer fidèlement des scènes naturelles. Une méthode classique pour contourner ces limitations est de fusionner des images acquises avec des paramètres de prise de vue variables. Ces méthodes nécessitent que les images soient parfaitement alignées et que les scènes soient statiques, faute de quoi des artefacts (fantômes) ou des structures irrégulières apparaissent lors de la fusion. Le but de cette thèse est de développer des techniques permettant de traiter directement des images dynamiques et non-alignées, en exploitant des mesures de similarité locales par patchs entre images.Dans la première partie de cette thèse, nous présentons une méthode pour la fusion d'images de scènes dynamiques capturées avec des temps d'exposition variables. Notre méthode repose sur l'utilisation jointe d'une normalisation de contraste, de combinaisons non-locales de patchs et de régularisations. Ceci permet de produire de manière efficace des images contrastées et bien exposées, même dans des cas difficiles (objets en mouvement, scènes non planes, déformations optiques, etc.).Dans la deuxième partie de la thèse nous proposons, toujours dans des cas dynamiques, une méthode de fusion d'images acquises avec des mises au point variables. Le cœur de notre méthode repose sur une comparaison de patchs entre images ayant des niveaux de flou variables.Nos méthodes ont été évaluées sur des bases de données classiques et sur d'autres, nouvelles, crées pour les besoins de ce travail. Les expériences montrent la robustesse des méthodes aux distortions géométriques, aux variations d'illumination et au flou. Ces méthodes se comparent favorablement à des méthodes de l'état de l'art, à un coût algorithmique moindre. En marge de ces travaux, nous analysons également la capacité de l'algorithme PatchMatch à reconstruire des images en présence de flou et de changements d'illumination, et nous proposons différentes stratégies pour améliorer ces reconstructions.
Fichier principal
Vignette du fichier
CristianOcampo_Thesis.pdf (240.32 Mo) Télécharger le fichier
Origin : Version validated by the jury (STAR)

Dates and versions

tel-04574580 , version 1 (14-05-2024)

Identifiers

  • HAL Id : tel-04574580 , version 1

Cite

Cristian Felipe Ocampo Blandon. Patch-Based image fusion for computational photography. Signal and Image Processing. Télécom ParisTech, 2018. English. ⟨NNT : 2018ENST0020⟩. ⟨tel-04574580⟩
0 View
0 Download

Share

Gmail Facebook X LinkedIn More