On some stochastic control problems with state constraints
Sur des problèmes de contrôle stochastique avec contraintes sur l'état
Résumé
This thesis deals with Hamilton-Jacobi-Bellman (HJB) approach for some stochastic control problems in presence of state-constraints. This class of problems arises in many challenging applications, and a wide literature has already analysed such problems under some strong compatibility conditions. The main features
of the present thesis is to provide new ways to face the presence of constraints without assuming any controllability condition. The first contribution of the thesis in this direction is obtained by exploiting the existing link between backward reachability and optimal control problems. It is shown that by considering a suitable auxiliary unconstrained optimal control problem, the level set approach can be extended to characterize the backward reachable sets under state-constrained. On the other hand the value function associated with a general state constrained stochastic optimal control problem is characterized by means of a state constrained backward reachable set, enabling the application of the level set method for handling the presence of the state constraints. This link between optimal control problems and reachability sets led to the theoretical and numerical analysis of HJB equations with oblique derivative boundary conditions and problems with unbounded controls. Error estimates for Markov-chain approximation represent another contribution of this manuscript.
Furthermore, the properties of asymptotic controllability of a stochastic system have also been studied. A generalization of the Zubov method to state constrained stochastic systems is presented. In the last part of the thesis an ergodic optimal control problems in presence of state-constraints are considered.
Cette thèse concerne l'approche Hamilton-Jacobi-Bellman (HJB) pour des problèmes de contrôle stochastique en présence de contraintes sur l'état du système. Cette classe de problèmes se pose dans de nombreuses applications importantes, et une grande littérature les a déjà analysé sous des conditions de compatibilité
fortes. La principale contribution de cette thèse est de fournir de nouvelles façons de affronter la présence de contraintes sans hypothèse de contrôlabilité. La première contribution de cette thèse est obtenue en exploitant le lien existant entre l'atteignabilité des systèmes stochastiques et des problèmes de contrôle optimal. Il est montré que en considérant un problème approprié auxiliaire de la commande optimale sans contraintes sur l'état, l'approche level-set peut être étendure pour caractériser les ensembles atteignables sous contrainte sur l'état. D'autre part l'épigraphe de la fonction valeur associée à un problème général de commande optimale stochastique sous contraintes d'état peut être caractérisée par un ensemble atteignable d'un système dynamique augmenté. Ce résultat permet l'application de la méthode level-set pour gérer la présence des contraintes sur l'état sans faire d'hypothèse de contrôlabilité. Ce lien entre les problèmes de contrôle optimal
et les level-set a conduit à l'analyse théorique et numérique des équations HJB avec conditions aux limites de derivé obliques et de problèmes avec contrôles non bornés. Les estimations d'erreur d'approximation de type Chaine de Markov représentent une autre contribution de ce manuscrit. En outre, les propriétés de
contrôlabilité asymptotique d'un système stochastique ont également été analysées. Une généralisation de la méthode de Zubov aux systèmes stochastiques contraints est étudiée dans le manuscrit. La dernière partie de la thèse est dédié à l'étude de problèmes de contrôle optimal ergodiques en présence de contraintes sur l'état.
Loading...
