Programmé en UV ELU 518
Présentation :
Les chaînes de Markov sont des cas particuliers de processus aléatoires caractérisés par l'indépendance des valeurs futures conditionnellement au présent. Le formalisme des chaînes de Markov a des applications dans de nombreux domaines de l'ingénierie.
On peut citer l'évaluation de performances de réseaux (files d'attente), le traitement du signal (parole, images) et les communications numériques (codage), le contrôle des systèmes avec capteurs, l'optimisation stochastique, les mathématiques financières...
Ce module commence par une introduction à la théorie des chaînes de Markov: caractérisation, distribution stationnaire (temps discret, temps continu). En nous appuyant sur ce formalisme nous démontrons les principaux résultats de performance en théorie des files d’attente markoviennes (délai, blocage, file M/M/1, file M/M/C/C).
Avec un formalisme similaire nous présentons ensuite les algorithmes classiques de Monte Carlo par Chaînes de Markov (MCMC) et leurs applications à la simulation de phénomènes aléatoires et à l’inférence bayésienne. A titre d’ouverture nous abordons enfin les problèmes de segmentation et d’apprentissage paramétrique dans les modèles de chaines de Markov bruitées (HMM,Viterbi, EM) ainsi que l’optimisation d’un critère moyen par le choix d’une politique de contrôle d’une chaîne de Markov contrôlée (MDP).
Objectifs pédagogiques :
- modéliser un système par une chaîne de Markov
- calculer les paramètres de performances moyen (délai, blocage, taux d'utilisation des ressources) d'une file d'attente
- simuler certains systèmes stochastiques complexes
- analyser et modéliser des données aléatoires
- contrôler un système pour maximiser un gain moyen
Pré-requis :
- probabilités
- programmation scientifique (Python)
Volume horaire :
42h
Contenu détaillé :
- Chaînes de Markov à temps discret et à temps continu
- Processus de Poisson, loi Exponentielle
- Files d'attente markoviennes (M/M/1, M/M/C/C et formule d'Erlang-B)
- Fiabilité
- Théorèmes limites, méthode de Monte Carlo
- Méthodes de simulation “simples” (inversion de la fonction de répartition, Box Müller, acceptation/rejet)
- Méthodes MCMC (Hastings Metropolis, Gibbs, recuit simulé)
- Chaînes de Markov cachées (filtrage, estimation paramétrique)
- Processus de Décision Markovien (résolution par programmation dynamique)
Année 2019/2020
Dernière mise à jour le 11-JAN-19
Validation par le responsable de programme le
|
