Comment modéliser une situation par une chaîne de Markov et construire sa matrice de transition ?

En identifiant les états du système, en remplissant la matrice de transition $P$ dont chaque coefficient $P_{ij}$ est la probabilité de passer de l'état $i$ à l'état $j$ (chaque ligne somme à 1), et en représentant par un graphe orienté pondéré

L'objectif

Construire la matrice de transition d'une chaîne de Markov à partir d'une description probabiliste d'un système évoluant par étapes.

Le principe

Une chaîne de Markov est caractérisée par sa matrice de transition $P$ où $P_{ij}$ est la probabilité de passer de l'état $i$ à l'état $j$ en une étape ; chaque ligne de $P$ est une distribution de probabilité (somme égale à 1).

La méthode

1
Identifier et lister tous les états possibles du système (état 1, état 2, ..., état $k$ ).
2
Pour chaque état $i$ , lire les probabilités de transition vers chaque état $j$ et remplir la ligne $i$ de la matrice $P$ ; vérifier que la somme de chaque ligne vaut bien 1.
3
Tracer le graphe orienté pondéré associé : un nœud par état, une flèche de $i$ vers $j$ étiquetée par $P_{ij}$ pour chaque probabilité non nulle.

Exemple corrigé

Difficulté croissante de 1 à 4

Exercices aujourd'hui0 / 3

Prêt à t'entraîner ?

Génère un exercice personnalisé sur cette méthode et entraîne-toi avec la correction IA.

En identifiant les états du système, en remplissant la matrice de transition PPP dont chaque coefficient PijP_{ij}Pij​ est la probabilité de passer de l'état iii à l'état jjj (chaque ligne somme à 1), et en représentant par un graphe orienté pondéré

Exemple corrigé

En identifiant les états du système, en remplissant la matrice de transition $P$ dont chaque coefficient $P_{ij}$ est la probabilité de passer de l'état $i$ à l'état $j$ (chaque ligne somme à 1), et en représentant par un graphe orienté pondéré