Comment résoudre un problème de… : En identifiant F=Im(A), en écrivant… — ECG2 approfondies | MetMat

Comment résoudre un problème de moindres carrés $\min \|AX-B\|$ par projection orthogonale ?

En identifiant $F=\mathrm{Im}(A)$ , en écrivant l'équation normale ${}^t\!AAX^*={}^t\!AB$ et en la résolvant

Approfondissement — Résoudre $\min_{X\in\mathbb{R}^p}\|AX-B\|$ pour $A\in\mathcal{M}_{n,p}(\mathbb{R})$ de rang $p$ , $B\in\mathcal{M}_{n,1}(\mathbb{R})$ .

Hors programme — Cette méthode va au-delà du B.O. officiel. Proposée pour aller plus loin.

Que ferais-tu face à un exercice de ce type ?

Soit $A=\begin{pmatrix}1&1\\ 1&2\\ 1&3\end{pmatrix}$ et $B=\begin{pmatrix}2\\3\\5\end{pmatrix}$ . Trouver $X^*$ minimisant $\|AX-B\|$ .

L'objectif

Approfondissement — Résoudre $\min_{X\in\mathbb{R}^p}\|AX-B\|$ pour $A\in\mathcal{M}_{n,p}(\mathbb{R})$ de rang $p$ , $B\in\mathcal{M}_{n,1}(\mathbb{R})$ .

Le principe

Minimiser $\|AX-B\|$ revient à projeter orthogonalement $B$ sur $F=\mathrm{Im}(A)$ ; l'optimum $X^*$ est caractérisé par $B-AX^*\perp \mathrm{Im}(A)$ , ce qui s'écrit ${}^t\!AAX^*={}^t\!AB$ et admet une unique solution si $A$ est de rang $p$ .

La méthode

1
Je pose $F=\mathrm{Im}(A)=\{AX,\ X\in\mathbb{R}^p\}$ et je remarque que $\min_X\|AX-B\|=\min_{Y\in F}\|Y-B\|=\|p_F(B)-B\|$ .
2
J'écris la condition d'optimalité $B-AX^*\in F^{\perp}$ , c'est-à-dire $\langle AX,B-AX^*\rangle=0$ pour tout $X\in\mathbb{R}^p$ , soit ${}^t\!X{}^t\!A(B-AX^*)=0$ .
3
J'en déduis l'équation normale ${}^t\!AAX^*={}^t\!AB$ ; comme $A$ est de rang $p$ , la matrice ${}^t\!AA\in\mathcal{M}_p(\mathbb{R})$ est inversible.
4
Je résous le système linéaire ${}^t\!AAX^*={}^t\!AB$ et j'obtiens $X^*=({}^t\!AA)^{-1}\,{}^t\!AB$ , puis je calcule la distance minimale $\|AX^*-B\|$ .

Pour comprendre, fais des exercices !

Exercice d'exemple

Soit $A=\begin{pmatrix}1&1\\ 1&2\\ 1&3\end{pmatrix}$ et $B=\begin{pmatrix}2\\3\\5\end{pmatrix}$ . Trouver $X^*$ minimisant $\|AX-B\|$ .

Étape 1 —

Je pose

F=\mathrm{Im}(A)=\{AX,\ X\in\mathbb{R}^p\}

et je remarque que

\min_X\|AX-B\|=\min_{Y\in F}\|Y-B\|=\|p_F(B)-B\|

$F=\mathrm{Im}(A)$ est le plan engendré par les deux colonnes de $A$ dans $\mathbb{R}^3$ ; on minimise $\|AX-B\|$ sur $X\in\mathbb{R}^2$ .

Étape 2 —

J'écris la condition d'optimalité

B-AX^*\in F^{\perp}

, c'est-à-dire

\langle AX,B-AX^*\rangle=0

pour tout

X\in\mathbb{R}^p

, soit

{}^t\!X{}^t\!A(B-AX^*)=0

La condition $B-AX^*\in F^{\perp}$ se traduit matriciellement par ${}^t\!A(B-AX^*)=0$ .

Étape 3 —

J'en déduis l'équation normale

{}^t\!AAX^*={}^t\!AB

; comme

A

est de rang

p

, la matrice

{}^t\!AA\in\mathcal{M}_p(\mathbb{R})

est inversible.

Je calcule ${}^t\!AA=\begin{pmatrix}3&6\\6&14\end{pmatrix}$ (inversible, $\det=6>0$ ) et ${}^t\!AB=\begin{pmatrix}10\\23\end{pmatrix}$ .

Étape 4 —

Je résous le système linéaire

{}^t\!AAX^*={}^t\!AB

et j'obtiens

X^*=({}^t\!AA)^{-1}\,{}^t\!AB

, puis je calcule la distance minimale

\|AX^*-B\|

Je résous $\begin{pmatrix}3&6\\6&14\end{pmatrix}X^*=\begin{pmatrix}10\\23\end{pmatrix}$ , par exemple par substitution : $X^*=\big(\tfrac{1}{3},\tfrac{3}{2}\big)^T$ . La distance minimale vaut $\|AX^*-B\|=\tfrac{1}{\sqrt{6}}$ (par calcul direct).

$X^*=\big(\tfrac{1}{3},\tfrac{3}{2}\big)^T$ .

Les applications suivantes et la correction guidée sont réservées aux membres Premium

La méthode et sa première application corrigée restent en accès libre. Le Premium débloque les applications suivantes, l'aide IA et le suivi de ta maîtrise.

Comment résoudre un problème de moindres carrés min⁡∥AX−B∥\min \|AX-B\|min∥AX−B∥ par projection orthogonale ?

En identifiant F=Im(A)F=\mathrm{Im}(A)F=Im(A), en écrivant l'équation normale t ⁣AAX∗=t ⁣AB{}^t\!AAX^*={}^t\!ABtAAX∗=tAB et en la résolvant

Pour comprendre, fais des exercices !

Comment résoudre un problème de moindres carrés $\min \|AX-B\|$ par projection orthogonale ?

En identifiant $F=\mathrm{Im}(A)$ , en écrivant l'équation normale ${}^t\!AAX^*={}^t\!AB$ et en la résolvant