Comment déterminer les… : En minimisant S(a,b)=sum_ i=1 ^n… — ECG2 appliquées | MetMat

Comment déterminer les coefficients de la droite de régression à l'aide des dérivées partielles ?

En minimisant $S(a,b)=\sum_{i=1}^n (y_i-ax_i-b)^2$ via $\partial_a S=0$ et $\partial_b S=0$

Déterminer les coefficients $(a,b)$ de la droite des moindres carrés ajustant un nuage $(x_i,y_i)_{1\le i\le n}$ .

Maîtriser

Reconnaître

Résoudre

Que ferais-tu face à un exercice de ce type ?

Déterminer la droite de régression de $y$ en $x$ pour le nuage $\{(1,1),(2,2),(3,2),(4,3)\}$ .

L'objectif

Déterminer les coefficients $(a,b)$ de la droite des moindres carrés ajustant un nuage $(x_i,y_i)_{1\le i\le n}$ .

Le principe

La fonction $S\colon (a,b)\mapsto\sum_{i=1}^n (y_i-ax_i-b)^2$ est une fonction polynomiale $\mathcal{C}^2$ de deux variables, convexe ; son unique point critique, obtenu en annulant le gradient, est un minimum global et fournit $a=\dfrac{\mathrm{Cov}(x,y)}{\mathrm{V}(x)}$ et $b=\bar y-a\bar x$ .

La méthode

1
Je pose $S(a,b)=\displaystyle\sum_{i=1}^n (y_i-ax_i-b)^2$ ; $S$ est polynomiale donc $\mathcal{C}^2$ sur $\mathbb{R}^2$ .
2
Je calcule $\partial_a S(a,b)=-2\sum_i x_i(y_i-ax_i-b)$ et $\partial_b S(a,b)=-2\sum_i (y_i-ax_i-b)$ .
3
Je résous $\nabla S=0$ : la deuxième équation donne $b=\bar y-a\bar x$ ; en l'injectant dans la première et en utilisant $\mathrm{Cov}(x,y)=\frac{1}{n}\sum x_iy_i-\bar x\bar y$ et $\mathrm{V}(x)=\frac{1}{n}\sum x_i^2-\bar x^2$ , j'obtiens $a=\dfrac{\mathrm{Cov}(x,y)}{\mathrm{V}(x)}$ (sous l'hypothèse $\mathrm{V}(x)\neq 0$ ).
4
Je confirme que c'est un minimum global : la hessienne $\nabla^2 S=\begin{pmatrix}2\sum x_i^2 & 2\sum x_i\\2\sum x_i & 2n\end{pmatrix}$ est de trace $>0$ et de déterminant $4n\sum x_i^2-4(\sum x_i)^2=4n^2\,\mathrm{V}(x)>0$ , donc ses deux valeurs propres sont strictement positives ; $S$ est convexe et le point critique est son minimum global.
5
Je conclus en donnant la droite de régression $y=ax+b$ avec les valeurs trouvées.

Pour comprendre, fais des exercices !

Exercice d'exemple

Déterminer la droite de régression de $y$ en $x$ pour le nuage $\{(1,1),(2,2),(3,2),(4,3)\}$ .

Étape 1 —

Je pose

S(a,b)=\displaystyle\sum_{i=1}^n (y_i-ax_i-b)^2

;

S

est polynomiale donc

\mathcal{C}^2

sur

\mathbb{R}^2

Je pose $S(a,b)=(1-a-b)^2+(2-2a-b)^2+(2-3a-b)^2+(3-4a-b)^2$ , polynomiale donc $\mathcal{C}^2$ sur $\mathbb{R}^2$ .

Étape 2 —

Je calcule

\partial_a S(a,b)=-2\sum_i x_i(y_i-ax_i-b)

\partial_b S(a,b)=-2\sum_i (y_i-ax_i-b)

$\partial_a S=-2[1\cdot(1-a-b)+2(2-2a-b)+3(2-3a-b)+4(3-4a-b)]$ et $\partial_b S=-2[(1-a-b)+(2-2a-b)+(2-3a-b)+(3-4a-b)]$ .

Étape 3 —

Je résous

\nabla S=0

: la deuxième équation donne

b=\bar y-a\bar x

; en l'injectant dans la première et en utilisant

\mathrm{Cov}(x,y)=\frac{1}{n}\sum x_iy_i-\bar x\bar y

\mathrm{V}(x)=\frac{1}{n}\sum x_i^2-\bar x^2

, j'obtiens

a=\dfrac{\mathrm{Cov}(x,y)}{\mathrm{V}(x)}

(sous l'hypothèse

\mathrm{V}(x)\neq 0

Je calcule $\bar x=\tfrac{10}{4}=2{,}5$ , $\bar y=\tfrac{8}{4}=2$ , $\sum x_iy_i=1+4+6+12=23$ , $\sum x_i^2=1+4+9+16=30$ . Donc $\mathrm{Cov}(x,y)=\tfrac{23}{4}-2{,}5\times 2=0{,}75$ et $\mathrm{V}(x)=\tfrac{30}{4}-2{,}5^2=1{,}25$ , d'où $a=\tfrac{0{,}75}{1{,}25}=0{,}6$ et $b=2-0{,}6\times 2{,}5=0{,}5$ .

Étape 4 —

Je confirme que c'est un minimum global : la hessienne

\nabla^2 S=\begin{pmatrix}2\sum x_i^2 & 2\sum x_i\\2\sum x_i & 2n\end{pmatrix}

est de trace

>0

et de déterminant

4n\sum x_i^2-4(\sum x_i)^2=4n^2\,\mathrm{V}(x)>0

, donc ses deux valeurs propres sont strictement positives ;

S

est convexe et le point critique est son minimum global.

$\nabla^2 S=\begin{pmatrix}60&20\\20&8\end{pmatrix}$ , trace $68>0$ , déterminant $480-400=80>0$ : les deux valeurs propres sont $>0$ , $S$ est convexe et $(0{,}6\,;0{,}5)$ est son minimum global.

Étape 5 —

Je conclus en donnant la droite de régression

y=ax+b

avec les valeurs trouvées.

La droite de régression est $y=0{,}6\,x+0{,}5$ .

$y=0{,}6\,x+0{,}5$ .

Les applications suivantes et la correction guidée sont réservées aux membres Premium

La méthode et sa première application corrigée restent en accès libre. Le Premium débloque les applications suivantes, l'aide IA et le suivi de ta maîtrise.

Comment déterminer les coefficients de la droite de régression à l'aide des dérivées partielles ?

En minimisant S(a,b)=∑i=1n(yi−axi−b)2S(a,b)=\sum_{i=1}^n (y_i-ax_i-b)^2S(a,b)=∑i=1n​(yi​−axi​−b)2 via ∂aS=0\partial_a S=0∂a​S=0 et ∂bS=0\partial_b S=0∂b​S=0

Pour comprendre, fais des exercices !

En minimisant $S(a,b)=\sum_{i=1}^n (y_i-ax_i-b)^2$ via $\partial_a S=0$ et $\partial_b S=0$