Comment déterminer les coefficients de la droite de régression à l'aide des dérivées partielles ? | MetMat

Comment déterminer les coefficients de la droite de régression à l'aide des dérivées partielles ?

En minimisant $S(a,b)=\sum_{i=1}^n (y_i-ax_i-b)^2$ via $\partial_a S=0$ et $\partial_b S=0$

Déterminer les coefficients $(a,b)$ de la droite des moindres carrés ajustant un nuage $(x_i,y_i)_{1\le i\le n}$ .

Que ferais-tu face à un exercice de ce type ?

Déterminer la droite de régression de $y$ en $x$ pour le nuage $\{(1,1),(2,2),(3,2),(4,3)\}$ .

L'objectif

Déterminer les coefficients $(a,b)$ de la droite des moindres carrés ajustant un nuage $(x_i,y_i)_{1\le i\le n}$ .

Le principe

La fonction $S\colon (a,b)\mapsto\sum_{i=1}^n (y_i-ax_i-b)^2$ est une fonction polynomiale $\mathcal{C}^2$ de deux variables, convexe ; son unique point critique, obtenu en annulant le gradient, est un minimum global et fournit $a=\dfrac{\mathrm{Cov}(x,y)}{\mathrm{V}(x)}$ et $b=\bar y-a\bar x$ .

La méthode

1
Je pose $S(a,b)=\displaystyle\sum_{i=1}^n (y_i-ax_i-b)^2$ ; $S$ est polynomiale donc $\mathcal{C}^2$ sur $\mathbb{R}^2$ .
2
Je calcule $\partial_a S(a,b)=-2\sum_i x_i(y_i-ax_i-b)$ et $\partial_b S(a,b)=-2\sum_i (y_i-ax_i-b)$ .
3
Je résous $\nabla S=0$ : la deuxième équation donne $b=\bar y-a\bar x$ ; en l'injectant dans la première et en utilisant $\mathrm{Cov}(x,y)=\frac{1}{n}\sum x_iy_i-\bar x\bar y$ et $\mathrm{V}(x)=\frac{1}{n}\sum x_i^2-\bar x^2$ , j'obtiens $a=\dfrac{\mathrm{Cov}(x,y)}{\mathrm{V}(x)}$ (sous l'hypothèse $\mathrm{V}(x)\neq 0$ ).
4
Je confirme que c'est un minimum global : la hessienne $\nabla^2 S=\begin{pmatrix}2\sum x_i^2 & 2\sum x_i\\2\sum x_i & 2n\end{pmatrix}$ est de trace $>0$ et de déterminant $4n\sum x_i^2-4(\sum x_i)^2=4n^2\,\mathrm{V}(x)>0$ , donc ses deux valeurs propres sont strictement positives ; $S$ est convexe et le point critique est son minimum global.
5
Je conclus en donnant la droite de régression $y=ax+b$ avec les valeurs trouvées.

Pour comprendre, fais des exercices !

0/5 validés

Exercice d'exemple

Déterminer la droite de régression de $y$ en $x$ pour le nuage $\{(1,1),(2,2),(3,2),(4,3)\}$ .

Étape 1 —

Je pose

S(a,b)=\displaystyle\sum_{i=1}^n (y_i-ax_i-b)^2

;

S

est polynomiale donc

\mathcal{C}^2

sur

\mathbb{R}^2

Je pose $S(a,b)=(1-a-b)^2+(2-2a-b)^2+(2-3a-b)^2+(3-4a-b)^2$ , polynomiale donc $\mathcal{C}^2$ sur $\mathbb{R}^2$ .

Étape 2 —

Je calcule

\partial_a S(a,b)=-2\sum_i x_i(y_i-ax_i-b)

\partial_b S(a,b)=-2\sum_i (y_i-ax_i-b)

$\partial_a S=-2[1\cdot(1-a-b)+2(2-2a-b)+3(2-3a-b)+4(3-4a-b)]$ et $\partial_b S=-2[(1-a-b)+(2-2a-b)+(2-3a-b)+(3-4a-b)]$ .

Étape 3 —

Je résous

\nabla S=0

: la deuxième équation donne

b=\bar y-a\bar x

; en l'injectant dans la première et en utilisant

\mathrm{Cov}(x,y)=\frac{1}{n}\sum x_iy_i-\bar x\bar y

\mathrm{V}(x)=\frac{1}{n}\sum x_i^2-\bar x^2

, j'obtiens

a=\dfrac{\mathrm{Cov}(x,y)}{\mathrm{V}(x)}

(sous l'hypothèse

\mathrm{V}(x)\neq 0

Je calcule $\bar x=\tfrac{10}{4}=2{,}5$ , $\bar y=\tfrac{8}{4}=2$ , $\sum x_iy_i=1+4+6+12=23$ , $\sum x_i^2=1+4+9+16=30$ . Donc $\mathrm{Cov}(x,y)=\tfrac{23}{4}-2{,}5\times 2=0{,}75$ et $\mathrm{V}(x)=\tfrac{30}{4}-2{,}5^2=1{,}25$ , d'où $a=\tfrac{0{,}75}{1{,}25}=0{,}6$ et $b=2-0{,}6\times 2{,}5=0{,}5$ .

Étape 4 —

Je confirme que c'est un minimum global : la hessienne

\nabla^2 S=\begin{pmatrix}2\sum x_i^2 & 2\sum x_i\\2\sum x_i & 2n\end{pmatrix}

est de trace

>0

et de déterminant

4n\sum x_i^2-4(\sum x_i)^2=4n^2\,\mathrm{V}(x)>0

, donc ses deux valeurs propres sont strictement positives ;

S

est convexe et le point critique est son minimum global.

$\nabla^2 S=\begin{pmatrix}60&20\\20&8\end{pmatrix}$ , trace $68>0$ , déterminant $480-400=80>0$ : les deux valeurs propres sont $>0$ , $S$ est convexe et $(0{,}6\,;0{,}5)$ est son minimum global.

Étape 5 —

Je conclus en donnant la droite de régression

y=ax+b

avec les valeurs trouvées.

La droite de régression est $y=0{,}6\,x+0{,}5$ .

$y=0{,}6\,x+0{,}5$ .

Application guidée

Pour le nuage $\{(0,1),(1,3),(2,5)\}$ , déterminer la droite de régression.

Application autonome 1

Démontrer dans le cas général que le point critique de $S$ vérifie $b=\bar y-a\bar x$ et $a=\dfrac{\mathrm{Cov}(x,y)}{\mathrm{V}(x)}$ (avec $\mathrm{V}(x)\neq 0$ ).

Application autonome 2

Déterminer la droite de régression de $y$ en $x$ pour le nuage $\{(1, 2), (2, 3), (3, 5), (4, 6)\}$ .

Application autonome 3

Déterminer la droite de régression de $y$ en $x$ pour le nuage $\{(0, 2), (1, 1), (2, 0)\}$ .

Crée ton compte pour accéder à la fiche et aux exercices

En minimisant S(a,b)=∑i=1n(yi−axi−b)2S(a,b)=\sum_{i=1}^n (y_i-ax_i-b)^2S(a,b)=∑i=1n​(yi​−axi​−b)2 via ∂aS=0\partial_a S=0∂a​S=0 et ∂bS=0\partial_b S=0∂b​S=0

Pour comprendre, fais des exercices !

En minimisant $S(a,b)=\sum_{i=1}^n (y_i-ax_i-b)^2$ via $\partial_a S=0$ et $\partial_b S=0$