2.10 2.10 Rectas de regresión mínimo-cuadráticas
El problema de la predicción
Conocidas las dos características \(X \ \text{e}\ Y \) de un conjunto de individuos, es frecuente querer estimar el valor de \(Y \) para un individuo del que solo se conoce \(X \)
Se trata de aproximar \(Y \) mediante una función de \(X \), que denotaremos \(Y^* \); la función más sencilla es una recta.
Para cada valor observado se comete un error, que es la diferencia entre el valor real y el valor estimado: \(e = Y - Y^* \)
Entre todas las rectas posibles se elige la que minimiza el error cuadrático medio cometido al sustituir los valores reales por los estimados, \(\mathrm{ECM} = \overline{e^2} \): por eso se habla de rectas de regresión mínimo-cuadráticas.
La función que minimiza la media de los cuadrados de los errores es la curva de regresión empírica; su media coincide con la media de la variable y los errores que comete tienen media nula.
Una inmobiliaria conoce la superficie de un piso (\(X \)) pero no su precio (\(Y \)): con la recta de regresión estima el precio a partir de la superficie, cometiendo en cada piso un error \(e = Y - Y^* \)
Deducción de la recta de regresión de $$Y $$ sobre $$X $$ por mínimo-cuadrados
Se busca la recta \(Y^* = a + b\cdot X \) que minimiza el error cuadrático medio $$\mathrm{ECM} = \overline{(Y - a - b\cdot X)^2} $$
Derivando respecto de \(a \) y respecto de \(b \) e igualando a cero se obtienen las ecuaciones normales:
Multiplicando la primera ecuación por \(\bar{x} \) y restándola de la segunda queda $$\overline{xy} - \bar{x}\cdot\bar{y} = b\cdot\left(\overline{x^2} - \bar{x}^2\right) $$, es decir, \(S_{XY} = b\cdot S_{XX} \)
Por tanto, la pendiente de la recta es \(b = \frac{S_{XY}}{S_{XX}} \) y, despejando en la primera ecuación normal, la ordenada en el origen es \(a = \bar{y} - b\,\bar{x} \), donde \(S_{XX} = S_X^2 \) es la varianza de \(X \)
La pendiente \(b = \frac{S_{XY}}{S_{XX}} \) sale de las ecuaciones normales: es la covarianza dividida entre la varianza de \(X \), de modo que su signo es el de la covarianza.
Significado de los coeficientes
La recta pasa siempre por el punto de las medias \((\bar{x}, \bar{y}) \), como se comprueba sustituyendo \(X = \bar{x} \) en la primera ecuación normal.
El coeficiente \(a \) es la ordenada en el origen: el valor que toma \(Y \), según la recta, cuando \(X \) vale \(0 \); se mide en las mismas unidades que la variable \(Y \)
El coeficiente \(b \) es la pendiente de la recta, es decir, la tangente del ángulo que forma con el eje horizontal: \(b = \mathrm{tg}(\alpha) \); se mide en unidades de \(Y \) por unidad de \(X \), e indica cuánto varía \(Y^* \) cuando \(X \) aumenta en una unidad: \(b = \frac{\Delta y^*}{\Delta x} \)
Su signo coincide con el de la covarianza, y por tanto con el del coeficiente de correlación lineal: \(b > 0 \) si la relación es directa y \(b < 0 \) si es inversa.
Si la recta es \(Y^* = 50 + 3X \), cada unidad adicional de \(X \) aumenta la estimación en 3 unidades de \(Y \); además, la recta pasa siempre por \((\bar{x}, \bar{y}) \)
Recta de regresión de $$X $$ sobre $$Y $$ y relación entre las dos rectas
Si lo que se conoce es \(Y \) y se quiere estimar \(X \), la recta mínimo-cuadrática es $$X^* = a' + b'\cdot Y ,\ \text{con}\ b' = \frac{S_{XY}}{S_{YY}} $$ y \(a' = \bar{x} - b'\,\bar{y} \), donde \(S_{YY} = S_Y^2 \)
También pasa por \((\bar{x}, \bar{y}) \), que es el punto de corte de ambas rectas.
En general las dos rectas no coinciden: no se puede despejar una a partir de la otra.
El producto de sus pendientes coincide con el cuadrado del coeficiente de correlación lineal:
$$b\cdot b' = \frac{S_{XY}}{S_{XX}}\cdot\frac{S_{XY}}{S_{YY}} = \frac{S_{XY}^2}{S_{XX}\cdot S_{YY}} = r_{XY}^2 $$,
de modo que \(r_{XY} = \pm\sqrt{b\cdot b'} \), con el signo de \(r_{XY} \) igual al signo de \(b \) e igual al signo de \(b' \)
Si la relación lineal es perfecta (\(|r_{XY}| = 1 \)), ambas rectas coinciden y una puede despejarse a partir de la otra;
si no existe relación lineal (\(r_{XY} = 0 \)), ambas rectas son perpendiculares entre sí y paralelas a los ejes, pues cada una coincide con la media de su variable: \(Y^* = \bar{y} \) y \(X^* = \bar{x} \)
Estimar la superficie conociendo el precio usa la otra recta, \(X^* = a' + b'Y \), que no se obtiene despejando \(X \) en \(Y^* = a + bX \): cada recta minimiza sus propios errores.
Los errores del ajuste: varianza residual y descomposición de la varianza
Los errores o residuos \(e = Y - Y^* \) tienen media nula, \(\bar{e} = 0 \), y están incorrelados con la variable \(X \)
El error cuadrático medio mínimo coincide entonces con la varianza de los errores, llamada varianza residual:
En efecto, como $$e = Y - Y^* = (Y - \bar{y}) - b\cdot(X - \bar{x}) $$, queda
La varianza total de \(Y \) se descompone en la parte explicada por la recta y la parte no explicada por la recta (la varianza residual):
\(S_Y^2 = S_{Y^*}^2 + S_e^2 \),
es decir, varianza total = varianza explicada + varianza no explicada.
El coeficiente de determinación $$R^2 = \frac{\text{varianza explicada}}{\text{varianza total}} = 1 - \frac{\text{varianza no explicada}}{\text{varianza total}} $$ mide la proporción de la varianza explicada por la recta: está acotado entre \(0 \) y \(1 \) y coincide con el cuadrado del coeficiente de correlación lineal, \(R^2 = r_{XY}^2 \)
Si \(r_{XY} = 0 \), la varianza residual iguala a la varianza de la variable: los errores son lo mayor posible.
Si \(|r_{XY}| = 1 \), la varianza residual es nula: todos los errores son cero y los puntos están alineados.
Con \(r_{XY} = 0,8 \) y \(S_Y^2 = 25 \), la varianza residual es \(S_e^2 = 25 \cdot (1 - 0,64) = 9 \): el 36 % de la varianza de \(Y \) queda sin explicar por la recta.
Uso de la recta en la predicción: interpolación y extrapolación
Para predecir, basta sustituir en \(Y^* = a + b\cdot X \) el valor conocido de \(X \)
Si el valor está dentro del rango de valores de \(X \) observados se habla de interpolación, y la predicción es razonable;
si está fuera de ese rango se habla de extrapolación, y la predicción no es fiable, porque la relación lineal puede dejar de ser válida lejos de los datos.
Para aquellos seis pares se tiene \(\bar{x} = 3,5 \), \(\bar{y} = \frac{23}{6} \approx 3,833 \), \(S_{XY} = 1,75 \) y \(S_{XX} = \frac{17,5}{6} \approx 2,917 \)
La pendiente es $$b = \frac{1,75}{17,5/6} = \frac{10,5}{17,5} = 0,6 $$
La ordenada en el origen es $$a = \frac{23}{6} - 0,6\cdot 3,5 \approx 3,833 - 2,1 = 1,733 $$
La recta de regresión de \(Y \) sobre \(X \) es \(Y^* = 1,733 + 0,6\cdot X \)
Para \(X = 7 \) la predicción es $$Y^* = 1,733 + 0,6\cdot 7 = 1,733 + 4,2 = 5,933 \approx 5,93 $$; obsérvese que \(X = 7 \) está fuera del rango observado (de \(1 \) a \(6 \)): es una extrapolación y, por tanto, menos fiable que una interpolación.
Enunciado: Se han registrado las horas de estudio \(X \) y la calificación \(Y \) (sobre 10) de ocho estudiantes: \((1,4) \), \((2,5) \), \((3,3) \), \((4,6) \), \((5,7) \), \((6,6) \), \((7,10) \) y \((8,9) \). Halla la recta de regresión de \(Y \) sobre \(X \) y predice la calificación para \(X = 10 \) y para \(X = 5 \)
Necesitamos las medias, la varianza de \(X \) y la covarianza.
Empezaremos calculando \(\bar{x} \ \text{e}\\\bar{y} \); a continuación \(S_X^2 \) y \(S_{XY} \) con las fórmulas operativas; después obtendremos \(b \) y \(a \);
para terminar sustituiremos los dos valores de \(X \)
Cálculo de las medias.
Varianza de \(X \) y covarianza.
La media del producto es $$\overline{xy} = \frac{4 + 10 + 9 + 24 + 35 + 36 + 70 + 72}{8} = \frac{260}{8} = 32,5 $$, de modo que $$S_{XY} = 32,5 - 4,5\cdot 6,25 = 32,5 - 28,125 = 4,375 $$
Coeficientes de la recta.
La recta es \(Y^* = 2,5 + 0,833\cdot X \), que pasa por \((4,5;\,6,25) \)
Predicciones.
Para \(X = 10 \): $$Y^* = 2,5 + 0,833\cdot 10 = 2,5 + 8,333 = 10,833 \approx 10,83 $$
Pero \(X = 10 \) está fuera del rango observado (de \(1 \) a \(8 \) horas): es una extrapolación y no es fiable; de hecho, la predicción supera la nota máxima de \(10 \), lo que muestra el peligro de extrapolar.
Para \(X = 5 \): $$Y^* = 2,5 + 0,833\cdot 5 = 2,5 + 4,167 = 6,667 \approx 6,67 $$; al estar dentro del rango observado, es una interpolación y esta predicción sí es razonable (el valor real observado fue \(7 \)).
Así pues, la recta de regresión es \(Y^* = 2,5 + 0,833\cdot X \): cada hora adicional de estudio aumenta la nota estimada en \(0,833 \) puntos; la predicción para \(5 \) horas es \(6,67 \), mientras que la de \(10 \) horas (\(10,83 \)) no es válida por ser una extrapolación.
Enunciado: Con los pares del Ejemplo 2 de la sección 2.8, \((2,1) \), \((3,3) \), \((4,2) \), \((5,5) \) y \((6,4) \), halla la recta de regresión de \(Y \) sobre \(X \) y predice el valor de \(Y \) para \(X = 7 \) y para \(X = 5 \)
Necesitamos las medias, la varianza de \(X \) y la covarianza.
Empezaremos recuperando esos valores del Ejemplo 2 de la sección 2.8; a continuación obtendremos \(b \) y \(a \);
para terminar sustituiremos los dos valores de \(X \) y comentaremos si cada predicción es interpolación o extrapolación.
Medias, varianza y covarianza.
Del Ejemplo 2 de la sección 2.8: \(\bar{x} = 4 \), \(\bar{y} = 3 \) y \(S_{XY} = 1,6 \)
Del Ejemplo 2 de la sección 2.9: \(S_X^2 = 2 \)
Coeficientes de la recta.
La recta es \(Y^* = -0,2 + 0,8\cdot X \), que pasa por \((4;\,3) \), pues \(-0,2 + 0,8\cdot 4 = 3 \)
Cada unidad adicional de \(X \) aumenta la estimación en \(0,8 \) unidades de \(Y \)
Predicciones.
Para \(X = 7 \): \(Y^* = -0,2 + 0,8\cdot 7 = -0,2 + 5,6 = 5,4 \)
Pero \(X = 7 \) está fuera del rango observado (de \(2 \) a \(6 \)): es una extrapolación y, por tanto, menos fiable.
Para \(X = 5 \): \(Y^* = -0,2 + 0,8\cdot 5 = -0,2 + 4 = 3,8 \); al estar dentro del rango observado, es una interpolación y esta predicción sí es razonable (el valor real observado fue \(4 \)).
Así pues, la recta de regresión es \(Y^* = -0,2 + 0,8\cdot X \)
La predicción para \(5 \) es \(3,8 \) (interpolación, razonable), mientras que la de \(7 \) (\(5,4 \)) es una extrapolación y, por tanto, menos fiable.
Enunciado: Con los mismos pares del Ejemplo 2 de esta sección (\((2,1) \), \((3,3) \), \((4,2) \), \((5,5) \) y \((6,4) \)), halla la recta de regresión de \(X \) sobre \(Y \), comprueba que \(b\cdot b' = r_{XY}^2 \) y estima \(X \) para \(Y = 6 \)
Para la recta \(X^* = a' + b'\cdot Y \) necesitamos \(b' = \frac{S_{XY}}{S_{YY}} \) y \(a' = \bar{x} - b'\,\bar{y} \). Empezaremos recuperando los valores necesarios; a continuación obtendremos la recta y comprobaremos la relación entre las pendientes;
para terminar haremos la predicción pedida.
Valores necesarios.
De los ejemplos anteriores: \(\bar{x} = 4 \), \(\bar{y} = 3 \), \(S_{XY} = 1,6 \) y \(S_Y^2 = 2 \)
Además, del Ejemplo 2: \(b = 0,8 \) y \(r_{XY} = 0,8 \)
Recta de X sobre Y y relación entre pendientes.
La recta es \(X^* = 1,6 + 0,8\cdot Y \), que también pasa por \((4;\,3) \)
Se verifica $$b\cdot b' = 0,8\cdot 0,8 = 0,64 = 0,8^2 = r_{XY}^2 $$
Las dos rectas no coinciden: no se puede despejar una a partir de la otra.
Predicción para Y = 6.
Como \(Y = 6 \) está fuera del rango observado de \(Y \) (de \(1 \) a \(5 \)), es una extrapolación y la predicción no es fiable.
La recta de regresión de \(X \) sobre \(Y \) es \(X^* = 1,6 + 0,8\cdot Y \), distinta de la de \(Y \) sobre \(X \), y se cumple \(b\cdot b' = r_{XY}^2 = 0,64 \)