7.2 7.2 Propiedades de los estimadores
7.2 Propiedades de los estimadores
Para la población normal \(N(\mu, \sigma^2) \) se usan \(\hat{\mu} = \bar{X} \) y \(\hat{\sigma}^2 = S_c^2 \), la cuasivarianza muestral con denominador \(n - 1 \), que sí es insesgada.
La necesidad de propiedades
En esta sección juzgaremos a los estimadores por sus propiedades: veremos que la media muestral \(\bar{X} \) es insesgada y consistente para la media poblacional \(\mu \), mientras que la varianza muestral con denominador \(n \) tiene sesgo \(-\frac{\sigma^2}{n} \)
El problema de la estimación puntual consiste en la búsqueda de un estimador que aproxime al parámetro theta.
Es deseable obtener una buena aproximación, en otras palabras, sería deseable que la función de la muestra que utilicemos para estimar el parámetro desconocido verificase una serie de propiedades.
A continuación daremos las propiedades que nos van a permitir evaluar la bondad u optimalidad de un estimador.
Intuitivamente, las características que serían deseables para esta nueva variable aleatoria que llamamos estimador son las siguientes.
Consistencia
Para estimar la media \(\mu \) de una población se proponen dos estimadores: la media muestral \(\bar{X} \) y la primera observación \(X_1 \)
Ambos son insesgados, pero \(\text{Var}(\bar{X}) = \frac{\sigma^2}{n} \) es mucho menor que \(\text{Var}(X_1) = \sigma^2 \): \(\bar{X} \) es más eficiente.
Un estimador \(\hat{\theta}_n \) de theta es consistente si, cuando el tamaño de la muestra crece arbitrariamente, el valor estimado se aproxima al verdadero y desconocido valor del parámetro.
Formalmente, la consistencia se expresa como convergencia en probabilidad:
Esto significa que para muestras muy grandes la probabilidad de que el estimador se aleje del parámetro más de una cantidad prefijada se hace tan pequeña como queramos.
Una condición suficiente y muy útil para la consistencia es la siguiente:
si \(E[\hat{\theta}_n] \to \theta \) y \(\text{Var}(\hat{\theta}_n) \to 0 \), entonces \(\hat{\theta}_n \) es consistente.
Esta condición se deduce de la desigualdad de Tchebychev y nos evita trabajar directamente con la definición de convergencia en probabilidad.
Insesgadez
La media muestral es consistente para \(\mu \): cuando \(n \to \infty \), \(\bar{X}_n \xrightarrow{P} \mu \)
Con muestras enormes, la probabilidad de que la media muestral se aleje de la media poblacional se hace tan pequeña como se quiera.
Un estimador \(\hat{\theta} \) de theta es insesgado si su esperanza coincide con el parámetro que se pretende estimar:
Intuitivamente, el valor medio que se obtiene de la estimación para un número suficientemente grande de muestras diferentes debe ser el valor del parámetro.
Si \(E[\hat{\theta}] \neq \theta \), el estimador se dice sesgado, y se llama sesgo a la diferencia $$\text{Sesgo}(\hat{\theta}) = E[\hat{\theta}] - \theta $$
Un sesgo positivo indica que el estimador tiende a sobreestimar el parámetro, y un sesgo negativo que tiende a infraestimarlo.
Eficiencia
La media muestral es insesgada para \(\mu \): \(E[\bar{X}] = \mu \)
En cambio, la varianza muestral con denominador \(n \), \(S^2 = \frac{1}{n}\sum (X_i - \bar{X})^2 \), verifica \(E[S^2] = \frac{n-1}{n}\sigma^2 \): tiene sesgo \(-\frac{\sigma^2}{n} \)
Al estimador, por ser una variable aleatoria, no puede exigírsele que para una muestra cualquiera se obtenga como estimación el valor exacto del parámetro.
Sin embargo, podemos pedirle que su dispersión con respecto al valor central sea tan pequeña como sea posible.
Entre dos estimadores insesgados de un mismo parámetro, se dice más eficiente el de menor varianza.
El error cuadrático medio de un estimador, $$\text{ECM}(\hat{\theta}) = E[(\hat{\theta} - \theta)^2] = \text{Var}(\hat{\theta}) + \text{Sesgo}(\hat{\theta})^2 $$, combina ambas ideas: mide la distancia media al cuadrado entre el estimador y el parámetro, y para estimadores insesgados coincide con la varianza.
Existe una cota inferior teórica para la varianza de los estimadores insesgados, la cota de Cramér Rao, de modo que un estimador insesgado que alcanza dicha cota se dice eficiente en sentido absoluto.
Suficiencia
Entre \(\bar{X} \) y la mediana muestral como estimadores de \(\mu \) en una población normal, ambos son insesgados, pero \(\text{Var}(\bar{X}) = \frac{\sigma^2}{n} \) es menor que la varianza de la mediana: la media muestral es más eficiente.
El estimador debería aprovechar toda la información existente en la muestra.
Un estimador se dice suficiente si resume toda la información que la muestra contiene acerca del parámetro, de modo que, conocido el valor del estimador, los datos restantes no aportan nada nuevo sobre theta.
Esta propiedad es más técnica y la enunciamos aquí solo de forma intuitiva.
Cuadro de estimadores de interés
En una población \(N(\mu, \sigma^2) \) con \(\sigma^2 \) conocida, la media muestral \(\bar{X} \) resume toda la información de la muestra acerca de \(\mu \): es un estimador suficiente.
Basándonos en las propiedades anteriormente mencionadas podemos construir el siguiente cuadro donde se definen los estimadores de los parámetros de las distribuciones de probabilidad más importantes.
Para la población normal \(N(\mu, \sigma^2) \) los estimadores son \(\hat{\mu} = \bar{X} \) y \(\hat{\sigma}^2 = S_c^2 \), donde \(S_c^2 \) es la cuasivarianza muestral.
Para la población de Bernoulli \(\text{Be}(p) \) el estimador es \(\hat{p} = \bar{X} \)
Para la binomial \(B(N, p) \) con N conocido, el estimador es \(\hat{p} = \frac{\bar{X}}{N} \)
Para la población de Poisson \(P(\lambda) \) el estimador es \(\hat{\lambda} = \bar{X} \)
Para la exponencial \(\text{Exp}(\lambda) \) el estimador es \(\hat{\lambda} = \frac{1}{\bar{X}} \)
Todos estos estimadores son consistentes e insesgados.
Demuestra que la media muestral \(\bar{X} \) es un estimador insesgado y consistente de \(\mu \)
Para resolver este ejemplo empezaremos por calcular la esperanza de la media muestral para estudiar la insesgadez.
A continuación calcularemos su varianza.
Para terminar aplicaremos la condición suficiente de consistencia.
Esperanza de la media muestral.
Por definición, \(\bar{X} = \frac{1}{n}\sum_{i=1}^{n} X_i \)
Aplicando la linealidad de la esperanza:
Como la esperanza del estimador coincide con el parámetro, \(\bar{X} \) es un estimador insesgado de \(\mu \), con sesgo nulo.
Varianza de la media muestral.
Al ser las variables independientes, la varianza de la suma es la suma de las varianzas:
La varianza del estimador disminuye al aumentar el tamaño muestral, lo que refleja que con más datos la estimación es más precisa.
Consistencia del estimador.
Ya hemos visto que \(E[\bar{X}] = \mu \) para todo n, luego \(E[\bar{X}] \to \mu \) trivialmente.
Además, $$\text{Var}(\bar{X}) = \frac{\sigma^2}{n} \to 0 $$ cuando n tiende a infinito.
Se cumplen las dos condiciones suficientes, luego la media muestral es un estimador consistente de la media poblacional.
Se define la varianza muestral sin corregir $$S_n^2 = \frac{1}{n}\sum_{i=1}^{n}(X_i - \bar{X})^2 $$ y la cuasivarianza muestral $$S_c^2 = \frac{1}{n-1}\sum_{i=1}^{n}(X_i - \bar{X})^2 $$
Comprueba si son estimadores insesgados de \(\sigma^2 \)
Para resolver este ejemplo empezaremos por desarrollar la suma de cuadrados de las desviaciones respecto a la media.
A continuación calcularemos su esperanza.
Para terminar deduciremos la esperanza de cada uno de los dos estimadores y concluiremos cuál es insesgado.
Desarrollo de la suma de cuadrados.
Desarrollamos el cuadrado de la desviación:
Esta identidad se obtiene desarrollando el cuadrado y usando que la suma de las desviaciones respecto a la media es cero.
Esperanza de la suma de cuadrados.
Tomamos esperanzas en la identidad anterior.
Por un lado, $$E[X_i^2] = \text{Var}(X_i) + E[X_i]^2 = \sigma^2 + \mu^2 $$, luego $$E\left[\sum_{i=1}^{n}X_i^2\right] = n(\sigma^2 + \mu^2) $$
Por otro lado, usando que $$E[\bar{X}^2] = \text{Var}(\bar{X}) + E[\bar{X}]^2 = \frac{\sigma^2}{n} + \mu^2 $$, obtenemos $$E[n\bar{X}^2] = n\left(\frac{\sigma^2}{n} + \mu^2\right) = \sigma^2 + n\mu^2 $$
Restando:
Insesgadez de cada estimador.
Para la varianza muestral sin corregir:
luego \(S_n^2 \) es un estimador sesgado de \(\sigma^2 \), con sesgo \(-\frac{\sigma^2}{n} \), es decir, tiende a infraestimar la varianza.
Para la cuasivarianza muestral:
luego \(S_c^2 \) es un estimador insesgado de \(\sigma^2 \)
Por eso en la práctica se usa la cuasivarianza, que corrige el sesgo dividiendo entre ene menos uno en lugar de entre ene.
Sea \(X_1, \dots, X_n \) una muestra aleatoria simple de una población con media \(\mu \) y varianza \(\sigma^2 \)
Se proponen como estimadores de \(\mu \) la media muestral \(\hat{\mu}_1 = \bar{X} \) y el primer dato \(\hat{\mu}_2 = X_1 \)
Con \(n = 10 \) y \(\sigma^2 = 4 \), compara su eficiencia mediante el error cuadrático medio.
Para resolver este ejemplo empezaremos por comprobar que ambos estimadores son insesgados, de modo que el error cuadrático medio coincide con la varianza.
A continuación calcularemos la varianza de cada uno.
Para terminar compararemos los errores cuadráticos medios y concluiremos cuál es más eficiente.
Insesgadez de ambos estimadores.
La media muestral es insesgada, \(E[\bar{X}] = \mu \), como demostramos en el ejemplo 1.
El primer dato también lo es, pues \(E[X_1] = \mu \) al estar idénticamente distribuido que la población.
Al ser ambos insesgados, su error cuadrático medio coincide con su varianza.
Varianzas y errores cuadráticos medios.
Para la media muestral:
Para el primer dato:
Comparación de la eficiencia.
Como \(0,4 < 4 \), la media muestral es más eficiente que usar un solo dato: su error cuadrático medio es diez veces menor.
La media muestral aprovecha toda la información de la muestra, mientras que \(X_1 \) desperdicia los otros nueve datos.
Ambos estimadores son insesgados, pero \(\bar{X} \) es más eficiente que \(X_1 \), con errores cuadráticos medios \(0,4 \) frente a \(4 \)
Este ejemplo muestra por qué la eficiencia importa: entre dos estimadores insesgados hay que elegir el de menor varianza.