Chequeo de la calidad en la estimación de modelos estadísticos

[Víctor de Buen Remiro]

Cuando se desarrolla cualquier tipo de estimador de modelos estadísticos que se pretenda robusto y eficaz, es necesario contar con una batería de pruebas lo más completa que sea posible que abarque al menos estos tres tipos de casos:

1. Ejemplos prácticos similares a aquellos a los que se enfrentará el programa en la vida real y de los cuales se tenga una solución aceptada previamente para poder comparar.
2. Ejemplos patológicos, es decir, casos que se sabe que son realmente complicados por su tamaño o su estructura, y que con frecuencia hacen fracasar a los enfoques menos sofisticados.
3. Ejemplos arbitrarios generados de forma aleatoria para cubrir un espectro lo más amplio posible mediante ingeniería inversa, siguiendo los siguientes pasos conceptuales:
   1. se generan las componentes estocásticas independientes, residuos, varianzas, etc.; según la distribución que toque, usualmente multinormales o uniformes independientes .
   2. se generan los parámetros del modelo de forma compatible con su definición y abarcando toda la región factible en la medida de los posible. En principio suele bastar con tomar uniformes independientes o alguna transformación polinómica de las mismas.
   3. se genera la información auxiliar externa como filtrados, inputs, omitidos, censuras, etc.
   4. se genera el output sin más que aplicar la fórmula del modelo a todos los datos y parámetros que han sido creados anteriormente de forma arbitraria, y a los que llamaremos valores reales del chequeo.

Este último tipo de chequeo es el que introduce mayor robustez si se tiene cuidado en que la generación arbitraria tenga sentido y cree modelos que exploren de forma exhaustiva la clase de modelos objetivo del estimador.

Al disponer de los valores reales es posible contrastar con ellos de forma objetiva los resultados del modelo estimado, aunque no es desde luego nada trivial en modelos no lineales o muy correlados, ya que en tales casos puede haber soluciones tan buenas o mejores como la real en puntos que no tienen que estar necesariamente cerca de la misma. No podemos por lo tanto comparar los parámetros tal cual pues si salen parecidos podemos pensar que está bien pero no nos dice nada si salen distintos.

Un criterio para aceptar el modelo que resulta razonable en este caso es el del cociente de verosimilitudes. Si el estimado tiene mayor verosimilitud que el real se debe aceptar sin duda y si sale menor podemos asignarle una probabilidad de rechazo igual al cociente entre la estimada y la real.

Veamos un ejemplo de un modelo ARMA para el cual los residuos estimados son algo mejores que los reales, aunque básicamente iguales tal y como se ve en la siguiente tabla de estadísticos:

Estadístico	real	estimado
log(Likelihood)	-1461.864561	-1461.809901
Longitud	1582	1582
Máximo	0.338965275	0.33053987
Mínimo	-0.354639712	-0.354291805
Media	0.002125127	0.002097213
Desv. Est.	0.099243721	0.099027211
Varianza	0.009849316	0.009806388
Asimetría	-0.001717165	-0.002169424
Kurtosis	0.068381652	0.063781302
Mediana	-5.30E-05	0.000237269

En esta gráfica con zoom sobre los residuos reales y estimados se observa que son prácticamente iguales:

Es evidente que el modelo debe ser aceptado como bueno pues es de hecho mejor que el real. Sin embargo al ver los parámetros del modelo nos encontramos con que no se parecen en nada los estimados a los reales:

Parámetro	real	estimado
AR 1	0.582484395	0.026651124
AR 2	-0.04008708	0.334896703
MA 1	-0.174537753	-0.684378545

La razón en este caso es la alta correlación entre los parámetros que se ha estimado como

Correlations	AR 1	AR 2	MA 1
AR 1	1	-0.931503299	0.976040888
AR 2	-0.931503299	1	-0.953649893
MA 1	0.976040888	-0.953649893	1

[Víctor de Buen Remiro]

cmp_res