Una gran cantidad de conocimiento empírico acerca de los pronósticos ha venido de comparaciones de las diferentes metodologías. La Prueba-M (Makridakis et al. [1982]), Prueba M-3 (Makridakis and Hibon [2000]) y Prueba M-4 (Makridakis et al. [2019]) son las más grandes y famosas de estas comparaciones. Forecast Pro participó en las pruebas M-3 y M-4 y se desempeñó de mejor manera que todos los otros softwares comerciales participantes en las dos pruebas.
La sencilla metodología de comparación de la Prueba-M original era como se muestra a continuación.
Los investigadores juntaron una colección de 1001 series de tiempo de datos anuales, trimestrales y mensuales. Los datos fueron obtenidos de fuentes microeconómicas, a nivel de industria, macroeconómicas y demográficas. Veinte métodos de pronósticos fueron puestos a prueba para la muestra completa de 1001 series de tiempo y tres en un subconjunto de solamente 111 series de tiempo.
Una muestra de puntos en el tiempo (6 para series anuales, 8 para trimestrales y 18 para mensuales) fueron reservados del final de cada serie de tiempo. Cada modelo de pronóstico fue ajustado a los datos restantes y utilizado para pronosticar los valores de la muestra que fue reservada. Los pronósticos fueron entonces comparados con los valores de la muestra reservada, y los errores calculados para cada horizonte, cada serie de tiempo y cada método de pronósticos. Los errores fueron entonces resumidos y analizados en una variedad de formas.
La debilidad más significativa en esta metodología es que utiliza solamente una base de pronóstico para cada serie de tiempo, el último punto de la muestra ajustada. Uno solamente obtiene un “vistazo” del desempeño de un punto en el tiempo. Una base de pronóstico que se encuentra justo antes o después de un evento dramático en los datos puede cambiar por completo los resultados. Adicionalmente, se obtiene solamente un error de pronóstico por cada tiempo de horizonte desde 1 al final del conjunto ajustado. A este procedimiento se le conoce como evaluación estática.
Forecast Pro implementa ambos, una evaluación estática y una de base continua. El procedimiento de base continua comienza de la misma forma. Sin embargo, después de que los pronósticos han sido creados, el modelo avanza por un periodo. Los pronósticos son entonces creados desde la nueva base hasta el final de los datos reservados. Este proceso es repetido hasta que el conjunto de datos separados ha sido acabado. Si se han reservado 6 puntos de datos, entonces usted obtiene 6 pronósticos de un paso, 5 de dos pasos, 4 de tres pasos, etc.
Los coeficientes del modelo no son estimados de nuevo conforme cada punto de datos adicional es asimilado. El modelo de pronóstico es basado enteramente en el conjunto ajustado original.