Caderno ComuniDados —
Forecast 201
Caderno técnico reproduzível sobre janelas, gaps, sobreposição, refit, validação aninhada e teste final.
LAB 02 · V1EXECUTADO · TESTADO
Pergunta
Mantidos os dados, os modelos, o horizonte e as métricas, em que medida o protocolo de validação temporal altera a estimativa de desempenho e o ranking?
Desenho
| Elemento | Definição |
|---|---|
| Série | sintética, diária, 1.460 observações, semente 201 |
| Desenvolvimento | 1.292 dias |
| Teste final | 168 dias bloqueados, seis origens não sobrepostas |
| Horizonte | 28 dias |
| Modelos | seasonal naive, média sazonal e regressão de calendário |
| Janelas | expansiva, 365 dias e 180 dias |
| Gaps | 0, 7 e 14 dias |
| Passos | 28, 14 e 7 dias |
| Refit | toda origem, a cada 2 ou a cada 4 origens |
| Seleção | validação temporal aninhada de 180, 365 ou 730 dias |
| Métricas | MAE, WAPE e viés |
Sensibilidade no desenvolvimento
| Protocolo | Seasonal naive | Média sazonal | Regressão | Vencedor |
|---|---|---|---|---|
| Expansiva | 5,34% | 8,49% | 8,89% | Seasonal naive |
| Deslizante 365d | 5,34% | 5,30% | 4,63% | Regressão |
| Deslizante 180d | 5,34% | 6,56% | 5,36% | Seasonal naive |
| Gap 7d | 5,65% | 5,36% | 4,91% | Regressão |
| Gap 14d | 5,86% | 5,43% | 5,31% | Regressão |
| Sobreposição 50% | 6,05% | 6,93% | 5,40% | Regressão |
| Sobreposição 75% | 5,51% | 7,40% | 4,89% | Regressão |
| Refit a cada 2 origens | 5,34% | 5,30% | 5,31% | Média sazonal |
| Refit a cada 4 origens | 5,34% | 5,30% | 5,41% | Média sazonal |
Validação aninhada e teste final
A janela foi selecionada apenas em folds internos. A mediana das quatro seleções externas foi 180 dias, configuração congelada antes da abertura do teste final.
| Modelo | MAE final | WAPE final | Viés final |
|---|---|---|---|
| Seasonal naive | 13,97 | 5,77% | -1,14% |
| Média sazonal | 17,02 | 7,06% | 3,88% |
| Regressão de calendário | 12,66 | 5,23% | -0,02% |
Interpretação
A regressão apresentou o menor WAPE no teste final, mas não foi invariavelmente superior no desenvolvimento. Janela, gap e refit representam políticas de uso, e não detalhes neutros de implementação. Folds sobrepostos aumentam a cobertura de origens, mas não geram evidência independente na mesma proporção.
Reprodução
cd laboratorios/forecast-201
python3 forecast_201.py
python3 -m unittest -v test_forecast_201.py
Limitações
Os resultados são sintéticos. A comparação não estima intervalos para diferenças entre modelos e não representa hierarquias, demanda intermitente ou custos de produção. A política de refit foi simplificada.