方法支柱 7 · 评估与决策集成

所属：方法论地图 03-methods.md · 文献：L-E-01~06

成熟方法

• MASE / sMAPE（点）、CRPS / pinball / Winkler（分布）、Brier（概率）
• 校准检验（PIT / 可靠性图）
• Backtest 协议（滚动 / 扩展窗口）
• 相对误差 vs 基准、newsvendor / 服务水平 / 产能的决策价值评估
• Diebold-Mariano 检验

关键证据

• Hyndman & Koehler 2006（MASE）[S]；Diebold & Mariano 1995 [S]
• M 系列竞赛作为公共基准 [S]

适用条件

• 任何预测任务的标准交付物；「预测好了吗」必须对基准和决策价值回答。

局限

• 只看点误差会误判分布质量；必须配合校准检验。

AI 时代变化

• 基础模型评估更需要分布评分与基准纪律（防止「演示集 SOTA」）。

与 DSF 的关系

• 学科默认：一切评估走 06-evidence.md 与 DSF-Bench 协议。