训练集 R² 高达 0.94，渠道 ROI 排名清清楚楚，预算优化器也给出了精确方案——但这些都不能单独证明模型值得信任。真正的检验，从模型预测没见过的数据开始。
一个 MMM 模型用过去两年的周度数据拟合销售额，训练集 R² 达到 0.94，MAPE 只有 6%。直觉上，这似乎已经足够准确。但模型可能只是很好地记住了历史：季节性变量吸收了节日波动，渠道花费恰好和销售同步，过多的参数又把剩余噪音解释掉。等它面对下一段没有参与训练的数据，误差可能立刻扩大到 30%。
训练集指标衡量的是样本内拟合（in-sample fit）：模型对自己已经看过的数据解释得多好。它是必要的诊断，但不是泛化能力的证据。模型越复杂，通常越容易提高训练集 R²；如果没有样本外检验，"更高"甚至可能只是更严重的过拟合。
高 R² 不代表渠道系数正确，也不代表 ROI 是因果效应。它只说明这组变量和参数能够解释样本内目标变量的波动。趋势、季节性、促销、价格或共同需求冲击都可能同时推高花费和销售，让模型得到漂亮但错误的渠道归因。
讨论“模型准不准”之前，必须先说明在问哪一个问题。MMM 至少有三个不同层次的准确性，它们需要不同证据：
| 验证层次 | 核心问题 | 主要证据 | 不能证明什么 |
|---|---|---|---|
| 拟合与预测 | 模型能否预测未参与训练的 KPI？ | 时间留出、滚动回测、OOS R² / MAE / MAPE | 不能单独证明各渠道贡献正确 |
| 归因稳定性 | 换时间窗口、引擎或合理设定后，渠道结论是否稳定？ | 区块 Bootstrap、敏感性分析、多引擎对比、符号和排序稳定性 | 稳定的偏差仍然可能是偏差 |
| 因果有效性 | 改变某渠道花费，KPI 是否真的因此改变？ | 随机实验、GeoLift、Conversion Lift、准实验与先验校准 | 单次实验通常不能验证所有渠道和所有预算区间 |
这三个层次是递进关系，不是互相替代。预测失败的模型不应该被用于归因；预测通过，只说明模型抓住了可泛化的总体结构；要把渠道 ROI 当作因果效应，还需要更强的识别假设和实验锚点。
普通机器学习常把数据随机分成训练集和测试集，但 MMM 是时间序列问题。随机切分会让训练集包含测试周之后的数据，模型等于“看到了未来”。趋势、节日周期和 Adstock 的滞后信息会跨越切分边界，得到过于乐观的误差。
更隐蔽的数据泄漏发生在预处理阶段：先用全量数据做标准化、缺失值填充、季节性分解、特征筛选或 Adstock 参数搜索，再切出 Holdout。即使拟合阶段没有使用未来 KPI，预处理已经把未来分布带回了训练期。正确做法是把每个验证折看成一次真正的历史预测：所有从数据学习出来的步骤都必须只在该折的训练窗口内完成。
这里还有一个 MMM 特有的边界：验证窗口内的渠道花费通常是已知的，因此测到的是条件预测能力——给定实际媒体计划和控制变量，模型能否预测 KPI。它不是“在不知道未来花费时预测销售”的纯预测任务。两者都合理，但报告中必须写清楚。
最简单可审计的做法，是按时间保留最后一段数据不参与训练。对周度 MMM，可以从最后 8–12 周起步；但这不是普适标准，窗口必须覆盖实际决策周期，同时给训练集留下足够历史来估计季节性、Adstock 和饱和曲线。
52 周周度数据如果留出 12 周，训练期只剩 40 周，通常不足以稳定识别年度季节性；156 周数据留出 13 周则宽裕得多。验证窗口不是越长越好，而是在“贴近决策周期”和“保留足够训练历史”之间取平衡。数据较短时，应降低模型复杂度并扩大不确定性表述，而不是硬套固定比例。
没有一个指标可以单独概括模型质量。建议至少同时报告下面几项，并始终注明计算窗口：
| 指标 | 计算或含义 | 适用提醒 |
|---|---|---|
| MAE | mean(|y - ŷ|) | 单位直观，对极端误差比 RMSE 不敏感，但不同业务规模之间不可直接比较 |
| RMSE | sqrt(mean((y - ŷ)²)) | 对大误差惩罚更重，适合关注峰值预测失败的场景 |
| MAPE | mean(|y - ŷ| / |y|) | KPI 接近 0 时会爆炸；低销量 SKU 或转化量不宜单独使用 |
| WAPE | Σ|y - ŷ| / Σ|y| | 聚合解释直观，但高量级周期占据更大权重 |
| OOS R² | 相对验证期均值基线减少了多少平方误差 | 可以为负；负值表示还不如用验证期均值作预测。若均值来自验证期本身，它是评估基准，不是可部署预测器 |
| 区间覆盖率 | 实际值落入预测区间的比例 | 必须和区间名义水平及平均宽度一起看；“全部覆盖但区间极宽”没有决策价值 |
不要迷信固定阈值。消费稳定的成熟品牌和高波动的新业务，不可能共用一个“MAPE 小于 10% 就优秀”的标准。更可靠的判断是：是否持续优于朴素基线、不同回测窗口是否稳定、误差是否集中在促销或结构变化期，以及精度是否足以区分待评估预算方案之间的业务差异。
最后 8 周可能恰好是平稳淡季，也可能碰上双十一、断货或价格大调整。只测一次，很容易把一个特殊窗口误当成模型的长期能力。更稳健的方法是Rolling-origin evaluation（滚动起点回测），也叫 expanding-window backtesting：
每一折都只使用当时可获得的数据重新训练，再向前预测固定 horizon。最终不仅看平均误差，还要看误差分布和最差折。对于每月更新预算的团队，可以用 4 周 horizon；季度规划则应加入 13 周 horizon。多 horizon 的结果经常不同：模型可能短期预测不错，但对长期趋势和饱和效应判断很弱。
时间序列折之间会共享大量训练数据，误差并非完全独立。因此回测均值应被视为经验稳定性证据，不要把普通独立样本检验的 p 值机械套在这些折上。需要比较模型时，优先看跨折误差差异是否持续、是否有业务意义，而不是只看小数点后的微小领先。
下面是一组说明判断方法的示例数据，不代表任何真实客户或 SparkX 基准测试。三个模型使用同一份 156 周周度数据、相同的 13 周最终 Holdout，并完成多个 8 周滚动回测：
| 模型 | 训练 R² | 最终 Holdout MAPE | 滚动回测 MAPE | 渠道排序稳定性 | 判断 |
|---|---|---|---|---|---|
| 模型 A | 0.94 | 31% | 27% ± 9% | 低 | 明显过拟合，不进入预算优化 |
| 模型 B | 0.82 | 11% | 13% ± 3% | 高 | 预测最稳，可作为候选 Champion |
| 模型 C | 0.86 | 13% | 14% ± 4% | 中 | 总体可用，但分歧渠道需实验或保守执行 |
如果只按训练 R²，模型 A 会获胜；按样本外表现，它反而最差。模型 B 的训练拟合没有那么漂亮，却在未见数据上更稳定。真正的选择还要结合残差、自相关、参数合理性、ROI 区间和业务约束，但样本外失败应当拥有否决权：一个无法泛化的模型，不应因为贡献图看起来合理就被送入预算优化器。
这是整套验证里最重要的边界。两个渠道高度同步投放时，模型可能准确预测总销售，却无法唯一分清两者贡献。把 Google 和 Meta 的系数在合理范围内相互挪动，总预测几乎不变，渠道 ROI 却会完全不同。因此 KPI 预测准确是归因可信的必要但不充分条件。
归因稳定性至少要检查四件事：
如果团队反复查看同一个 Holdout，并根据结果调变量、改先验、换 Adstock，Holdout 已经参与了模型开发，事实上变成了训练数据。应保留一个最终锁定测试窗口，或采用嵌套时间序列验证：内层用于调参和选模型，外层只用于一次最终评估。
Holdout 检查模型能否在时间上泛化，却没有主动打破花费与需求之间的共同变化。旺季里品牌预期销售上涨而加大投放，即使模型能预测旺季销售，也可能把本来会自然发生的增长归给广告。解决这类内生性问题，需要随机化或可信的准实验。
最实用的闭环是选择预算最大、区间最宽或模型间分歧最大的渠道做 GeoLift / Conversion Lift，得到增量效应和不确定性，再把结果作为校准信息带回 Bayesian MMM。实验也不是万能答案：它只覆盖特定时间、地区、花费变化和创意组合；把单次实验结果无条件外推到所有预算水平，同样不专业。
二者回答的是不同问题。严谨的表述应是：“模型通过了样本外预测和稳定性检验，并在核心渠道上得到增量实验校准”，而不是笼统地说“模型准确率 90%，所以所有 ROI 都是真的”。
管理层不需要阅读每张残差图，但需要知道结论经历了哪些检验。建议把模型质量压缩成一页证据表，而不是合成一个缺乏解释的“总分”：
| 维度 | 应报告的内容 | 升级预算前的判断 |
|---|---|---|
| 数据 | 历史长度、缺失/异常、渠道变异、控制变量覆盖 | 关键促销、价格、缺货和节假日已纳入或明确列为限制 |
| 样本内诊断 | R²、残差结构、自相关、收敛诊断 | 不存在明显系统残差；Bayesian 引擎通过适用的采样诊断 |
| 样本外预测 | 固定 Holdout + 多 horizon 滚动回测 + 朴素基线 | 多数窗口持续优于基线，最差窗口风险可解释 |
| 归因稳健性 | ROI 区间、符号/排序稳定性、引擎与设定敏感性 | 核心预算方向不依赖单一模型或单一窗口 |
| 因果校准 | 实验覆盖渠道、时间、地区、效应区间 | 高风险渠道有实验锚点；未覆盖渠道明确降级表述 |
| 决策边界 | 训练花费范围、外推幅度、情景不确定性 | 方案没有远超历史支持区间，并计划分阶段执行 |
一个值得信任的 MMM，不是训练集上最会解释历史的模型，而是面对没有见过的时期仍能稳定预测、面对合理设定变化仍保持核心结论，并且清楚承认哪些渠道还缺少因果证据的模型。验证的目标不是为结果盖一个“准确”印章，而是划清哪些预算决策已有足够证据，哪些仍需要实验和渐进执行。