实验测到的局部回报，怎样成为模型可以使用的证据？从两条投放路径出发，讲清校准的范围、误差与决策影响。
黑五预算会上，品牌团队拿出一份 MMM 报告：Meta 的增量收入回报是 4.0。另一边，分析团队刚完成一次地理增量实验，测得 iROAS 为 2.0。有人主张按实验结果把渠道预算砍半，也有人认为短期实验不能推翻长期模型。讨论很快变成了“到底相信谁”。
决定下一步之前，应该先确认：这两个数字是否在回答同一个问题？模型报告可能计算的是全年、全国、相对零投放的平均增量回报；实验测的却是在部分地区，把当前预算提高一段之后的局部回报。即使两个结果都估计正确，数值也可能不同。
以下数字均为可复算的模拟示例，不对应客户结果或产品基准。本文讨论收入口径的回报：每一元广告花费带来的增量净收入。它没有扣除商品、履约等成本，因此回报为 1 不能直接解释为利润盈亏平衡。
前面几篇分别讨论了实验设计与功效、模型验证和冠军模型评选。这次把它们连接起来：实验得到的证据，在什么条件下可以更新 MMM，又能支持多大范围的预算决策。
统计学把“究竟要估计什么”称为 estimand，也就是目标效应。一个完整的目标效应，需要说明针对谁、改变什么、和什么相比，以及观察多久。只有把这些问题写清楚，才有资格比较两个回报。
| 核对项 | 容易混在一起的口径 | 比较前怎么处理 |
|---|---|---|
| KPI | 订单数、含税销售额、净收入、平台归因收入 | 统一币种、退款与税费口径；不能直接把订单 lift 当收入 lift |
| 渠道范围 | Meta 全渠道与其中一个再营销活动 | 对齐广告产品、活动、人群和创意范围，明确覆盖比例 |
| 地理与业务 | 全国全渠道销售与几个地区的独立站销售 | 尽量在相同地区和销售口径下比较；无法对齐时声明迁移假设 |
| 时间 | 全年平均与四周大促；是否观察投放结束后的尾效 | 对齐干预期、结果观察期及退款回补时间 |
| 预算对比 | 从零到当前的平均回报，与当前预算上的加投回报 | 记录两条完整投放路径，比较同一个预算变化 |
| 效应范围 | 直接效应、含品牌搜索的总效应、跨渠道外溢 | 明确哪些变量固定、哪些随干预变化，避免截断中介路径 |
例如，实验只记录 Shopify 收入，而 MMM 的 KPI 包含 Shopify 与 Amazon 总收入，站外广告带到 Amazon 的成交会落在两个测量范围的差集里。此时回报不同并不能直接说明模型高估。相反，如果实验本身存在区域污染、执行偏差或不可靠的对照组，口径对齐也无法修复实验设计。
先暂时固定人群、价格、时间和其他渠道，只看一条用于说明饱和机制的响应曲线。令 s 表示同一评估窗口的花费，R(s) 表示该渠道相对零投放带来的增量净收入，两者都以万元计：
这是一条静态示意曲线，暂不表达实际投放的 Adstock 时序。当花费为 100 万元时，增量收入是 400 万元；花费加到 150 万元，增量收入变成 500 万元。同一条曲线可以计算出三个不同的指标：
实验把预算从 100 加到 150，识别的是这一段干预的增量效果。除以新增花费后，得到的是区间回报 2.0。当前位置的边际回报 2.4 是曲线在 100 处的切线斜率；只有预算变化足够小、其他条件稳定时，区间回报才近似这个导数。
把全年平均回报 4.0 强行校准成实验的 2.0，可能会把原本没有冲突的两个结果改错。对于停投实验，也应一致保留收入变化和花费变化的符号；不能只把分母取绝对值，从而改变效应方向。
实际校准需要回到时间序列。记实验中的两条花费路径为 x⁰（未实施干预时的基准）和 x¹（实施干预），实验地区为 G，结果观察窗口为 W。对模型的一组参数 θ，计算同一干预对应的模型增量：
这个差值与实验估计的增量收入比较；若转成 iROAS，分母必须是同一干预对应的花费差额。基准花费应反映“如果没有实验本来会怎么投”，不能仅拿前四周花费代替，因为自然的预算趋势和促销计划也会变化。
对一组后验参数或合理的重采样结果分别计算 g(θ)，可以得到模型在实验口径下的效应分布。此时仍有明显分歧，才进入校准与结构排查。区间重叠可以帮助理解不确定性，但不能单凭是否重叠就断言两者相同或不同。
如果渠道贡献为 β × Hill(Adstock(x))，实验看到的是两个投放路径经过变换后的贡献差。实验 iROAS 不能直接填成 β：β 的数值还依赖变量缩放、Adstock 定义和饱和参数。实际做法主要有两类。
在支持 ROI 参数化的模型中，把相关实验及领域知识转成渠道回报的先验，再由模型完成回报与内部参数之间的映射。这里要同时说明先验针对的时期、地区和回报定义。Google Meridian 的校准指南明确提醒：实验与 MMM 可能具有不同的目标效应，把实验转成先验时，还存在实验标准误之外的不确定性。
另一种方式是直接约束模型对实验干预的预测。假设实验给出增量收入估计 ΔŶE 及标准误 sE，一个正态近似的实验似然可以写成：
此处 Normal 的第二项表示方差；τ 是用相同收入单位表达的额外差异尺度，可用于描述经过评估后的迁移或模型差异。两项方差相加假设了相应误差独立且可用正态近似。它不是遇到冲突就随意调大的旋钮，更不能用来掩盖实验失效或严重口径错配。
PyMC-Marketing 的Lift Test Calibration 示例展示了通过响应曲线对比加入实验观测的思路。其中静态饱和曲线对比有自己的有效花费假设，实际活动的时序 Adstock 仍需另外匹配。
一次实验主要约束一个干预区间的效应。多组衰减、饱和点和系数组合都可能满足这个约束，却在更高预算下给出不同预测。实验没有覆盖的曲线区间，仍然需要历史数据、其他实验和合理的结构假设。
实验结果“2.0，95% 区间为 [0.5, 3.5]”与“2.0，95% 区间为 [1.8, 2.2]”提供的约束强度显然不同。校准时应保留实验原始标准误或抽样分布。只有在对称正态近似合理时，才能用区间宽度除以 2 × 1.96 估算标准误；偏斜、随机化推断或 Bootstrap 区间不能机械套这个换算。
还要评估实验到目标决策的迁移。半年前、旧创意、低竞争期的实验，未必直接适用于黑五扩量。额外不确定性可以来自跨实验差异、分层模型或明确的情景分析。缺少依据时，应把实验作为外部验证材料，而不是假定它对所有时期具有相同权重。
一个更隐蔽的问题是重复使用同一批销售数据。如果 MMM 已用实验期的地区销售进行拟合，实验 lift 又由同一批观测计算，两个证据并不独立。简单相乘两个似然，会让同一条信息被重复计算，后验区间可能因此显得过窄。
可行的处理包括：为校准保留独立实验资料；在联合模型中表达共享观测及其依赖关系；或暂时只把这次实验用于验证。具体方案需要检查数据血缘。不能仅因为“一个来自实验报告、一个来自模型报告”，就把它们当作独立证据。
如果实验估计为负或区间跨零，应保留结果的符号与误差。先检查实验功效、执行和因果假设；不要为了套用正值先验而把负值截成零。结构上只允许正响应的模型与可靠负向证据冲突时，还需要重新评估模型结构。
回到预算会议。先把仪表盘上的全年平均回报 4.0 放到一旁。假设团队在相同地区、KPI、观察期及加投区间下重新计算，MMM 对该局部回报的估计为 3.0，标准差 0.60；独立实验的估计为 2.0，标准误 0.25。两者这时才在估计同一个量。
为看清信息如何合并，暂把局部回报记为一个标量 r。假设历史模型提供 r ∼ Normal(3.0, 0.60²)，实验提供 r̂E | r ∼ Normal(r, 0.25²)，并假设没有额外迁移误差。独立正态信息的合并公式为：
| 证据或结果 | 局部回报 | 95% 区间及解释 |
|---|---|---|
| 历史模型提供的分布 | 3.00 | [1.82, 4.18]，本例正态近似下的可信区间 |
| 独立实验估计 | 2.00 | [1.51, 2.49]，本例正态近似下的置信区间 |
| 合并后的局部回报分布 | 2.15 | [1.70, 2.60]，本例假设下的后验可信区间 |
这是一个单参数证据合并演示，并非完整 MMM 的运行结果。真实模型需要通过前面的 g(θ) 更新相关参数及其依赖关系，不能把上表的 2.15 直接替换进任意渠道系数。置信区间与可信区间的概率解释也不同；本例利用的是各自的正态信息模型，而非把两种区间直接平均。
假设财务团队为这段加投设定的收入回报门槛是 2.5，合并后的均值低于门槛，且区间仍横跨门槛。现有证据不足以把原定扩量当作稳妥方案。合理动作是暂缓这段扩量、比较更小增幅或其他方案，并结合下行风险与利润结构决策。它不支持“把全年 Meta 预算砍半”的结论，因为实验并未测量那个干预。
校准会让模型更贴近已输入的实验，这是预期行为。对同一次实验拟合得更好，只能算一致性检查。要判断是否改善决策，还需要查看未用于校准的证据和结果的稳健性。
证据表里最好同时保留“校准前后”和“哪些数据参与了校准”。这样，团队才能分清哪些变化来自新证据，哪些只是人为选择了更强的约束。
一份能够随预算方案流转的校准记录，至少应包含以下内容：
口径一致、设计可信、依赖关系处理清楚的实验，可以进入校准；存在可解释且可评估的地区或时间差异时，需要显式加入迁移假设；严重污染、口径无法对齐或误差信息缺失时，应先补证据。
在 SparkX 的预算讨论中，“这个模型做过实验校准”应该能继续展开为一句具体的话：它在什么条件、什么投入范围内得到过什么证据支持，因此我们愿意采取多大幅度的行动。当这些条件改变，校准结论也需要复核。本文给出的是方法与审查流程，具体自动化接入方式取决于所用引擎及版本。
参考页面核阅于 2026 年 10 月 27 日。文中的响应曲线、数值演示及证据卡由 SparkX 为解释方法构造。