你的营销复盘报告出来了,结果……

每次有人问我"这次campaign到底有没有效果"，我都想反问一句：你确定你的Lifting报告不是在自己骗自己？

说白了，酒水饮料行业90%的Campaign Lifting分析，本质上就是一场精心包装的自我安慰。对照组是脏的、归因窗口是拍脑袋选的、增量和自然回升根本分不清——然后大家看着报告里那个漂亮的lift percentage，心满意足地告诉总部"钱花得值"。

数据告诉我们的真相没这么好看。让我一个坑一个坑地拆。

坑一：对照组？你那叫"对照组"？

做增量分析的前提是什么？一个干净的对照组。 这是统计学101，没什么好争的。

但你看看行业的现实：一个全国性促销campaign，覆盖5000+终端门店，你告诉我你的对照组和实验组"完全隔离"了？

经销商网络天然是交叉的，同一个消费者周二在你的实验组门店买了促销装，周五在对照组门店看到同款产品——对照组的隔离度连30%都不到。

有人说"我们用了地理围栏""我们按城市分组"。拜托，你的消费者不看手机吗？你的经销商不串货吗？

线下渠道的溢出效应（spillover effect）不是你画个圈就能消除的。这不是线上随机分流，这是物理世界的混沌系统。

坑二：归因窗口——选7天和选30天，完全是两个故事

对照组的问题已经够让人头疼了，归因窗口更离谱。

你猜怎么着？把归因窗口从7天改成30天，同一场campaign的ROI数字可以翻3倍。 不是因为活动突然好了3倍，是因为你把那些原本就会发生的自然购买也算进去了。

消费者每个月本来就要买啤酒——你在7月做了个促销，然后把7月+8月的所有购买都算成你的"增量"？

更骚的操作是动态调窗口：效果不好？把窗口拉长一点；还不好？再拉长一点。一直拉到数字好看为止。这不叫数据分析，这叫

数据按摩。

而且酒水饮料有个天然的坑：季节性极强。夏天啤酒销量本来就涨，你6月做campaign、7月看lift，请问你的"增量"里有多少是天气贡献的？你分得清吗？

坑三：说个真事儿——活动还没结束就要出报告

你以为前面两个坑是最离谱的？来，说个我亲身经历的。

某酒水品牌做了一场为期三周的终端促销活动。活动第二周，品牌方的市场总监找到数据团队："下周一要向亚太区总部汇报，麻烦周五前出一份Campaign Lifting报告。"

活动还有一周才结束。

我当时的反应是：你是让我做数据科学还是算命？活动还在跑，对照组还在被污染，你就要我告诉你lift是多少？

但你猜最后怎么着？报告照出。数字照写。因为市场部需要的不是真相，他们需要的是一个可以放进PPT的数字。 数据团队在这个游戏里的角色不是"评估活动效果"，而是"证明活动有效"。

这才是整个行业最大的坑——不是方法论的问题，是激励机制的问题。花了几百万做活动的人，不可能客观地评估这几百万花得值不值。

说到底：GIGO + 过拟合 = 一份完美的自欺报告

把前面的坑串起来看：对照组是脏的，归因窗口是随意选的，分析时间是倒推的——经典的Garbage In, Garbage Out。 在脏数据上跑什么花哨的模型都是给自己交智商税。

而且很多Lifting分析还有一个更隐蔽的问题：事后过拟合。 活动结束了，你拿着所有能找到的变量往里塞——天气、竞品活动、价格弹性、渠道占比、促销员数量——然后得出一个R平方0.95的完美归因模型。

看起来很科学对吧？换一个campaign试试？打回原形。因为你拟合的不是因果关系，是这一次特定活动的随机噪声。

本质上就是过拟合——你把噪声当成了信号。

正确的姿势：增量测试应该怎么做？

吐槽完了，说正经的。Campaign Lifting不是不能做，是大部分人做法不对。几个关键原则：

1. 对照组设计要在活动开始前锁定，不能事后选。 用PSM（倾向得分匹配）或者合成控制法（synthetic control）来构造可比对照组。线下做不到完美随机分流没关系，但你至少要在活动前就定义好匹配变量和分组规则。

2. 归因窗口要基于品类购买周期，不是拍脑袋。 啤酒的购买周期和白酒完全不同——啤酒可能是7-14天，高端白酒可能是60-90天。用消费者行为数据驱动窗口选择，不要让市场部选一个"好看的"数字。

3. 必须剔除季节性和趋势基线。 用DID（双重差分）或者至少做一个同比环比的基线剥离。你的增量 = 实际销量 - 对照组销量 - 季节性基线，三个都不能少。

4. 预注册你的分析方案。 在活动开始前就写清楚：我要测什么指标、用什么方法、窗口多长、显著性水平多少。这不是学术洁癖，是防止事后"数据按摩"的唯一手段。

5. 接受"活动没效果"这个可能的结论。 如果你的分析框架只允许得出"活动有效"的结论，那你做的不是分析，是marketing。

最后说一句

回到最初的问题：营销活动的费用到底有没有换来销量？

说白了，大部分品牌方根本不知道答案。不是因为这个问题太难——虽然确实不简单——而是因为他们从一开始就没打算真的去回答这个问题。 他们需要的是一个"活动有效"的结论，不是一个"活动可能没效果"的真相。

而Campaign Lifting，只不过是让你骗得更有技术含量一点罢了。

过拟合青年

数据科学家 · 写代码的人，偶尔写字

你在你们公司见过更离谱的吗？评论区聊聊