广告 ROI 虚高怎么验证?一次 4 周停投实验的全过程和踩坑记录

🔑 关键词:增量测试,广告归因,ROI虚高,停投实验,千川投放

📖 摘要:后台 ROI 2.8,财务口径 1.1,差在哪?用一次 4 周地理停投实验,拆解归因窗口的水分、增量测试的执行步骤和 4 个真实踩过的坑,附预算分配建议。

同一个账户,两个 ROI

图片

去年 10 月,一个做家清的朋友把千川后台截图甩给我,ROI 2.8,问能不能把月预算从 12 万加到 20 万。我让他把财务的表也发过来。同一周,同一批订单,按毛利口径算出来的投放 ROI 是 1.1。同一个账户,差 2.5 倍。

不是谁算错了。后台在回答一个问题:有多少成交可以算成我的功劳。财务在回答另一个问题:停掉这笔钱,我会少赚多少。这两个答案本来就该不一样。真正的问题是,绝大多数加预算和砍预算的决定,都是拿第一个答案当第二个答案在用。

所以这篇文章不讲怎么优化素材、怎么调出价,那些东西平台后台的教程比我写得好。我只讲一件事:怎么用一次花不了多少钱的实验,把后台那个数字的水分挤掉。

先说归因窗口这笔糊涂账

图片

Meta 的默认归因是 7 天点击加 1 天浏览;Google Ads 的转化窗口默认 30 天点击,能改到 1 到 90 天;巨量千川后台同时给你 1 日、7 日、15 日三个 ROI 口径。同一批消耗,把窗口从 1 日切到 15 日,ROI 涨个 40% 到 60% 是常事。我手上这个账户,1 日 ROI 1.6,7 日 2.4,15 日 3.1。

窗口拉长本身没错,用户的决策周期确实存在。麻烦在于,15 日窗口里的成交,可能有六成本来就会发生。他只是先刷到你的广告,中间又进了你的直播间,最后从自然搜索进来下单。系统把这笔功劳完整记在最后那次触点上,这叫末次点击偏差,不是什么新发现,但真到做预算表的时候,大家还是会忘。

2021 年 4 月 iOS 14.5 上线 ATT 之后,IDFA 授权率行业里普遍反馈在 25% 上下。跨端、跨 App 的链路本来就断了一截,剩下能追踪到的那截,又被放大记在了能追踪到的渠道头上。所以很多时候你根本说不清,到底是投放变差了,还是数据变差了。

停投实验:步骤和我拿到的数

图片

我的判断是,光看后台数据已经没有意义,得做一次能被证伪的实验。方法很土,地理停投。

  1. 选地理单元。别用省,样本太大;别用区,样本太小。我选地级市,从在投的 31 个城市里挑出 12 个,按过去 90 天的 GMV、人口、客单价三个维度做匹配,分成 6 个实验组和 6 个对照组。
  2. 定窗口。家清品类的复购周期大概 45 天,理论上要覆盖两个完整周期才准,但我只有 4 周预算,只能做定性判断。这一点我提前跟朋友讲清楚了,别指望精确到小数点。
  3. 停干净。不只是关掉那 6 个城市的计划,还要在账户定向里把城市排除。否则系统会用「周边城市」把预算花出去,实验直接污染。
  4. 看什么指标。GMV 噪声太大。我盯三个:新客下单数、品牌词搜索指数(抖音指数加微信指数)、客服进线量。
  5. 算增量。实验组的变化减掉对照组的变化,差值才是这条投放线的真实贡献。

4 周之后,实验组 GMV 环比跌 19%,对照组环比跌 6%(季节因素,同期大盘也在走低),净增量 13 个百分点。而这 6 个城市,在千川后台的归因报表里贡献了 34% 的 GMV。34% 对 13%,虚高 2.6 倍。跟财务那个 1.1 基本对得上。

四个坑,踩过的才知道

图片

第一,自然流量会补位,而且补得比想象中快。停投第二周,那 6 个城市的品牌词搜索量只掉了 11%。说明有部分用户之前被达人种草过,只是没点广告。所以这个 13% 其实还低估了内容种草的价值,但它确实测出了广告投放本身的边际贡献。

第二,样本太小。6 对 6,任何一个城市的异常都能把结论带偏。后来我们补做了一轮 9 对 9,方向没变,幅度从 13% 变成了 16%。波动不算小,所以我一直说这是定性工具,不是精确测量。

第三,别在大促期间做。618、双 11 前后两周,自然流量本身就在剧烈波动,对照组根本没法用。

图片

第四,执行层面的琐碎事最要命。屏蔽地区之后物流时效会变,原本就近仓发货,现在要从外地调,体验分掉了 0.2,反过来影响自然流量。客服话术也没同步,有用户进线问「你们是不是不做了」,这个得提前打招呼。

顺带说个更扎心的:品牌词

大多数账户里品牌词 ROI 都是最高的,8.0、10.0 我都见过。但你把品牌词停两周会发现,自然搜索带来的成交几乎没变。因为搜你品牌名的人,在搜之前就已经决定买了。

品牌词投放的真实价值是防守,防竞品在你名字下面截流,以及承接正在比价的用户。用 ROI 衡量品牌词,就像用体重衡量身高,指标本身没错,只是量的不是这个东西。要看的话,看品牌词广告的曝光份额、竞品截流率、新客占比。

图片

留一笔证伪预算

我的建议是 85/15 或者 80/15/5:85% 常规投放,15% 拿来做增量测试。低于 10% 基本测不出东西,噪声比信号大。一年做两次大测,Q2 一次、Q4 之前一次,季度做小规模的。

平台自带的转化提升工具,比如 Google 的 Conversion Lift、Meta 的 A/B Test,准入门槛一直在变,账户量级不够根本开不出来。开户的时候直接问直客经理要最新的条件,别在帮助中心翻旧文档。

最后一句。后台 ROI 不是假数据,它只是回答了一个你其实不太关心的问题。你关心的是这笔钱不花会怎样,那你就得真的不花一次试试。

🏷️ 标签: