不能直接沿用。节假日期间流量来源、用户意图和竞争环境都会变化,原试验结论只在原流量结构下成立;一旦结构偏移,结论的适用边界就被打破。正确做法是先判断变化是否触及试验的核心前提,再决定沿用、修正还是重做。
翻出你上次试验的记录,找出结论成立时对应的流量构成。重点看三件事:流量来源占比(搜索、信息流、站内推荐各占多少)、用户意图分布(明确购买意图与泛浏览意图的比例)、竞争密度(同一时段同行的出价与素材密度)。
如果原结论建立在工作日搜索意图为主的结构上,而节假日泛浏览占比明显上升,那么结论的适用条件已经改变。此时不是结论错了,而是它被用在了不匹配的场景里。
一个可操作的判断:把原试验期的流量结构数据与节假日期间的数据并排看。若来源占比或意图分布的变化幅度超过你设定的容忍范围,就应视为前提失效。容忍范围需要你自己根据业务波动历史来定,没有通用阈值。
总量波动(比如整体流量涨跌)通常不改变结论方向,只影响量级;结构漂移才会让结论失效。判断方法:
例如,原试验发现某素材在搜索流量中转化更好。节假日若搜索占比从六成降到三成,信息流占比翻倍,那么“该素材更好”的结论只在搜索场景内仍成立,不能直接推广到整体。
假设你原试验的结论是“落地页A比落地页B转化率高”,试验期流量以搜索意图为主。节假日期间,你观察到信息流来源占比从两成升到五成。
处理步骤:
这个动作的结果直接影响下一步:分渠道沿用意味着你可以保留部分原结论,只对变化的那部分补测;整体重做则成本更高,但结论更干净。选择哪一种,取决于你对各来源业务重要性的判断。
如果判断需要重做,不要在节假日流量还在剧烈波动时就开始。先等流量结构相对稳定,记录一段基线数据,再启动新试验。否则你测到的仍是漂移中的噪声,而不是新结构下的真实差异。
基线至少应覆盖:来源占比、意图分布、竞争密度三项。记录完成后,把新试验的结论与旧结论并排对比,明确标注各自适用的流量结构。这样下次结构再变时,你能快速判断该调用哪一份结论。
最稳妥的做法是给每条试验结论附加适用条件,例如“在搜索意图占比超过某水平时成立”。节假日结构变化时,你只需核对当前结构是否落在该条件内,就能决定沿用还是重测。
这个习惯的代价是记录更繁琐,收益是每次结构变化时不必从零重来。是否值得,取决于你的流量结构变化频率:变化越频繁,带前提的结论越省事;结构长期稳定,则简单结论已够用。
最终判断标准只有一条:原试验的核心前提是否仍然成立。成立就沿用,不成立就修正或重做,不要用旧结论硬套新结构。