把“完成”拆成可核对的交付物和可复核的判断条件,而不是等排名或流量出现。试验性工作的完成标准应当是:事先写明的假设、动作、观察窗口和判定规则都被执行并记录,且结论已交付给能决定下一步的人。结果好坏不是完成的必要条件,过程可审计才是。
第一种条件:这项工作是在验证一个可证伪的假设,比如“把某类页面的模板统一后,抓取频次会变化”。此时完成等于假设被检验过,无论方向如何都算完成。第二种条件:这项工作是在为正式投入做前置准备,比如整理站点结构、清理无效参数、建立基线数据。此时完成等于交付物齐全并可供他人接续,不依赖任何外部指标改善。
判断依据很直接:如果双方对“做完之后要拿这个结论干什么”答不上来,就属于第二种,不要用指标定义完成;如果能说出“验证成立就扩大,不成立就换方案”,就属于第一种,必须提前写下判定规则。
动作一:在开工前写一份一页纸的试验说明,包含假设、改动范围、观察窗口、需要记录的数据字段、以及“什么情况下算验证成立”。这份说明由提出需求的一方确认,而不是由执行方单方面拟定。结果如何影响下一步:确认后的说明成为验收依据,之后不再讨论“感觉没效果”这类无法核对的说法。
动作二:把交付物分成三类分别签收——配置与代码改动、数据记录、结论备忘。配置与代码改动可以逐项核对是否上线;数据记录核对是否按约定字段和窗口采集;结论备忘核对是否回答了原假设。三类都签收,工作即完成,与指标方向无关。
动作三:约定一个明确的终止点。可以是时间窗口结束,也可以是样本量达到约定值,或者出现“继续采集也无法区分两种解释”的情况。到达终止点就出结论,不无限延长观察期。这一步的作用是防止试验性工作变成没有终点的日常维护。
假设某站点怀疑部分栏目页因内容重复而未被充分抓取。试验说明可以这样写:改动范围是这五个栏目页的模板;观察窗口为四周;记录字段是抓取频次与已收录页面数;判定规则是“若四周后抓取频次相对基线没有变化,则认为模板不是主要因素,下一步转向内链结构”。四周后无论数据往哪个方向走,只要记录齐全、结论备忘回答了假设,这项工作就算完成。注意:抓取频次变化可能来自抓取预算调整、站点整体改动或外部链接变动,不能单独归因于模板改动,所以结论备忘里要写明其他可能解释。
把完成定义落在交付物与判定规则上,试验性工作才能在结果不确定的前提下被正常验收和接续,而不是卡在“到底算不算做完”的争论里。