大规模运行实验的5大支柱

萨钦普里爆头“品牌意识”从营销人员的角度探讨了数据驱动的数字广告生态系统。

今天的专栏由Sachin Puri撰写,他是该公司增长营销副总裁 迈克菲.

进行实验不再是竞争优势,而是市场营销中的重要赌注。营销人员总是在某种程度上进行实验–更多,更少。

您对您的团队进行实验的方式感到满意吗?您是否有适当的KPI来衡量和加快测试方法?您是否还在努力获得适当的资金来进行实验?您正在招聘什么类型的人才?

经过多年的实验,我了解到有五个主要的支柱可以进行大规模的实验。

1.始终从客户假设开始

测试与学习方法论最重要的步骤之一就是从客户假设开始。例如,也许您通过带有折扣价促销的展示广告来定位价格敏感的买家,并假设点击了广告的买家已准备好购买。

如果是这样,您可能需要测试是否将用户直接带到结帐处会带来更好的转化。如果检验显示出统计学上的显着提升,则该假设是正确的-从技术上来说,原假设不成立-您应该考虑迅速推出赢家。

您可以从这种方法中学到很多有关客户行为的知识,并为将来的测试提出假设。对于此示例,可以建立有关购买按钮(在折叠上方或下方),位置和动作(粘滞或静态)及其外观(高或低对比度颜色)的位置和处理的连续假设。

迭代测试直到达到边际收益点是数字营销投资和绩效增长的关键。并且,随着用户行为的发展,您应该重新测试原始假设,以确保测试结果仍然有效或需要修改。

2.将测试影响整合到财务预测中

获得认可并为进行实验提供资金的最快方法之一是将A / B测试从财务预测中剥离出来。例如,如果您打算运行多个转化率提升测试以促销产品,则建议您估算并承诺在财务预测中明确提供一定水平的产品销售。您可能会遇到一些最初的阻力,但是随着程序开始提供结果,您会发现从更广泛的组织到压力测试的兴趣越来越大,并了解有关您的方法和流程的更多信息。

您如何估计业务影响?我经常使用的一个简单的基于漏斗的框架包括:

业务影响估计值=实验速度(每月测试的假设数量)*获胜率(成功假设的数量/测试的总假设)*每个获胜者的平均提升

这个框架可以帮助我计划,跟踪,基准测试和评估业务影响。随着时间的流逝,您可以开发一个仪表板来跟踪,基准测试和诊断每个指标以微调和扩展程序。

3.定义明确的关键绩效指标和衡量框架

所有实验必须具有明确的成功标准以及相关的KPI和衡量框架,以确保团队知道他们要解决的问题以及如何衡量和确定获胜者。

拥有辅助KPI来更广泛地了解受众群体的行为是相当普遍和明智的做法。但是,这不应影响实验的结果,而应为将来的假设和检验提供依据。例如,如果某项实验旨在提高转化率,那么平均订单价值(AOV)或相关收入的下降不应使测试失败。它可以通知将来的测试以提高AOV或收益。

因此,重要的是在假设生成阶段就参与数据和分析团队,以确保测试设计和数据捕获的结构能够实现有效的测量。通常,我发现数据团队在事后参与其中,这可能无法准确,可扩展地读取实验。我建议营销主管将数据和分析团队整合为核心实验团队的一部分,以促进可靠的度量和后续假设的产生。

4.严守纪律和敏捷度,以达到规模

我了解到纪律和确定的过程是成功进行大规模实验的关键。它不能作为带有未定义或临时过程的附带活动来运行。

定义的步骤和过程可实现一致的跟踪,跟踪和关键路径分辨率,以进行测试和推出。例如,我的一些团队从构想研讨会开始,然后进行优先级划分和影响评估步骤。一旦确定了优先测试,则团队将其移至测试设计步骤,然后进行测试飞行步骤,直到达到统计意义为止。团队将从那里将测试移至测量和分析步骤。最终,测试转移到结果,社交化和推广上,我的一些团队将其称为“银行业务”,因为对银行业务产生的影响是。

即使是快速的对话,团队也必须遵循每个实验的所有步骤,因为它可以扩大组织规模并扩大测试结果的可重复性。我的团队通常通过每天的站立会议来运行敏捷Scrum(敏捷软件开发中使用的过程),以促进定期的测试跟踪,团队讨论和过程采用。

通常被跳过或错过的重要步骤之一是社交化和学习记录。我建议定期进行社交活动并庆祝测试结果,以确保在更广泛的组织范围内共享听众和表演方面的知识。

5.雇用多样化的人才并建立正确的文化

这是实验中最重要的部分,有时也是最困难的部分,因为所需的人才因好奇的黑客,数据极客,研究人员,工程师,行为科学家,市场营销人员等而异。聘用和留住这些多样化的人才本身就是一个挑战,但是最大的挑战是在他们之间建立起化学反应和一种授权文化,在这种文化中,团队会自我激励以做出平衡人类行为和数据的决策。

根据组织的不同,文化发展需要自上而下和自下而上的有机变革。在这两种情况下,领导者的教练都是非常重要的,并使他们的团队在决策中感到有能力。我发现一些行之有效的技术包括参加每日站立比赛,把冠军头衔放在门外,让团队和数据驱动决策。建设性地向团队提出关于所检验假设的挑战也很有帮助,最重要的是庆祝胜利,因为这有助于团队建立信心和分享成就。

接下来,从哪里开始?

首先参加并观察一些实验团队会议,并根据此清单进行评估。团队是否从客户假设开始?对业务有何影响以及相关的测试速度,获胜率和提升率?团队如何决定获胜者,并认真遵循一致的流程?寻找团队动态和任何人才缺口。

要评估文化,您应该进行压力测试并仔细观察团队如何制定决策。授权对于成功扩展实验规模和速度至关重要。

如果您发现团队仍在寻找经理做出决定,那就是您的线索和出发点。

关注Sachin Puri(@spuri79),McAfee(@迈克菲) and AdExchanger(@adexchanger)在Twitter上。

喜欢这个内容吗?

立即注册成为AdExchanger会员,即可无限制地访问此类文章,以及专有数据和研究,会议折扣,按需访问事件内容等等!

今天参加!

 

添加评论

XHTML: 您可以使用以下标签: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>