测量结果



在本章中,我们将讨论如何测量网站测试结果并简化统计数据。

理解统计

研究人员可能理解也可能不理解统计学。但是,A/B 测试工具通过简化这些统计数据来证明自己是救星。因此,可以避免大量计算。大多数测试工具在使用 95% 标准作为成功目标完成方面保持一致。

这意味着在 10 次中,你有 9 次是赢家。让我们举个例子。您的测试工具报告如下:

版本 转化率
控制页面 1.91%
1 2.39%
2 2.16%
3 3.10%

此报告预测在 95% 的区间内或多或少有 0.20% 的转化率差异。从统计学上讲,目标范围在 1.76 到 2.06 之间。

获取见解

在计划测试时,我心中有两个目标。首先,是提高收入,另一个是获取有关促成更高投资回报率的因素的见解。

例如,在一个案例研究中,我们了解到将流量导向产品页面而不是类别页面或主页是否会提高转化率。我们采用了三种版本,在其中一个版本中,我们将流量导向加载了类别和子类别的主页,并进一步导向产品页面。在第二个版本中,我们将流量导向类别页面并添加过滤器。在第三个版本中,我们将其直接导向带有购买按钮的产品详情页面。

令我惊讶的是,第三个版本获胜了。这正是买家对产品所需的信息。这让我们了解了转化率提升和持续改进如何帮助我们增加潜在客户。

毫无疑问,在测试中添加许多版本和见解为我们提供了网站重新设计。

理解结果

让我澄清一下。并非所有测试都会获胜。是的,这很痛苦,但却是事实。

有些测试会给你带来令人满意的结果。还有一些测试即使经过多次尝试也可能没有结果。但是,如果您计划进行一项以洞察力驱动的细分测试,则可以提出一个新的假设进行测试。并非所有测试都有助于提高收入。

举个例子来理解。有三个活动,转化率不同。

活动 A 8.2%
活动 B 19.1%
活动 C 5.2%

任何人都只会盲目地说“活动 B”是一个超级表现者。但让我们深入研究一下。

访问量 交易量 转化率
活动 A 1820 150 8.2%
活动 B 20 4 19.1%
活动 C 780 41 5.2%

仔细观察,“活动 B”太小,在统计上不显著。活动 B 1 次访问产生 1 次交易,转化率为 100%。 “活动 A”的表现优于“活动 C”。在得出结论时,需要考虑几个因素,并且每次可能都不同。您需要查看所有见解并决定结果。

广告