A/B 测试 - 工作原理



您可以使用统计数据和分析来监控访客的操作,以确定哪个版本产生更高的转化率。A/B 测试结果通常以花哨的数学和统计术语给出,但数字背后的含义实际上非常简单。您可以通过两种主要方法检查使用 A/B 测试的转化率 -

  • 数据抽样
  • 置信区间

让我们详细讨论这两种方法。

数据抽样

样本数量取决于执行的测试数量。转化率的计数称为样本,收集这些样本的过程称为抽样。

示例

假设您有两个产品 A 和 B,您想根据其在市场上的需求收集样本数据。您可以要求一些人从产品 A 和 B 中选择,然后请他们参与调查。随着参与者数量的增加,它将开始显示真实的转化率

有各种工具可用于确定正确的样本量。其中一个可用的免费工具是 -

www.evanmiller.org

Sampling of Data

A/B 测试中的置信区间

置信区间是在多个样本上对平均值的偏差进行测量。假设在上面的例子中,22% 的人更喜欢产品 A,置信区间为 ±2%。此区间表示选择产品 A 的人群的上限和下限,也称为误差范围。为了获得最佳的平均调查结果,误差范围应尽可能小

示例

假设在产品 B 中,我们添加了一个微小的更改,然后对这两个产品进行了 A/B 测试。产品 A 和 B 的置信区间分别为 10% ±1% 和 20% ±2%。因此,这表明微小的更改提高了转化率。如果我们忽略误差范围,测试变体 A 的转化率为 10%,测试变体 B 的转化率为 20%,即测试变体增加了 10%。

现在,如果我们将差异除以对照变体率 10% ÷ 10% = 1.0 = 100%,则表明提高了 100%。因此,我们可以说 A/B 测试是一种基于数学方法和分析的技术。有各种在线工具可用于计算 A/B 显着性。

http://getdatadriven.com

A/B Testing Confidence Intervals
广告