A/B 测试 - 快速指南
A/B 测试 – 概述
A/B 测试（也称为分割测试）定义了一种比较应用程序或网页的两个版本的方法，使您可以确定哪个版本性能更好。它是分析应用程序或网页以创建新版本的最简单方法之一。此后，可以比较这两个版本以查找转化率，这更有助于找到这两个版本中性能更好的一个。
示例
让我们假设有一个网页，所有流量都导向到此页面。现在，作为 A/B 测试的一部分，您对同一页面进行了一些小的更改，例如标题、编号等，并将其中一半的流量导向到此网页的修改版本。现在您有了同一网页的 A 版本和 B 版本，您可以使用统计数据和分析监控访问者的行为，以确定哪个版本产生更高的转化率。
转化率定义为网站上的任何访问者执行所需操作的实例。A/B 测试使您可以确定适合您业务的最佳在线营销策略。请查看以下示例。它显示 A 版本的转化率为 15%，B 版本的转化率为 22%。
A/B 测试 - 工作原理
您可以使用统计数据和分析监控访问者的行为，以确定哪个版本产生更高的转化率。A/B 测试结果通常以花哨的数学和统计术语给出，但数字背后的含义实际上非常简单。您可以通过两种重要方法使用 A/B 测试检查转化率：
- 数据抽样
- 置信区间
让我们详细讨论这两种方法。
数据抽样
样本数量取决于执行的测试数量。转化率的计数称为样本，收集这些样本的过程称为抽样。
示例
假设您有两个产品 A 和 B，您想根据其市场需求收集样本数据。您可以请一些人从产品 A 和 B 中选择，然后请他们参与调查。随着参与者数量的增加，它将开始显示真实的转化率。
有各种工具可用于确定正确的样本量。一个可用的免费工具是：
A/B 测试中的置信区间
置信区间是对多个样本平均值的偏差测量。让我们假设在上述示例中，22% 的人更喜欢产品 A，置信区间为 ±2%。此区间表示选择产品 A 的人数的上限和下限，也称为误差幅度。为了获得此平均调查的最佳结果，误差幅度应尽可能小。
示例
让我们假设在产品 B 中，我们添加了一个小的更改，然后对这两个产品进行了 A/B 测试。产品 A 和 B 的置信区间分别为 10%（±1%）和 20%（±2%）。因此，这表明一个小小的更改增加了转化率。如果我们忽略误差幅度，测试变体 A 的转化率为 10%，测试变体 B 的转化率为 20%，即测试变体增加了 10%。
现在，如果我们将差异除以对照变体率 10% ÷ 10% = 1.0 = 100%，则表明改进率为 100%。因此，我们可以说 A/B 测试是一种基于数学方法和分析的技术。有各种在线工具可用于计算 A/B 显着性。
A/B 测试 - 为什么使用？
A/B 测试用于根据从数据中得出的结果做出业务决策，而不是仅仅进行预测。它允许您创建网站或应用程序的变体，然后帮助您确认或放弃您做出的更改决定。
此测试允许您以提高转化率的方式优化您的网站或应用程序。更高的转化率意味着从现有用户那里获得更多价值，而不必在流量获取上花费更多。A/B 测试还可以帮助您改变业务中的其他因素，例如改变工作文化等。它帮助您使用数学数据和统计数据来确定产品变体的方向。
无论您是设计师、业务分析师还是开发人员，A/B 测试都提供了一种简单的方法，可以使用数据和统计的强大功能来降低风险、改善结果并使您的工作更具数据驱动性。
要运行 A/B 测试，您应考虑以下几点：
如果有可能以 >5% 的概率击败原始变体，则始终执行 A/B 测试。
测试应运行相当长的时间，以便您有足够的样本数据来执行统计和分析。
A/B 测试还使您可以从网页上的现有流量中获得最大收益。与在您的网站上设置流量的成本相比，提高转化率的成本极低。A/B 测试的投资回报率 (ROI) 非常高，因为网站上的一些小改动可能会导致转化率大幅提高。
A/B 测试 - 测试什么？
A/B 测试是关于创建应用程序或网站的多个变体，然后使用样本比较所有这些版本以确定具有最大转化率的最佳变体。可以应用于网页或应用程序的不同类型的变体。A/B 测试不仅限于应用程序或网页，因为您也可以为其他产品创建变体。网页上任何可能影响访问者浏览网站时的行为的内容都可以使用 A/B 测试进行测试。
以下是可应用于网页的 A/B 测试变体的列表：
- 标题
- 副标题
- 图像
- 文本
- 号召性用语文本和按钮
- 链接
- 徽章
- 媒体提及
- 社交媒体提及
- 促销和优惠
- 价格结构
- 送货方式
- 支付方式
- 网站导航和用户界面
有各种工具可用于创建变体，您将在本教程的后面部分详细了解。
A/B 测试 – 流程
A/B 测试包括一系列流程，必须按顺序遵循这些流程才能得出现实的结论。在本章中，我们将详细讨论 A/B 测试流程的步骤，您可以使用这些步骤在任何网页上运行测试：
背景研究
背景研究在 A/B 测试中起着关键作用。第一步是找出网站的跳出率。这可以使用 Google Analytics 等几种广泛可用的背景研究工具来完成。
收集数据
来自 Google Analytics 的数据可以帮助您了解网站上访问者的行为。始终建议从网站收集足够的数据。尝试查找转化率低或放弃率高的页面，以便进一步改进。还要计算每天所需的访问者数量，以便在网站上运行此测试。
设定业务目标
下一步是设定您的业务或转化目标，这将有助于理解目标是什么。完成后，您可以找到确定新版本是否比其原始版本更成功的指标。
构建假设
一旦为 A/B 测试设定了目标和指标。下一步是寻找如何改进原始版本以及如何使其比当前版本更好的方法。一旦您有了想法列表，请根据预期的影响和实施难度对它们进行优先排序。
例如，最有效的方法之一是在网站上添加图像，这将有助于在一定程度上降低跳出率。
创建变体/假设
市场上有很多 A/B 测试工具具有可视化编辑器，可以有效地进行这些更改。成功执行 A/B 测试的关键决定是选择正确的工具。一些最常用的工具包括：
- Visual Website Optimizer (VWO)
- Google 内容实验
- Optimizely
可以使用不同的变体应用于对象，例如使用项目符号、更改关键元素的编号、更改字体和颜色等。
运行变体
向访问者展示网站或应用程序的所有变体。将监控每个变体的行为。此外，测量每个变体的访问者互动情况，并进行比较以确定特定变体的性能。
分析数据
此实验完成后，下一步是分析结果。A/B 测试工具将显示实验数据，并告知您网页不同版本之间性能和效率的差异。它还将使用数学方法和统计数据显示变体之间是否存在显着差异。
例如，如果网页上的图像降低了跳出率，您可以添加更多图像以提高转化率。如果您没有看到因此而跳出率发生变化，请返回上一步以创建新的假设/变体以执行新的测试。
A/B 测试 - 收集数据
来自 Google Analytics 的数据可以帮助您了解访问者的行为。始终建议从网站收集足够的数据。尝试查找转化率低或放弃率高的页面，以便改进。在本章中，我们将讨论一些可用于收集 A/B 测试数据的工具。
Google Analytics / Mixpanel（分析工具）
大多数网站都安装了 Google Analytics，以了解访问者如何与网站互动。如果您没有安装 Google Analytics 来监控流量，您可以从互联网上安装它。Google Analytics 是最好的免费分析工具之一。
要在您的网站上安装 Google Analytics，您可以简单地复制代码并将其部署到您的网站上，您将获得大量可使用的数据。您还可以自定义工具以满足您的业务目标。
Mouseflow / Crazy Egg（回放工具）
回放工具用于更好地了解用户在您网站上的行为。它还允许您查看用户点击的地图和热图，以检查用户在网站上浏览的程度。
像 Mouseflow 这样的回放工具允许您查看访问者的会话，就好像您与访问者在一起一样。视频回放工具可以更深入地了解访问者浏览您网站上的各个页面时的感受。
WebEngage（调查工具）
调查工具用于收集来自网站的定性反馈。这包括向回头客询问一些调查问题。此调查会向他们询问一般性问题，并允许他们输入意见或从预先提供的选项中进行选择。
其他工具 – 聊天、邮件
实时聊天功能允许访客快速获得客户服务团队的答案，并帮助更快地解决问题。这也有助于您收集访客的一般性问题，并收集测试数据。
A/B 测试 – 确定目标
下一步是设定您的转化目标。找到能够确定变体是否比原始版本更成功的指标。目标源于您的业务目标，例如，如果您需要增加服装销售额，目标可以是：
- 清晰的产品图片。
- 提高网站访问率。
- 降低购物车放弃率。
接下来是定义符合您业务目标的指标。只有当一个指标衡量的是与您的目标相关的东西时，它才成为**关键绩效指标 (KPI)**。
示例 1
您的服装店的业务目标是销售服装，因此该业务目标的 KPI 可以是在线销售的服装数量。您需要明确定义您的业务目标，否则您将无法识别您的 KPI。如果您正确设置 KPI 并定期衡量它们，您将保持策略的正轨，以创建变体并执行 A/B 测试。接下来是为您的业务目标找到目标指标。
示例 2
您的服装店上周销售了 100 件产品。这是可以接受的还是不好的？为了让您的 KPI 对您有所意义，它们需要目标指标。为对您重要的每个 KPI 定义一个目标。一旦您定义了业务目标和目标指标，您就有了框架，这将有助于确定您将要做的工作是否与您的业务目标相关。
A/B 测试 - 生成假设
确定业务目标后，下一步是生成 A/B 测试创意和假设，解释为什么您认为它们会比当前版本更好。列出您认为可以创建的所有假设，根据预期影响和如何使用各种工具实施它们来优先考虑所有变体。
示例
您可以通过在底部添加更多图片来降低跳出率。您还可以添加各种社交网站的链接以提高转化率。
A/B 测试 - 创建变体
A/B 测试是关于创建应用程序或网页的新版本，然后比较所有版本以查看转化率。您可以通过分析统计数据来检查新的变体来提高转化率。
可以对对象应用不同类型的变体，例如使用项目符号、更改关键元素的编号、更改字体和颜色等。市场上有很多 A/B 测试工具具有可视化编辑器，可以有效地进行这些更改。成功执行 A/B 测试的关键决定是选择正确的工具。一些最常用的工具包括：
- Visual Website Optimizer (VWO)
- Google 内容实验
- Optimizely
Visual Website Optimizer (VWO)
Visual Website Optimizer 使您可以测试同一页面的多个版本。它还包含“所见即所得 (WYSIWYG)”编辑器，使您可以进行更改并运行测试，而无需更改页面的 HTML 代码。您可以更新标题、元素编号并运行测试，而无需对 IT 资源进行更改。
要在 VWO 中创建用于 A/B 测试的变体，请在 WYSIWYG 编辑器中打开您的网页，然后您可以对网页应用以下更改：
- 更改文本
- 更改 URL
- 编辑/编辑 HTML
- 重新排列
- 移动
- 调整大小
- 隐藏
- 删除
- 更改 CSS
Google 内容实验
这允许您创建最多五个任何网页的变体，然后将所有页面加载到 Google Analytics 中以执行 A/B 测试。Google 内容实验用于衡量所有变体的结果，并确定具有最高转化率的变体。使用 Google 内容实验的主要优点是它是 Google 的免费软件，但是您必须将变体加载到 Google Analytics 中才能执行测试。
Optimizely
Optimizely 是一款用于执行 A/B 测试、多变量测试的工具，可以在网页或移动应用程序上使用，并允许您比较网页或应用程序的不同版本，以确定哪个变体可以为您的业务提供更好的转化率。
该软件可以通过执行单行 JavaScript 代码段在您的网页上运行。代码段定义为单行代码，它将在您的网站上加载 Optimizely 并更改访客在您网站上的体验。
要使用 Optimizely 测试移动应用程序，它通过 iOS 和/或 Android 的软件开发工具包 (SDK) 运行。在您的网页上运行的 Optimizely 收集网站访客和转化率的数据，并在统计引擎上运行它们，以确定哪个变体是赢家或输家。一旦将这些统计数据与目标和设定指标进行比较，它们将帮助您做出关于要应用于网站的变体的决策。
Optimizely 允许您执行以下测试：
- 比较不同 URL 的 A/B 测试。
- 跨多个页面、流程等运行的 A/B 测试。
- 为不同的受众群体运行不同的变体。
- 对所有访客应用网页的热修复。
A/B 测试 - 运行实验
它涉及向访客展示您的网站或应用程序的所有变体，并监控每个变体的行为。衡量每个变体的访客互动，并进行比较以确定此变体的性能。
如前一章所述，有各种工具可用于生成假设和运行变体：
- Visual Website Optimizer (VWO)
- Google 内容实验
- Optimizely
Visual Website Optimizer
有各种 A/B 测试工具允许营销专业人员使用点击式编辑器创建其网页的多个变体。它不需要任何 HTML 知识，您可以检查哪个版本产生最大的转化率或销售额。
执行 VWO 分裂测试软件非常简单，您只需要将代码段复制粘贴到您的网站中，就可以轻松地让访客访问它。Visual Website Optimizer 还提供多变量测试选项，并包含其他许多工具来执行行为定向、热图、可用性测试等。
VWO 中的多个功能确保此工具涵盖了您所有的转化率优化活动。许多企业和小型在线商店都在使用 A/B 测试 VWO 软件进行登录页面优化，以增加其网站销售额并提高转化率。
公司还提供 30 天试用版，可从以下网址免费下载：https://vwo.com/
VWO 的一些主要功能如下：
- 测试和实验
- 可视化编辑器
- 分析和报告
- 热图和点击图
- 平台和集成
它是如何工作的？
在您的网页上运行的 Optimizely 收集网站访客、转化率的数据，并在统计引擎上运行它们，以确定哪个变体是赢家，哪个是输家。一旦将这些统计数据与目标和设定指标进行比较，它将帮助您做出关于要应用于网站的变体的决策。
Google 内容实验
它允许您创建最多五个网页变体，然后将所有这些页面加载到 Google Analytics 中以执行 A/B 测试。
要开始使用 Google Analytics，您需要拥有一个**Google Analytics 帐户**和一个安装在您网站上的跟踪代码。如果您没有帐户，您可以使用以下工具注册：http://www.google.com/analytics/
直接将跟踪代码添加到网站
要完成此过程，您必须可以访问您的网站源代码，您还应该能够轻松编辑 HTML（或者有一位可以帮助您完成此操作的网站管理员/开发人员），并且您还应该已经设置了 Google Analytics 帐户和属性。
将跟踪代码设置到您的网页中
找到跟踪代码段，登录您的 Google Analytics 帐户，然后选择顶部的“管理员”选项卡。
转到“帐户”和“属性”选项卡，选择您正在使用的属性。点击“跟踪信息”→“跟踪代码”。您可以点击图片查看在您的 Analytics 帐户中查找跟踪代码的位置。
找到您的跟踪代码段。它位于一个包含几行 JavaScript 代码的框中。此框中的所有内容都是您的跟踪代码段。它以``结尾。
跟踪代码包含一个与每个 Google Analytics 属性相对应的唯一 ID。不要混淆来自不同属性的跟踪代码段，也不要在多个域上重复使用相同的跟踪代码段。
复制代码段并粘贴到您要跟踪的每个网页中。将其立即粘贴到结束标签``之前。
如果您使用模板动态生成网站页面，您可以将跟踪代码段粘贴到其自己的文件中，然后将其包含在页面标题中。
验证跟踪代码是否有效
您可以验证跟踪代码是否有效，检查实时报告，您还可以监控用户活动。如果您在这些报告中看到数据，则表示您的跟踪代码当前正在收集数据。
内容实验
内容实验是测试网页（登录页面、主页、类别页面）的**最快方法之一**，它需要较少的代码实现。它可用于在 Google Analytics 中创建 A/B 测试。
内容实验的一些最常见功能包括：
您需要使用原始页面脚本运行测试，标准 Google Analytics 跟踪代码将用于衡量目标和变体。
在 Google Analytics 中定义的目标可以作为实验目标使用，包括 AdSense 收入。
Google Analytics 分段构建器可用于根据任何分段标准分段结果。
它允许您设置在 3 个月后自动过期的测试，以防止测试持续运行，如果它们不太可能有统计学意义上的赢家。
如何使用内容实验创建 A/B 测试？
进入“行为”部分，点击“实验”链接。您会看到一个包含所有现有实验的表格。点击表格顶部的“创建实验”选项。
输入以下信息：实验名称、实验目标、参与网站流量的百分比、任何重要更改的邮件通知、将流量分配到所有变化版本的方式、实验运行时间以及阈值。
您可以添加原始页面和所有想要创建的变化版本的URL，然后点击下一步按钮。选择实现方法并点击下一步按钮→点击验证（如果您已实现代码，它将进行验证。如果没有代码，它将显示错误消息）→启动实验。
实验运行后，您将看到以下选项：
转化率
停止实验
重新验证
禁用变化版本
细分——它允许您查看每个变化版本在您网页上的每个访客细分中的表现。
A/B 测试 - 分析结果
实验完成后，下一步是分析结果。A/B 测试工具将呈现实验数据，并告诉您网页上不同变化版本的表现差异，以及是否在变化版本之间存在显著差异（借助数学方法和统计学）。
示例
如果网页上的图片降低了跳出率，您可以决定它是否具有良好的转化率，然后您可以上传更多图片到网页上。如果您没有看到跳出率因此而发生变化，请返回上一步并创建一个新的假设/变化版本来进行新的测试。
VWO和Optimizely等工具用于运行测试，但Google Analytics最适合运行测试后分析。此分析用于决定未来的方向。A/B 测试工具会告知测试结果，但还需要进行事后分析。要进行事后分析，您需要将每个测试与Google Analytics集成。
VWO和Optimizely都提供内置的Google Analytics集成功能。这两个工具的每个测试数据都应发送到Google Analytics。这样做可以增强您的分析能力并确保测试数据的准确性。您的测试工具可能记录数据不正确，如果您没有其他测试数据来源，您永远无法确定是否应该相信它。
A/B 测试 - 工具
有各种工具可用于生成假设和运行变化版本，包括：
- Visual Website Optimizer (VWO)
- Google 内容实验
- Optimizely
所有这些工具都能够运行A/B测试并找到获胜者，但要进行事后分析，这些工具应与Google Analytics集成。
A/B测试 – Google Analytics
Google Analytics有两种分析数据的方法：
- 通用分析
- 经典Google Analytics
新的通用分析功能允许您同时使用20个A/B测试并将数据发送到Google Analytics，而经典版本最多允许5个。
将Optimizely与Google通用分析集成
要将Optimizely集成到Google通用分析中，首先选择其侧面板上的“开”按钮。然后，您必须有一个可用的自定义维度来填充Optimizely实验数据。然后，必须将跟踪代码放置在页面`
`部分的底部。除非Optimizely代码段位于此Analytics代码段之上，否则Google Analytics集成将无法正常运行。
配置步骤
Optimizely使用Google通用分析的“自定义维度”为您的访客添加已添加实验和变化版本标签。将Optimizely配置为开始将此信息发送到通用分析需要四个步骤：
步骤1
将以下JavaScript代码添加到您的网站上，位置为通用分析代码存在的位置，在`ga('create'...)`函数触发之后和通用分析`ga('send','pageview')`函数触发以及跟踪调用之前（请参见下一节中的详细信息）：
// Optimizely Universal Analytics Integration
window.optimizely = window.optimizely || [];
window.optimizely.push("activateUniversalAnalytics");
步骤2
在Optimizely编辑器中，转到“选项”→“集成”，然后单击“通用分析”复选框以启用集成。
步骤3
选择您希望Optimizely使用的自定义维度。您必须确保自定义维度尚未被您网站的任何其他部分或其他正在运行的Optimizely实验使用。
步骤4
如果您使用的是除默认跟踪器以外的自定义事件跟踪器，请选择自定义跟踪器。这将更改Optimizely的集成调用以使用自定义跟踪器而不是默认跟踪器。
示例
假设您的网站正在使用以下调用：
ga('tracker3.send', 'pageview');
在这种情况下，您将在指定自定义跟踪器字段时输入tracker3，Optimizely将与tracker3集成，而不是默认跟踪器。
使用Google Analytics创建自定义报表
第一步是登录您的通用分析帐户并点击顶部的“自定义”选项卡。您应该会看到一个“自定义报表”列表。
接下来是为已与通用分析集成的每个实验设置自定义报表。
点击“新建自定义报表”→输入报表标题并添加您希望在报表中查看的指标组。
要仅针对您的Optimizely实验过滤此报表，请选择您之前设置的自定义维度作为维度细分之一。
在“过滤器”部分添加此维度，并对要过滤的实验的实验ID使用正则表达式匹配。
点击“保存”。
A/B 测试 - 多元测试
与A/B测试一样，多变量测试基于相同的机制，但它比较的变量数量更多，并提供有关这些变量行为的更多信息。在A/B测试中，您将页面的流量拆分为不同版本的页面设计。多变量测试用于衡量每个设计的有效性。
示例
假设有一个网页收到了足够的流量来运行测试。现在，比较每个变化版本的数据以检查最成功的变化版本，但也包括对访客交互产生最大积极或消极影响的元素。
使用多变量测试的优点
多变量测试是一种有效的工具，可以帮助您定位和重新设计页面的元素，并显示将产生最大影响的区域。多变量方法可用于创建登陆页面活动。
示例
某个元素设计的相关数据可以应用于未来的活动，即使元素的上下文已更改。
局限性
多变量测试的局限性在于完成测试所需的流量。由于所有实验都是完全析因的，因此同时更改过多的元素会迅速增加必须测试的可能组合的数量。即使是流量相当高的网站也可能难以在可行的时间内完成超过25种组合的测试。
多变量测试和A/B测试的区别
A/B测试（也称为拆分测试）是一种网站优化方法，您可以在其中比较页面的两个版本的转化率，即A和B。所有访问者都被分成一个版本或另一个版本。一旦访问者访问了这些版本（A或B）中的任何一个，他们就会点击各种按钮，甚至注册新闻通讯。这使您可以确定哪个版本的页面更有效。
A/B 测试 - 搜索引擎优化 (SEO)
SEO是一种将您的网站显示在页面顶部的方法，当搜索与这些相关项目时。它包括您的网站向访问者提供的的信息以及为什么网页内容与在搜索结果中排名靠前相关。许多潜在客户认为A/B测试或多变量测试会影响他们的搜索引擎排名。
有四种方法可以确保您运行A/B测试，而无需担心失去潜在的SEO价值。
不要使用隐藏技术
当您向Googlebot代理显示一个版本的网页，而向网站访问者显示另一个版本时，称为隐藏技术。Google表示您不应该使用隐藏技术，并且对此非常严格。它甚至可能导致您的网站被排除在搜索结果之外或在SEO排名中被降级。您必须确保您不应根据用户代理在A/B测试的不同版本之间分配访问者。Google并不关心其机器人看到哪个版本，它只关心其机器人的用户体验与随机访问者的用户体验相同。
使用“rel=canonical”
当您的A/B测试有多个URL时，您可以向网页添加“rel=canonical”以指示Google要索引哪个URL。Google建议使用canonical元素，它是一个noindex标签，因为它更符合其意图。您只是指示哪个内容是原始内容。通过这种方式，Google可以相应地对页面进行分组和索引。
注意——如果无法使用canonical，则必须确保HTML或HTTP标头中存在noindex标签，如果没有，则应至少确保它具有robots.txt。
使用302重定向而不是301重定向
Google建议使用临时重定向方法——302重定向而不是永久301重定向。在任何A/B测试中，它都不是永久性重定向，而只是一个临时性重定向。始终建议使用302重定向，因为它是一个临时重定向的通知。因此，如果您正在使用重定向进行A/B测试，请确保使用302标头。
考虑SEO最重要的点是，您必须向搜索引擎明确表示，它们不应将其原始URL从其索引中删除，而只是暂时将其搁置。当蜘蛛返回进行下一次索引时，它们将再次检查重定向是否仍然适用，如果不适用，则将恢复旧URL。
不要长时间运行实验
请注意，当您的A/B测试完成后，您应尽快删除变化版本，更改网页并开始使用成功的转化版本。您必须确保删除测试的所有元素，例如备用URL和测试脚本。
如果您长时间运行测试，Google会将其视为愚弄搜索引擎的一种方式。当您长时间向大量访问者显示测试变体时，就会发生这种情况。
A/B 测试 - 面试问题
A/B测试（也称为拆分测试）定义了一种比较应用程序或网页的两个版本的方法，使您能够确定哪个版本的效果更好。A/B测试是最简单的方法之一，您可以修改应用程序或网页以创建新版本，然后比较这两个版本以查找转化率。这还可以让我们知道两者中哪个表现更好。
样本数量取决于执行的测试数量。转化率的计数称为样本，收集这些样本的过程称为抽样。
置信区间被称为偏差测量，指的是对多个样本平均值的偏差。假设22%的人喜欢产品A，置信区间为+/- 2%。此区间表示选择产品A的人数的上限和下限，也称为误差范围。为了获得最佳的平均调查结果，误差范围应尽可能小。
如果存在超过原始版本5%的改进概率，则始终进行A/B测试。测试应运行相当长的时间，以便您拥有足够的样本数据来进行统计和分析。A/B测试还可以帮助您最大限度地利用网页上的现有流量。
与建立网站流量的成本相比，提高转化率的成本微乎其微。A/B测试的投资回报率 (ROI) 非常高，因为网站上的一些微小更改可能会导致转化率显着提高。
与A/B测试一样，多变量测试基于相同的机制，但它比较更多变量，并提供有关这些变量行为的更多信息。在A/B测试中，您将页面的流量分成不同设计版本。多变量测试用于衡量每个设计的有效性。
同时测试多个变量的问题在于，难以准确确定哪些变量造成了差异。虽然您可以说一个页面比另一个页面表现更好，但如果每个页面上有三个或四个变量，您无法确定为什么其中一个变量实际上对页面有害，也无法在其他页面上复制好的元素。
以下是一些可以应用于网页的A/B测试变体。该列表包括：标题、副标题、图片、文本、号召性用语文本和按钮、链接、徽章、媒体提及、社交提及、促销活动和优惠、价格结构、送货选项、支付选项、网站导航和用户界面。
背景研究 - A/B测试的第一步是找出您网站上的跳出率。这可以使用Google Analytics等工具完成。
收集数据 - 来自Google Analytics的数据可以帮助您找到访客行为。建议始终从网站收集足够的数据。尝试查找可以改进的转化率低或跳出率高的页面。
设定业务目标 - 下一步是设定您的转化目标。找到决定变体是否比原始版本更成功的指标。
构建假设 - 一旦为A/B测试设定了目标和指标，接下来就是寻找改进原始版本的想法以及它们如何比当前版本更好。一旦您有了想法列表，请根据预期影响和实施难度对它们进行优先排序。
创建变体/假设 - 市场上有很多A/B测试工具具有可视化编辑器，可以有效地进行这些更改。成功执行A/B测试的关键决策是选择正确的工具。
运行变体 - 向访客展示您网站或应用程序的所有变体，并监控每个变体的操作。测量每个变体的访客互动，并进行比较以确定该变体的性能。
分析数据 - 实验完成后，下一步是分析结果。A/B测试工具将呈现实验数据，并告诉您不同网页变体的性能差异。还将使用数学方法和统计方法说明变体之间是否存在任何显着差异。
最常见的类型的数据收集工具包括分析工具、回放工具、调查工具、聊天和电子邮件工具。
回放工具用于更好地了解用户在您网站上的操作。它还可以让您查看用户点击的点击图和热力图，并检查用户浏览网站的程度。像Mouse Flow这样的回放工具允许您查看访客的会话，就像您与访客在一起一样。
视频回放工具可以更深入地了解访客浏览您网站上各个页面的情况。最常用的工具是Mouse Flow和Crazyegg。
调查工具用于收集网站的定性反馈。这涉及向回头访客提出一些调查问题。调查会向他们提出一些常规问题，并允许他们输入他们的观点或从预先提供的选项中进行选择。
您可以通过在底部添加更多图片来减少跳出率。您可以添加社交网站链接以进一步提高转化率。
可以使用多种类型的变体应用于对象，例如使用项目符号、更改关键元素的编号、更改字体和颜色等。市面上有很多A/B测试工具具有可视化编辑器，可以有效地进行这些更改。成功执行A/B测试的关键决策是选择正确的工具。
最常用的工具是Visual Website Optimizer、Google 内容实验和Optimizely。
Visual Website Optimizer或VWO使您能够测试同一页面的多个版本。它还包含“所见即所得”(WYSIWYG)编辑器，使您能够进行更改并运行测试，而无需更改页面的HTML代码。您可以更新标题、元素编号并运行测试，而无需对IT资源进行更改。
要在VWO中为A/B测试创建变体，请在WYSIWYG编辑器中打开您的网页，您可以对任何网页应用许多更改。这些包括更改文本、更改URL、编辑/编辑HTML、重新排列和移动。
Visual Website Optimizer还提供多变量测试选项，并包含其他许多工具来执行行为定位、热力图、可用性测试等。
这些测试还可以应用于其他几个地方，例如电子邮件、移动应用程序、PPC和CTA。
实验完成后，下一步是分析结果。A/B测试工具将呈现实验数据，并告诉您不同网页变体的性能差异。它还将使用数学方法和统计方法说明变体之间是否存在显着差异。
要将Optimizely与Universal Google Analytics集成，首先选择侧面板上的ON按钮。然后，您必须拥有可用的自定义项，以便填充Optimizely实验数据。
Universal Google Analytics跟踪代码必须放置在页面<head>部分的底部。除非Optimizely代码片段位于Analytics代码片段上方，否则Google Analytics集成将无法正常工作。
Google Analytics有两种分析数据的方法，即Universal Analytics和Classic Google Analytics。新的Universal Analytics功能允许您使用20个并发A/B测试将数据发送到Google Analytics，但是经典版本仅允许最多五个。
A/B测试会损害搜索引擎排名这是一个误解，因为它可能被归类为重复内容。以下四种方法可以确保在运行A/B测试时不会损失潜在的SEO价值。
不要使用隐藏技术 - 隐藏技术是指向Googlebot代理显示一个版本的网页，而向网站访客显示另一个版本。
使用“rel=canonical” - 当您的A/B测试有多个URL时，您可以将“rel=canonical”添加到网页中，以指示Google要索引哪个URL。Google建议使用规范元素而不是noindex标签，因为它更符合其意图。
使用302重定向而不是301重定向 - Google建议使用临时重定向方法 - 302而不是永久301重定向。
不要长时间运行实验 - 请注意，当您的A/B测试完成后，您应尽快删除变体，并更改您的网页，开始使用成功的转化版本。