A/B 测试 - 面试问题
A/B 测试（也称为拆分测试）定义了一种**比较应用程序或网页的两个版本**的方法，使您能够确定哪个版本的效果更好。A/B 测试是最简单的方法之一，您可以修改应用程序或网页以创建新版本，然后比较这两个版本以找到转化率。这还可以让我们知道，两者中哪个是**表现更好的**。
样本数量取决于执行的测试数量。**转化率的计数**称为样本，收集这些样本的过程称为采样。
置信区间称为**对多个样本平均值的偏差的测量**。假设 22% 的人更喜欢产品 A，置信区间为 +/- 2%。此区间表示选择产品 A 的人群的**上限和下限**，也称为**误差范围**。为了获得此平均调查的最佳结果，误差范围应尽可能小。
如果存在**以 >5% 的优势击败原始版本**的可能性，则始终进行 A/B 测试。测试应运行相当长的时间，以便您拥有足够的数据样本来**执行统计和分析**。A/B 测试还可以帮助您从网页上的现有流量中获得最大收益。
与建立网站流量的成本相比，提高转化率的成本微不足道。A/B 测试的**投资回报率 (ROI)** 非常大，因为网站上的一些细微更改可能会导致转化率显着提高。
与 A/B 测试类似，多变量测试基于相同的机制，但它**比较更多变量**，并提供有关这些变量如何表现的更多信息。在 A/B 测试中，您将页面的流量拆分到设计的不同版本之间。多变量测试用于衡量**每个设计的有效性**。
一次测试多个变量的问题在于，**难以准确确定**哪些变量造成了差异。虽然您可以说一个页面比另一个页面表现更好，但如果每个页面上都有三个或四个变量，您无法确定其中一个变量实际上对页面有害的原因，也无法在其他页面上复制**好的元素**。
以下是一些可以应用于网页的 A/B 测试变体。该列表包括 - 标题、副标题、图像、文本、CTA 文本和按钮、链接、徽章、媒体提及、社交提及、促销和优惠、价格结构、送货选项、付款选项、网站导航和用户界面。
**背景研究** - A/B 测试的第一步是找出您网站上的**跳出率**。这可以通过 Google Analytics 等任何工具来完成。
**收集数据** - 来自 Google Analytics 的数据可以帮助您找到**访客行为**。始终建议从网站收集足够的数据。尝试查找可以改进的转化率低或跳出率高的页面。
**设定业务目标** - 下一步是设定您的转化目标。找到**衡量**变体是否比原始版本更成功的指标。
**构建假设** - 一旦为 A/B 测试设定了目标和指标，接下来就是寻找改进原始版本的想法，以及它们如何优于当前版本。一旦您有了**想法列表，请根据预期的影响和实施难度对它们进行优先排序**。
**创建变体/假设** - 市场上有很多 A/B 测试工具具有**可视化编辑器**，可以有效地进行这些更改。成功执行 A/B 测试的关键决策是**选择正确的工具**。
**运行变体** - 将您网站或应用程序的所有变体呈现给访客，并监控每个变体的操作。测量每个变体的**访客互动**，并进行比较以确定该变体的表现如何。
**分析数据** - 实验完成后，接下来是**分析结果**。A/B 测试工具将显示实验数据，并告诉您网页的不同变体之间存在哪些差异。还会通过数学方法和统计方法显示变体之间是否存在任何显着差异。
最常见的类型的数据收集工具包括分析工具、回放工具、调查工具、聊天和电子邮件工具。
回放工具用于更好地了解用户在您网站上的操作。它还允许您查看**用户点击的点击图和热图**，以及检查用户在网站上浏览的范围。像 Mouse Flow 这样的回放工具允许您**以与访客相同的方式查看访客的会话**。
视频回放工具可以更深入地了解访客浏览您网站上各个页面的体验。最常用的工具是**Mouse Flow 和 Crazyegg**。
调查工具用于**收集网站的定性反馈**。这涉及向回头访客提出一些调查问题。调查会向他们提出一些常规问题，并允许他们输入他们的观点或从预先提供的选项中进行选择。
您可以通过**在底部添加更多图像**来减少跳出率。您可以添加社交网站的链接以进一步提高转化率。
可以使用多种类型的变体应用于对象，例如使用项目符号、更改关键元素的编号、更改字体和颜色等。市面上有很多 A/B 测试工具具有可视化编辑器，可以有效地进行这些更改。成功执行 A/B 测试的关键决策是**选择正确的工具**。
最常用的工具包括 Visual Website Optimizer、Google 内容实验和 Optimizely。
Visual Website Optimizer 或 VWO 使您能够**测试同一页面的多个版本**。它还包含“所见即所得”（WYSIWYG）编辑器，使您能够**进行更改并运行测试**，而无需更改页面的 HTML 代码。您可以更新标题、元素编号并运行测试，而无需对 IT 资源进行更改。
要在 VWO 中为 A/B 测试创建变体，请在所见即所得编辑器中打开您的网页，然后您可以对任何网页应用许多更改。这些包括更改文本、更改 URL、编辑/编辑 HTML、重新排列和移动。
Visual Website Optimizer 还提供多变量测试选项，并包含其他一些工具来执行行为定位、热图、可用性测试等。
这些测试可以应用于其他几个地方，例如电子邮件、移动应用程序、PPC 和 CTA。
实验完成后，**接下来是分析结果**。A/B 测试工具将显示实验数据，并告诉您网页的不同变体之间存在哪些差异。它还会使用数学方法和统计方法显示变体之间是否存在任何显着差异。
要将 Optimizely 集成到 Universal Google Analytics，首先选择侧边栏上的“打开”按钮。然后您必须拥有一个**可用的自定义维度来填充 Optimizely 实验数据**。
Universal Google Analytics 跟踪代码必须放置在页面 <head> 部分的底部。除非 Optimizely 代码段位于 Analytics 代码段上方，否则 Google Analytics 集成将无法正常工作。
Google Analytics 提供了两种分析数据的方法，分别是 Universal Analytics 和 Classic Google Analytics。新的 Universal Analytics 功能允许您使用 20 个并发 A/B 测试将数据发送到 Google Analytics，而 Classic 版本仅允许最多 5 个。
A/B 测试会损害搜索引擎排名是一个误解，因为它可能被归类为重复内容。以下四种方法可以确保在运行 A/B 测试时不会失去潜在的 SEO 价值。
**不要使用隐藏技术** - 隐藏技术是指向 Googlebot 代理显示网页的一个版本，向网站访客显示另一个版本。
**使用“rel=canonical”** - 当您使用多个 URL 进行 A/B 测试时，您可以将“rel=canonical”添加到网页以指示 Google 您要索引哪个 URL。Google 建议使用 canonical 元素而不是 noindex 标签，因为它更符合其意图。
使用302重定向而不是301重定向 – 谷歌建议使用临时重定向方法 – 即302而不是永久的301重定向。
不要长时间运行实验 – 请注意，当您的A/B测试完成后，应尽快移除变体，并对网页进行更改，开始使用带来最佳转化率的版本。