步骤1：选择要评估的内容

重点关注最能反映用户体验质量的关键指标。寻找可以转化为用户体验和组织目标的指标。

也就是说，在确定要收集哪些指标之前，必须定义研究的背景。换句话说，请考虑：

• 您将关注什么产品？（网站，应用程序等）
• 您将定位哪个用户组？
• 您要衡量哪些任务或功能？

任务

找出用户在产品中完成的首要任务。如果组织没有现有的首要任务，则可以从产品中的（大多数）任务开始。然后，确定任务列表的优先级，并选择大约5–10个对用户最重要的任务。

下表概述了多种可能的产品和任务方案。每个产品仅包含一项任务，但在现实生活中，您可能会专注于多个任务。

指标

既然已经专注于一组任务，那么如何衡量它们呢？Google的HEART框架简要概述了您可能希望收集和跟踪的不同类型的指标。下表是HEART框架的改编：

某些指标比如时间，对于阅读类产品是效率指标，对于电子商务产品则是问题指标。

选择对长期而言至关重要的指标，因为理想情况下，您将在多年后重复收集这些指标。目标是针对UX的不同方面（例如，幸福感和参与度）的2-4个指标。

对用户体验进行基准测试不仅涉及跟踪指标，还涉及证明价值。当您选择与组织的关键绩效指标（KPI）相匹配的指标时，这更容易实现。

例如，在一家客户支持成本为KPI的银行中，您可以通过跟踪重新设计前后的支持呼叫次数来表明重新设计的联系表单有助于降低客服成本。

步骤2：决定如何进行测量

在开始计划新研究之前，请查看组织拥有哪些现有数据。全面了解体验并将用户体验指标与更大的组织目标联系起来。当从其他来源请求数据时，请务必说明为什么需要它以及将如何使用它。

有3种研究方法最适合UX基准测试：定量可用性测试，分析和调查数据。

• 定量可用性测试。参与者在系统中执行最重要的任务，研究人员收集度量标准（例如任务完成时间，成功率和满意度），以衡量用户在这些任务上的表现。
• 分析。系统使用数据（例如放弃率和功能采用率）将自动收集。
• 调查。用户回答问题以报告其行为，背景或意见。

步骤3：收集首次评估，建立基准

在收集第一组测量值时，请考虑可能会影响数据的外部因素。例如，如果是一个电子商务网站，请当心诸如大规模的营销活动或经济影响之类的因素，这些因素可能会破坏指标准确性，并使设计变更与结果难以相互关联。

对网站进行一次测量本身可能意义不大。即使刚刚启动了基准测试程序，并且没有可以比较的先前数据，仍然可以与竞争对手，行业基准或利益相关者确定的目标进行比较。下面我们提供每个示例。

• 竞争对手。例如，如果产品是智能音箱应用，则可以对设置产品的体验进行基准测试。（为此，可能必须收集竞争对手产品的数据，因此前面的步骤必须考虑到这一点。也就是说，您不能将分析用作方法，因为您不会有权访问竞争对手的分析。）
• 行业基准。可能有权访问与您的领域有关的外部统计信息。如果是酒店网站，则可能需要将NPS与该行业的平均得分（NPS）进行比较，即13％。
• 利益相关者确定的目标。例如，利益相关者说，他们希望提交潜在客户表单的平均时间不超过3分钟，因此您可能希望将当前的表现与该值进行比较。

步骤4：重新设计产品

重新设计过程超出了本文的范围，尽管它是一个非常重要的部分：如果不重新设计，您将无法比较产品的多个版本。

在重新设计产品时，  请牢记交互设计的10种可用性设计方法^[1]。

步骤5：收集其他测量

重新设计启动后，请重新测量设计。设计启动后要等待多长时间没有严格的规定。如果要跟踪分析，则还可以进行连续测量。但是，对于基于任务的数据收集（如定量可用性测试和调查），需要确定合适的时间来收集数据。

用户通常讨厌更改，因此在测量之前请给他们一些时间来适应新设计。时间的长短取决于用户访问产品的频率。对于每天访问的产品，也许需要2–3周的时间。对于用户每周访问1-2次的产品，最好在测量前4-5周进行。

应该考虑合适的时间来评估新设计时，请再次记录任何可能影响结果的潜在外部影响因素。

步骤6：解读调查结果

现在您已经收集了至少两个数据点，是时候解释发现了。不应该以衡量指标为依据，因为用于研究的样本可能比整个用户群小得多。因此需要使用统计方法来查看数据中的任何可见差异是真实的还是随机的。

通常，解释指标与产品和选择要收集的指标高度相关。例如，费用报告应用程序的任务时间与手机游戏的任务时间不同。在下文中，我们概述了先前讨论的场景之一和对结果的解释。

方案：设置智能音箱

假设我们将定量可用性测试与调查结合使用，以收集完成任务的时间，成功率和SEQ。下表概述了我们的初始设计和重新设计的假设指标。

总之，任务时间几乎相同，成功率增加，平均SEQ增加。假设我们发现这些指标对之间在统计上有显着差异。因此，在重新设计中，用户更加成功并且对设置过程感到满意。换句话说，重新设计是成功的！

步骤7：计算投资报酬率（选择性）

标杆管理使您能够跟踪自己的成功并展示工作价值。证明用户体验价值的一种方法是将用户体验指标与组织的目标联系起来，并计算投资回报率（ROI）。这些计算将UX指标连接到关键绩效指标（KPI），例如利润，成本，员工生产率或客户满意度。

尽管UX专业人士并未广泛采用ROI（尽管可能是因为将UX指标与KPI相关联通常足以令人信服），但计算ROI极为有益。无论如何，如果您难以证明UX的影响，那么计算ROI可能会很有说服力。

提出基准测试结果

当您总结分析并与利益相关者分享您的发现时，力争用数据讲一个故事。

此外，在向利益相关者介绍时，请确保已记录了所有假设以及研究中可能造成混淆的变量。

尽管您可能不必直接对它们进行评论，但是在演示文稿的附录中显示它们可以表明您对产品环境有全面的了解，并且如果对测量的有效性有任何疑问，可以轻松地对其进行引用。

参考资料