实例拆解:可用性测试经验总结

实例拆解:可用性测试经验总结

Hang

在日常体验设计工作中,设计师常常会遇到以下困惑:

  • 产品是否真的好用,用户是否满意
  • 用户使用过程中会遇到哪些问题,是否潜在一些未被察觉的问题
  • 设计过程中存在一些拿不准的地方,用户是如何感知的

总之,如何验证设计工作的有效性,本身也是我们工作中的重要一环。在众多用研方法里,可用性测试是早已被验证过的一套行之有效的定性研究方法。在近期工作中,我们团队正是通过可用性测试完成了对产品体验的有效优化,本文既是对这个方法的介绍,也是对整个过程的收获总结。

什么是可用性测试

可用性测试是一种通过让用户在实际或模拟环境中使用产品,以评估其是否满足用户需求和期望的方法。这种测试旨在发现并改进产品设计、交互流程、界面布局等方面存在的问题,从而提升用户体验。可用性测试不仅关注产品是否“能用”,更关注其是否“好用”和“愿意用”。

可用性测试很重要,但并不是必须选项,因其在执行过程中存在一定的人力、时间成本,且用性测试的结果准确性与组织者的专业水平直接关联(在后面一章我会就这点展开谈谈),因此对于需要快速迭代的小版本或组织者专业水平拿不准等情况下,我们不建议开展可用性测试。

可用性测试的类型

可用性测试主要分为两种类型:形成式、总结式。
1、形成式
需要 3-5 名测试者,通常会花费 1-2 小时左右的测试时间,其核心目的在于快速发现问题、优化问题。

2、总结式
需要 30 以上的测试者,测试周期较长,往往会委托第三方公司来做,成本较高。

因此,在日常设计工作中,设计师自发组织的往往是形成式。

如何开展一次有效的可用性测试

先简单粗暴地把测试过程分成三个阶段:测试准备、正式测试、结果分析

测试准备

为了测试结果的准确性,在正式进入测试前,我们需要做好以下几个方面的准备工作:

1 、明确测试目标

  • 本次测试需要验证哪些功能
  • 哪些模块是我们重点关注的,哪些是有容错空间的
  • 改版方案是否有效
  • 用户对某个功能设计的看法

2 、设计测试任务

可用性测试不是让用户漫无目的地随意浏览产品,我们需要针对性地设计几个任务,让用户“有的放矢”。想要设计出合适的任务,建议从以下几点出发:
1)紧紧围绕测试目标
跟玩游戏一样,主线任务是最重要的。测试产品最核心的或者团队最关注的功能,不要让无谓的旁支任务瓜分用户太多注意力和时间。
同时需要注意控制任务数量。我们设计任务时,为了尽可能的在用户身上挖掘出更多价值,经常容易设计过多的任务。随着任务和时间的增长,用户的配合度和耐心会逐渐下降,测试结果的准确性会有所降低。

2)场景化
让用户置身于一个简短的场景中,cos 具体的角色。例如,在我们针对公司官网的可用性测试里,任务之一是“假设你是一名即将毕业的计算机专业学生,对IOT行业感兴趣,想进入该领域发展,现在请寻找是否有合适岗位并完成简历投递”。
通过创造一个实际场景,能让用户更有代入感,从而更好地理解并执行任务。

3)明确任务的起点和终点
在设置任务时,需要对整个流程有一个预期,从哪个页面开始,到达哪个页面或者完成什么操作才算结束,需要完成到什么程度。同样以第 2 点中找工作岗位为例,我们需要明确,用户是进入招聘页就代表任务完成了,还是需要做到更多,如投递简历。

4)细化任务
当想要测试的任务比较大,或包含小功能比较多时,我们可以把大任务细化成多个小任务,从不同角度进行验证。如对“假设你是一名物联网从业人员,正在做一份行业调查报告,现需要收集一些行业动态、资讯等信息”的主线任务,我们可以设置子任务:

  • 请找到2018/09/07当天的行业资讯——验证系统快速定位能力
  • 找到“智慧园区”相关的一条行业资讯,并通过微信分享给测试人员——验证信息查询与分享功能

3、招募测试用户

参考尼尔森博士一个已经被用烂的洞察:有5个人参加的用户测试,就可以发现85%左右的产品可用性问题。
我们以发现问题为目的的形成式可用性测试一般招募 4-5 人即可(当然适当增加测试人数,准确性更具有可信度)。

招募途径可以是身边的同事,也可以是自己的朋友圈,甚至是陌生的网友。在我们展开的针对公司官网可用性测试中,所招募的用户构成,涵盖了设计同事(专家用户)、其他同事(普通用户)、应届生(核心用户)、外部企业人员(核心用户)等。

4、准备测试资源

1)场地与设备
资源主要包括场地和设备。如果有条件申请到专业的用研实验室,拥有眼动仪、录音笔等专业设备,测试的准确性会更有保障。但这对公司的要求比较高,如果没有相关配套资源,找个会议室,使用电脑、手机也是完全足够的。

场地方面,原则上测试环境最好与真实使用场景一致,但在吵闹的地方用户可能会被打扰,在过于安静严肃的地方,也会让用户紧张、不自在。需要设计师根据实际情况选择合适的场地。

设备方面,建议准备两台电脑,一台用于测试,一台用于记录(可以用纸笔代替),和两部手机,一台用于拍摄完整过程,方便后期整理分析;一台用于计时,统计用户完成任务耗时。

如果用户是远程测试,则需要准备会议软件、录屏软件,记录下用户的操作过程。

2)文件资料
包括任务脚本、评分表、保密协议等
image.png

除了测试所需物料以外,我们也建议为测试用户准备上简单的小礼物作为酬劳。

5、预测试

正式进入测试前,我们需要有一个预测试的过程,即按照正常测试流程跑一遍,尽可能的模拟真实环境,排查流程性问题。预测试的结果同样要写进分析报告里。

6、正式测试

经过千辛万苦,我们终于进入了正式测试环节。同样,可以分几步走:

1)暖场,说明本次访谈的目的

示例:您好,我是 XXX 团队的交互设计师 XXX,本次测试是想研究 XXX 产品的易用性。接下来需要您通过产品完成几个任务,整个过程我们会进行录音录像,希望您理解。同时感谢您的参与。

2)简单访谈,大致了解用户的基本信息、产品使用情况、日常使用习惯等,如:

  • 是否使用过 XXX 产品
  • 通常在什么场景下会使用 XXX 产品
  • 平时使用时,是否遇到过什么困难

3)开始测试并观察记录
测试现场.png

如果是改版项目,需要验证新方案的有效性,建议采取对比实验的模式。让用户也简单使用下旧系统并给予评分,作为参考系,用于评估新方案是否我们的预期。

在用户完成任务过程中,我们需要关注并记录两块内容:
行为: 用户完成任务的路径、操作习惯、任务耗时等。
表达: 鼓励用户边操作边说出心里的想法,这些往往代表了用户最真实的感受,往往能收获到我们意想不到的反馈。
情绪: 当用户发出疑问的声音或者表情时,我们可以适当提问:您现在想什么?您感觉如何?为什么想要这么操作?通过提问挖掘更多信息。

整个过程我们都需要遵循两个原则:

  • 客观中立,不要干涉用户的操作,不要给于明显的指导
  • 适当干预,当用户偏离任务,或卡在流程中时,适当提醒,鼓励尝试,而不要直接告知答案

4)事后回顾
测试结束后,趁着新鲜劲儿,再次回顾用户在执行任务中的问题、评价和期望等,比如:您刚刚整体使用下来,感觉如何?您刚才在 xx 页面做了 xx 操作,能说一下为什么这么做吗?…

并邀请用户对产品各方面进行评分。评分规则可参照SUS可用性量表:
image.png

如果采用 SUS 量表,需要注意记分时,奇数项的记分采用原始分数-1,偶数项得分采用5-原始得分,由于是5点量表,每个题目的得分范围是0-4,SUS的范围是0-100,故需要将每个题目得分相加后再乘以2.5,即可获得SUS的最终分数。

SUS的平均分数为68分,50以下是不可接受的,70分以上是可以接受的

5)结果分析
根据我们团队的工作流程,收集到测试数据后,一般会采取以下几个步骤:清洗-分析-整理-表达,其中最重要的无疑是数据分析和整理,清洗和表达相对容易被大家忽略。但其实这两个环节也非常重要。

清洗: 不论测试准备工作做得多么细致,执行得多么严谨,总会有遇到一些意料之外的因素影响着数据的准确性。例如,在我们的有一组测试中,由于网络波动,系统使用起来显得有些卡顿,导致用户在这一项的评分较低。但实际上这并不是系统优化做得不好,而是外在因素造成的。因此需要我们先过滤一遍数据。

表达: 将整理结果可视化表达,输出一份可用性测试报告,不论是向领导汇报还是对外传播、存档留痕,都是很必要的。
image.png

最后,通过可用性测试发现的问题,需要拉上产品经理一起评审。考量必要性、成本、优先级等多方面因素后,再纳入后续的开发计划。

参考资料:
结合实例讲解:可用性测试的具体做法及经验总结-腾讯云开发者社区-腾讯云
如何进行可用性测试?这里有一份全面的可用性测试指南 | 人人都是产品经理
关于SUS可用性量表的分值体系思考 | 人人都是产品经理