移动可用性测试二问题讨论

　　本篇主要讨论两个问题：
　　移动情境在移动可用性测试中的考虑
　　使用测试设备还是用户设备
　　1 移动情境探讨
　　在移动互联网时代，我们可以在任何时间、任何地点使用移动设备，情境相对更为复杂。这里我们定义的移动情境，即用户使用移动应用和产品时的环境和状态，广义来讲可以是任何影响用户与移动设备、应用进行交互的事物。诸如导致用户分心的内容、多任务并行的场景、操作时的手势、低电量的情况和网络连接环境等都是典型问题。移动情境具有复杂性、多样性、多变性等特征，因此研究员和相关学者也非常重视在移动可用性测试中对情境的考虑。Harrison et al.在建立新的移动可用性测试模型PACMAD时，就将情境因素引起的认知负担纳入了其中。 那么移动情境包含哪些内容呢？Nadav Savio创建了移动交互情境模型（如下图）。该模型阐述了影响用户在使用移动应用时的情境变量，可简单划分为三类。
　　第一类可称为环境情境，包括用户所处的环境、文化规范及所正在进行的活动；
　　第二类可称为任务情境，即用户的使用目标、注意力水平及多任务状态；
　　第三类可称为设备情境，包括用户所使用的移动设备本身（设备参数、用户对设备的熟悉程度等）、网络连接情况和运营商。所有这些包围在用户和设备之间的交叉空间，即移动界面。
　　第三类设备情境所涉及的＂使用测试设备还是用户设备＂的问题，在后面我们将单独讨论。本节讨论的移动情境指的是环境情境和任务情境。
　　1.1评估移动情境对移动可用性测试的重要性
　　移动情境对于移动应用设计很重要，但其重要程度也会因产品类型和研究目的的不同而不同。
　　根据产品使用环境评估移动情境的重要程度
　　首先需要考虑我们产品的目标用户通常是在怎样的情境中使用产品的，据此再进行有针对性的可用性测试。例如，对于网络电话App来说，其目标用户主要是在Wifi环境下拨打网络电话，通常是在家里或其他干扰相对较少的环境下使用，这时的情境相对稳定。而对于滴滴打车（下图）这样的应用，目标用户则会更多地在真正的移动情境中使用产品，会受到更多移动情境的影响。
　　根据可用性测试研究目的来考虑移动情境
　　考虑移动情境的程度还要结合可用性测试的研究目的。如果产品处在设计初期，需要关注产品整体层面的问题，如导航的合理性、页面逻辑关系等，这个阶段可能只有低保真原型可以用于测试，此时移动情境的重要度可以降低。
　　如果产品的设计已经基本完善，开始进行细节的修改迭代，且有可用的高保真原型或现成产品，此时需要提升移动情境的重要性。
　　实际工作中，由于时间和资源的限制，可能无法在一个产品设计周期内进行多次可用性测试，在一次可用性测试中可能需要包含多个研究目的，此时需要和团队沟通清楚测试的主要目的，结合设计阶段和测试资源，权衡把握移动情境的重要程度。
　　1.2将移动情境纳入移动可用性测试方案中
　　确定了移动情境的重要性后，在设计移动可用性测试方案时如何考虑移动情境？
　　实验室模拟
　　传统的可用性测试大多数都是在实验室模拟环境下进行的。Razak et al.表示实验室测试有诸多优势。
　　首先，实验室测试可以控制研究条件和变量。
　　其次，所有的被试者都是在相同的受控环境下进行测试，可以得到更高质量的数据。
　　实验室测试也允许研究人员聚焦于感兴趣的现象和问题，更好地收集数据，比如对被试者的操作和屏幕的录制。
　　但事实上，在实际操作中，实验室内很难模拟真实的用户情境和周围的环境。特别是对移动测试，实验室内缺少相应的情境因素，即使有一定程度的模拟，被试者实际体验起来也没那么自然，而且耗时间、花费大。因而在实验室环境下进行的移动可用性测试常常被质疑。但即使如此，据统计，71%的移动设备测试都还是在实验室环境下进行的。
　　真实环境
　　如果是在真实环境下进行测试，就可以获得更为自然的移动情境。PC互联网产品的使用情境多是工作环境或家庭环境，研究人员进入家庭或工作环境的门槛较高。相比而言，移动互联网产品的使用情境可能是随时随地的，在真实的环境下做移动可用性测试的可能性也更高。但在真实环境下的测试也存在较多劣势，首先是受控性相对较差，研究人员可能需要处理较多突发状况；其次，研究人员挖掘问题的深度和观察结果的细致性也远不如实验室环境；另外，所有被试者的测试环境难以统一，结果的横向比较可能也存在困难。
　　实验室模拟和真实环境各有优劣，在实际应用中如何权衡？
　　根据之前评估的移动情境的重要性来设计测试方案
　　如果评估产品使用环境及研究目的后，发现移动情境非常重要，那么建议着重采用真实环境下的测试方案。
　　比如店内导购应用的测试，在商店内进行会帮我们发现更多更真实的问题。 如果评估后发现移动情境的重要性不高或较低，那么建议在模拟情境下进行测试即可。使用相同的受控装置，我们也可以得到更高质量的数据。在此基础上，可以视情况补充少量真实情境的测试，以发现在实验室环境下较难发现的问题。
　　但一些特殊的用户群可能更适合真实环境测试方案，Oh &Kim表示测试儿童移动产品、了解儿童的需求和问题，最好是进行真实环境测试。
　　不要为了寻找或创造最佳的情境而阻碍可用性测试的进行
　　在设计可用性测试方案时，哪怕时间和资源受到限制，也不要为了寻找或创造最佳的情境而阻碍移动可用性测试的进行。
　　事实上，研究发现大多数的用户其实是擅长想象，并能理解他们可能与移动设备会产生交互的情境的。设置人工情境时，可以不用严苛地模拟。比如为了使测试环境贴近家的感觉，我们可以直接在休息区的沙发上进行测试和交流，虽然与用户实际在家使用的环境有所不同，但相比到处都是设备的实验室环境，测试结果可能更有效。
　　最后，哪怕条件非常简陋，几乎不能考虑情境因素，也不要放弃做可用性测试。因为哪怕只是坐下来和用户沟通，看看他们如何使用产品，或者进行简单的远程测试，也会有很多收获的。
　　1.3在真实环境下进行移动可用性测试的经验
　　在真实环境下进行移动可用性测试，可能会发现在设计产品时不会考虑到的，关于噪音、光线和社交状况等情境问题，这些都可能对最终的产品设计产生比较大的影响。以下是在真实环境下进行移动可用性测试的一些经验，供参考。
　　与场地方提前协调好
　　在一些特定的公共区域，如银行、商场、超市等，在测试前，可能需要和场地方提前沟通协调好，确保是在场地方允许的情况下进行。
　　选择合适的招待物品
　　实践发现，使用一些大家普遍喜欢的小礼物来吸引用户帮忙测试是很好的办法，比如玩具公仔等。另外，需要根据测试环境和需求选择合适的吸引和招待用户的东西，例如，在冬天进行户外测试时，送上一杯热饮会是个不错的选择。
　　第一句话必须争取到用户
　　通常邀请用户参与的第一句话可以是：＂可以耽误您10分钟请你喝一杯茶吗？＂或者是＂我们有一个很酷的产品，愿意来试一下吗？＂
　　快速询问一两个筛选问题
　　一旦有用户感兴趣参与进来，接下来需要了解的是，这个用户是否使用智能手机或者是否经常使用智能手机，这时候也可以顺手拍一下用户的手机。然后针对测试目的询问一两个简短的问题，例如，您使用在线银行吗？您通过在线预订方式预订机票吗？即使用户不符合你的目标，也不要让用户空手离开，还是可以送小礼物表示感谢。
　　保持测试过程尽量简短
　　理想情况下，测试过程最好是5-10分钟。通常人们不会愿意长时间站在街上和你说话。因此，在真实环境下做移动可用性测试，一般只能让用户做一两个任务。
　　两个研究人员结伴做测试
　　在真实环境下，如果是一个研究人员，那么没有办法在做详细记录的同时，还可以注意观察用户的操作。因此，最好有一个主持人角色，一个记录员角色，两个研究人员结伴做测试。
　　不要假设用户懂移动相关的术语，例如App Store或iCloud
　　有研究人员发现，相比PC互联网时代，用户对移动设备相关的术语、隐喻、交互了解更少。因此，在测试任务中应尽量避免使用术语。
　　2使用测试设备还是用户设备
　　Schusteritsch et al在其研究中指出，在移动可用性测试中要让用户尽可能自然地手持设备，这对获得用户与设备准确的交互方式至关重要。要完成这种自然的交互过程，测试设备的选择是首要的考虑因素，究竟是使用测试设备还是用户设备？
　　有研究者指出，要保证被试者能自然地完成任务，就应该尽可能地让其使用自己的设备。使用被试者自己的设备，一方面可以更真实地模拟使用情境，特别是测试中会涉及其他产品的情况下，例如，使用用户个性化的输入法、或是分享到其使用的社交产品中，都可以真实反映被试者如何与产品互动以及如何实现切换等；另一方面，相比统一的测试设备，使用被试者自己的设备测试，可以覆盖不同的移动系统平台、不同的屏幕大小和分辨率，可以提供测试设备的多样性，保证了测试的生态效度。
　　在实际测试中，要确定使用测试设备还是用户设备时，除了考虑模拟使用情境和保证测试生态效度外，我们建议还可以从以下几方面去考虑。
　　测试目的
　　如果本次测试的目的是为了了解用户是如何使用移动网站或移动App，使用测试设备可能是更好的选择，让你能够更好地控制无关因素的干扰，专注于被试者与移动产品之间的交互行为；但如果本次测试的目的并不局限于行为层面的考察，例如，测试目的还想了解被试者是否能够在他们习惯的产品下载渠道中正常下载目标产品，产品在不同设备上的适配性和表现如何，那么使用用户设备才是更好的选择。
　　测试对象是产品还是原型
　　如果测试处于产品设计前期，希望通过可用性测试快速发现问题，并制作了产品原型进行测试。因为时间限制和预装系统环境限制等因素，测试原型可能难以预装到每个用户的设备中。这时使用预装好的统一测试设备会是更好的选择。（苹果的Testflight是在App发布前测试的解决方案之一）
　　第三方工具限制
　　相较于PC可用性测试，移动可用性测试的录屏和记录更加困难。如果要录制被试者操作任务的屏幕和过程，需要一些第三方的镜像产品、录屏产品等来配合使用（具体工具的使用，在第三篇中有详细阐述）。这些第三方工具的使用，需要预装和调试。因此，不便于使用用户设备。另外，如果明确让被试者知道有录屏软件在录制自己的操作行为，测试数据的有效性可能会降低。
　　被试者的学习成本和使用习惯
　　移动设备因系统的多样性和设置的个性化而存在一定的复杂性。面对一台新的移动设备，用户需要进行一定程度的学习。有些被试者对新设备的学习成本会比较高，例如，被试者是老年人，他们通常需要很长时间才能学会使用自己的手机，因此让这类被试者使用统一的测试设备，并不是很好的选择。
　　被试者对设备的习惯问题
　　移动设备具备个性化，特别是智能手机，已经成为个体的延伸。使用统一的测试设备，即使被试者的学习成本较低，还存在习惯问题。被试者不习惯统一的测试设备，可能会导致以下两个的问题：一方面会增加被试者在测试过程中的紧张情绪；另一方面会降低被试者完成任务的效率。
　　被试者的隐私和意愿
　　移动设备比PC更能够代表个体，存在很多被试者的隐私信息和一些个性化的内容。被试者有时会不愿意使用他们自己的设备进行测试。如果想要使用被试者自己的设备进行测试，需要提前获得被试者的许可，在招募阶段就需要考虑这个因素，和被试者打好招呼。
　　场外干扰因素
　　使用被试者自己的设备进行测试会带来一个问题，在测试过程中很容易受到一些不可控因素的干扰，比如突然的来电、第三方软件的干扰、电量不足等问题，也很难提前准备和应对。而如果使用统一的测试设备，这些问题就可以更好的避免。 接下来两篇我们分别讨论：
　　现场测试方法和工具
　　移动远程测试探索
　　3参考
　　Munesh Chandra and Mohammadi Akheela Khanum, ＂Role of Context in Usability evaluations: A Review＂
　　Harrison et al., ＂Usability of mobile applications: literature review and rationale for a new usability model＂
　　Nadav Savio, Jared Brauterman PhD, ＂Design Sketch: The Context of Mobile Interaction＂
　　Razak, F.H.A., Hafit, H., Sedi, N., Zubaidi, N.A.,Haron, ＂Usability testing with children: Laboratory vs field studies＂
　　Oh, K., & Kim, ＂Social Attributes of Robotic Products: Observations of Child-Robot Interactions in a School Environment＂
　　Pamela Pavliscak,＂Making the Most Out of Mobile Testing＂
　　Rudy Schusteritsch,Carolyn Y. Wei,Mark LaRosa,＂Towards the perfect infrastructure for usability testing on mobile devices＂
　　查看更多：
　　移动可用性测试（一）：概述