app测试 App测试使用指南

译者注:从测试人员的角度出发，本文提出了在测试手机App过程中需要考虑的100多个问题。无论你是测试人员、开发人员、产品经理还是交互设计师，这些问题在开发移动App时都有很大的参考价值。

测试人员经常被视为Bug搜索者，但是你有没有想过他们实际上是如何进行测试的？你对他们做什么以及他们如何在典型的技术项目中体现价值感到好奇吗？

作者将带您了解测试人员的思维过程，并讨论他们在测试移动应用程序时的考虑因素。本文的目的是揭示测试人员的思维过程，展示他们通常考虑的内容的广度和深度。

测试人员需要提问

测试人员的核心能力是提出具有挑战性的相关问题。如果你能把调查和询问的技能与技术和产品的知识结合起来，你就会逐渐成为一名优秀的测试人员。

例如，测试人员可能会问:

这个App应该在什么平台上使用？这个App到底是干什么的？如果我这样做会怎么样？

等等。

测试人员可以从各种场景中发现问题，这些场景可能来自对话、设计、文档、用户反馈或产品本身。这些可能性太多了...所以，还是来看看吧！

从哪里开始测试

理想情况下，测试人员应该掌握被测试产品的所有最新细节。但实际上这是很少见的，所以和其他人一样，测试人员只能利用手头有限的数据。但这不是不被测试的借口！测试人员实际上可以从各种内部和外部来源收集信息。

在这个阶段，测试人员可以问这些问题:

有哪些信息:规格？项目会议？用户文档？知识渊博的团队成员？有没有支持论坛或者公司在线论坛可以帮忙？是否有现存bug的记录？该应用程序在什么系统、平台和设备上运行和测试？申请流程是什么样的数据(比如个人信息，信用卡等。)?应用是否集成了外部应用(如API和数据源)？这个应用需要使用特定的移动网页吗？现有消费者如何评价这款产品？测试还有多少时间？测试的优先级和风险是什么？哪些用户不好用，为什么？如何发布和更新？

基于以上收集的信息，测试人员可以制定测试计划。通常预算决定测试方法，一天一周一个月之后测试方法肯定不一样。当你熟悉了团队、工作流程和这类问题的解决方案，你就更容易预测结果。

案例:脸谱网的社会评论

作为测试人员收集信息时，我喜欢选择FacebookApp作为案例，因为用户的抱怨无处不在。以下仅显示部分在iTunesAppStore中遇到困难的用户的评论，网上还有很多。

iPhone上的FacebookApp有很多负面评论

如果我接受挑战测试Facebook，我一定会考虑这些反馈，否则我就是个傻子。

测试人员的创造力

你可能知道这个App本来想做什么，但是能做什么呢？用户实际如何使用？测试人员善于作为旁观者思考，尝试不同的东西，不断问“如果”。。。会发生什么”和“为什么”。

比如，移动测试人员经常以不同的用户角色进行测试——这有点夸张，但是作为不同用户的思考、分析和想象自己的能力对测试是有启发的。

测试人员可能会假设他们是以下用户:

没有经验；很有经验；恋人；黑客；竞争对手；

当然，可选角色更多，主要看你在开发什么产品。其实除了人物特征，其操作行为和工作流程也很重要。人们经常以奇怪的方式使用产品，例如:

不应返回时返回；不耐烦，多次按键；输入了错误的数据；不明白怎么办；可能没有按要求设置；你可能觉得自己知道该怎么做(比如平时不看说明书)。

当测试人员遇到这些问题时，他们经常会发现意想不到的bug。有时候，这些bug是微不足道的，但更深入的调查会揭示更严重的问题。

很多问题可以提前确定和测试。测试手机App时，以下问题并不都是相关的，但也可以试着问一下:

你明白你说的吗？你按照设计完成任务了吗？不是按照设计完成任务了吗？如果持续使用或加载会发生什么？会不会反应慢？会崩溃吗？会不会更新？有反馈吗？崩溃报告会反馈到App吗？用户可能有哪些创造性的、逻辑性的或被动式的导航方法？用户相信你的品牌吗？用户的数据有多安全？有没有可能被打断或者破解？跑到极限会怎么样？会要求开通相关服务(如GPS、Wi-Fi)吗？如果用户打开它会发生什么？不打开会怎么样？用户重定向到哪里？上网？还是从网页到应用？这会导致问题吗？沟通流程和市场反馈是否与App的功能、设计和内容一致？登录流程是怎样的？我可以直接登录应用程序或进入网页吗？登录是否和其他服务集成，比如用Facebook、Twitter账号登录？

案例:RunKeeper'sgyUpdate

RunKeeper，一个可以跟踪你健身活动的App，最新版本有一个“目标设定”功能，我有兴趣体验一下。从测试人员的角度来说，更像是一个真正喜欢产品的用户。但是我发现了一些问题:

1.默认单位是磅，但我想以千克为重量单位；

2.磅和千克之间的切换根本不好用；

3.设定目标时，会导致显示错误的数据和图表，让我很迷茫；

4.因为第三条，我想删除目标，但是根本找不到删除的地方；

5.为了解决这个问题，我必须改变我个人体重的值，直到“目标设定”范围，这样当目标达到时，我就可以重新设定目标；

6.我会再次尝试添加目标；

因为上面的疑惑，我花了更长的时间玩它，看能不能发现其他问题；

以下是发现问题的一些截图:

该应用程序的最新版本包含一个新的“目标”部分。在设置日期时，我发现开始日期和结束日期都可以从公元1年开始。另外，为什么有两个1年期的选项？

另一个错误是“当前重量”部分的拼写错误。当空的数据被清除后，会出现拼错的“回车”(应用中使用的是Etner)。这只是一个小Bug，但是看起来很不专业。

发现问题没有捷径，只能慢慢反复尝试。每个应用及其团队都将面临许多不同的挑战。但是测试人员的典型特征是:超越极限，做一些可以改变周围事物的非常规的事情，长时间的保持测试(测试几天，几周甚至几个月，不是几分钟)，即使很明显这些事情是不可能发生的。这些正是可以发现和引出的场景。

数据都在哪里？

测试人员喜欢从数据中发现问题，这让开发人员有时很沮丧。其实用户或者软件开发人员在信息流上太混乱了，因为可能会有很多错误，所以基于数据和云的服务更重要。

也许您可以尝试在以下场景中检查问题:

移动设备数据已满；测试人员删除了所有数据；测试人员删除了App，数据呢？测试人员删除并重新安装了应用程序。数据呢？内容过多或过少导致设计和布局发生变化；用于不同时间段和时区；数据不同步；同步被中断；数据更新影响其他服务(如网页、云服务)；快速处理数据或处理大量数据；使用了无效数据；

例如:汤。我的错误

我尝试过的Soup.me是一个可以在个人Instagram中通过地图和颜色对照片进行分类的web服务，但没花我多长时间。注册的时候提醒我Instagram上的照片不够多，但是我的账号里明明有500多张照片。不知道是什么问题，可能是数据问题，可能是表示层问题，也可能是App的错误提示。

另一种情况:快速分解

Quickytics是iPad上的网页分析应用。在使用中，虽然我已经从Google Analytics中删除了网站配置，但它仍然存在。以下是一些问题:

我已经删除了网站配置，为什么我还有这个信息？

左边的模块没有说明为什么“这个操作无法完成”，那么是否可以改进，避免混淆用户？

测试人员也喜欢测试极端数据。作为典型用户，他们经常了解这个应用程序，所以在限制下测试不会花太长时间。数据比较混乱，测试人员要考虑软件的用户类型，以及如何在不同的数据场景下进行测试。

例如，他们可以尝试以下场景:

测试用户可以输入的极限值；用重复数据测试；在全新的无数据手机上测试；在旧手摇机上测试；预装不同类型的数据；考虑收集大家的资源进行测试；自动化一些测试；用一些超出预期的数据进行测试，看看是如何处理的；分析信息和数据如何影响用户体验；不管用户看的对不对，总要问问题。

创建错误提醒和消息

这里我想说的是好的错误消息的设计，不是从设计者的角度，而是从用户或者测试者的角度。错误提醒和消息是测试人员很容易发现问题的地方。

关于错误消息的问题:

请考虑以下问题:错误提醒的UI设计是否可以接受？错误信息可以理解吗？错误信息是否一致？这些错误信息有帮助吗？错误信息内容是否恰当？这些错误是否符合惯例和标准？这些错误消息本身安全吗？运行记录和崩溃对用户和开发者可用吗？所有的错误都测试过了吗？处理完错误信息后，用户会处于什么状态？当用户应该接受错误消息时，没有弹出错误消息？

错误消息会影响用户体验。然而，坏的或无用的错误提醒无处不在。虽然理想状态是避免用户遇到虚假信息，但几乎是不可能的。错误情况的设计、实施和确认可能与预期相反。但是测试人员往往善于发现意想不到的bug，能够仔细研究是否要改进。

错误消息示例:

我喜欢以iPhone上的FacebookApp为例。这些冗长晦涩的文字不仅试图覆盖许多不同的场景，还可能无缘无故地丢失。

或许下面的消息提示框可以包含在反例“名人堂”中？

看看这个iPad上的《卫报》应用。不想“再试一次”怎么办？

对特定平台的考虑

对于任何项目团队成员来说，了解相关平台的业务、技术和设计限制是非常重要的。

那么，移动App的测试人员应该发现哪些平台相关的问题呢？

是否遵循了该特定平台的设计规范？与行业内的竞争对手和设计相比如何？适合周边设备吗？触摸屏支持轻击、双击、长按、拖动、摇动、捏、轻弹和滑动等手势吗？这个App可以理解吗？当你转动设备的方向会发生什么？可以用地图和GPS吗？有用户指南吗？电子邮件的工作流程友好吗？通过网络分享时是否运行顺畅？是否整合了其他社交应用或网站？当用户进行多任务处理，在不同的应用之间切换时，还能正常工作吗？用户更新的时候会显示时间进度吗？默认设置是什么？调整了吗？使用音效会有区别吗？

案例:黑猩猩统计

ChimpStats是iPad上的一个应用，可以查看电子邮件广告的细节。我第一次使用这个应用程序是在横向模式下。当我需要输入API密码时，我被困住了。水平模式我根本输入不了API密码，要切换到垂直模式才能输入成功。

连接和中断的问题当连接间歇或意外中断时，可能会发生许多有趣的事情。

您是否尝试在以下情况下使用该应用程序:

在步行环境中？Wi-Fi连接？没有Wi-Fi？3G模式下？间歇性连接？设置为飞机模式？当一个电话进来的时候？当你收到信息时。当您收到提醒通知时。电量低甚至自动关机的时候？什么时候强制更新？当你收到语音信息时。

这种测试最容易发现错误和bug。我强烈建议你在这些条件下进行测试(不仅仅是打开它，确保它可以正常工作，还要尝试用户使用的整个过程，在特定的时间间隔内强制连接和中断)。

这个App是否提供了足够的反馈？数据传输是否为用户所知？会不会慢慢停下来然后崩溃？打开会怎么样？任务完成后会发生什么？有可能丢失未保存的操作吗？可以忽略通知提醒吗？忽略了会怎么样？你能回复通知提醒吗？回应后会怎样？有些问题用错误信息合适吗？当登录过期或超时时会发生什么？

应用程序的维护

很容易加快整个测试过程。你只需要一劳永逸地测试它，对吗？请三思。

此刻，我遇到的一个问题是，iPad上的一些应用程序更新后无法再下载。对于一个用户来说，这是非常令人沮丧的。

也许，这不是开发者能控制的。谁知道呢？我只知道它不能被用户使用。我也尝试过卸载App然后重装，但是这个问题一直没有解决。在网上搜了很多，除了一些更新操作系统的建议，没有别的解决办法。也许，下次有空，我会再试一次。

关键问题是，如果一个应用程序只被测试过一次，而且只测试过一次(或者只在短时间内测试过一次)，你就找不到很多问题了。一个App本身可能找不到变化，但是外部条件可以让这些问题发生。

当外部环境持续变化时，App会受到哪些影响？让我们扪心自问:

我可以下载这个应用程序吗？我可以下载并安装更新吗？更新后还能用吗？很多应用在等待更新的时候，我可以更新吗？系统更新后会怎么样？系统不更新会怎样？会不会通过iTunes自动下载到其他设备？自动化任务或测试有意义吗？它会连接到网络服务吗？这有什么区别？

最好在手机App发布后对每个版本都进行测试。每次发布新版本，都定义了最高优先级测试，以保证在各种条件下(主要是主流平台)都能进行。随着时间的推移，测试可以变得自动化。但是要记住，自动化不是万能的，问题只能通过人眼来发现。

案例:苹果手机上的分析应用

这个App我用了两年了，之前没有任何问题。但现在，它显示我的一些网站没有数据(但事实上，一个月内不止一个人访问过我的网站！)。从App Store的评论来看，遇到这个问题的不止我一个人。

另一个案例是iPhone上的Twitter。更新启动这个App后，我瞬间看到如下提示:“你的时间线数据显示为空，你还没有关注任何人”(但我是一个活跃用户，有5年经验)。我担心了一会儿，幸好消息很快就消失了，然后史料就装上了。

测试没有对错

我们已经讨论了移动测试的一些方面，但是这些前提是:只有有问题才能发现问题。

一般来说，测试被认为是完全逻辑的、可预测的、可预测的。流程包括:测试脚本和测试计划，通过和失败，纠正和错误的反馈。经过这些检测程序，真相已经不远了。

当然，如果有必要，我们可以使用上述方法进行测试，但这不是测试的目的。我们不仅仅是在尝试创建测试用例，寻找bug，更重要的是，找到关键问题，为项目团队决定何时发布App提供有价值的信息。而找到那些关键问题的最好方法就是提问！