Во-первых, множество багов мы можем выловить только на реальном устройстве, которое находится у нас в руках.

Другая причина – невозможность тестирования некоторых процессов на эмуляторах и даже на фермах (работа в реальных условиях, например, в шумном месте, имитация различных кейсов с батареей, с сетью).

Ну и третья причина – никакой симулятор или телефон с фермы не заменит реального пользовательского опыта (тестирование юзабилити: удобно ли расположены элементы в интерфейсе, не закрывают ли их пальцы во время работы, не слишком ли узкие поля для тапанья и т.п.).

***
Вряд ли найдется проект, на котором будет достаточно денег, чтобы закупить все желаемые устройства для физического тестирования тестировщиками, поэтому к покупке физических девайсов надо отнестись максимально ответственно и с умом потратить выделенный бюджет.

Что же надо учесть, чтобы подобрать набор устройств для тестирования максимально эффективно?

Если наша аудитория – школьники, то, скорее всего, родители не будут заморачиваться покупкой последних дорогих моделей для своих детей. Следовательно, возможно имеет смысл иметь в арсенале телефоны даже с самыми старыми версиями ОС, которые уже перестали поддерживаться. Ведь девайсы с этими системами все еще в ходу, особенно когда на телефоне хочется сэкономить.

Ну а если аудитория в основном бизнесмены, это значит, что следует закупать модели поновее и подороже. Вряд ли люди бизнеса будут экономить на таком необходимом инструменте работы, как смартфон или планшет.

Как же учесть все вышеперечисленные тенденции? Перед покупкой девайсов надо хотя бы элементарно посмотреть результаты сортировки по самым популярным устройствам в крупных магазинах и сервисах. При этом очень критично следует относиться к подборкам типа Топ-10, так как мнение экспертов не всегда совпадает с потребительской популярностью.

Вот, например, интересный сайт: https://gs.statcounter.com/, который предоставляет разнообразные статистические данные по всем регионам мира. Тут можно посмотреть статистику по вендорам, разрешениям экрана, операционным системам, используемым пользователями социальным сетям (например, эта информация полезна, если мы хотим интегрироваться с какими-либо из них или установить приоритет бага, если какая-то ссылка на соцсети в нашем приложении сломается), браузерам, а также устройствам (мобайл vs планшет). Вся информация предоставляется совершенно бесплатно.

Другим полезным сайтом, где можно посмотреть полезные статистики по Android, является https://www.appbrain.com. Там можно посмотреть статистику по устройствам, вендорам, версиям ОС. Информацию тоже можно фильтровать по странам.

При использовании статистики следует помнить, что брать надо самые свежие данные, так как ситуация на рынке мобильных устройств очень динамична. Если данным больше года, то доверять им нельзя.

***
Пополняя рынок девайсов, не забывайте про личные устройства, которые есть у тестировщиков и разработчиков. Лучше протестировать приложение на каком-нибудь физическом устройстве, чем ни на каком.

Ну и конечно не стоит недооценивать роль бета-тестирования. Сейчас существует множество платформ, таких как Testflight, Test Fairy, Beta test и других, где тестировщиками вашего приложения могут стать реальные пользователи, заинтересованные в вашем продукте, со своими реальными устройствами.