Блог седого тестировщика

говориМ о тестировании
простым языком

Виды тестирования по времени проведения

Время на прочтение: 5 мин.
Наш продукт может быть не полностью “собран”, но это не мешает ему быть объектом тестирования.

Кроме того, он может быть в принципе готов “выйти в свет”, но было бы неплохо посмотреть на него глазами конечных потребителей.

Именно это и послужило причиной деления тестирования на альфа и бета тестирование. По тому же принципу делятся и пользователи, которые проводят данные виды тестирования. Подробнее обо всем в статье.

Альфа и бета тестирование являются одной из форм приемочного тестирования. То есть ошибок на этом этапе тестирования уже быть не должно. Скорее наоборот, программа должна быть максимально рабочей и пригодной для использования.
Про уровни тестирования подробно говорили тут.

Альфа-тестирование

После подготовки отдельных модулей продукта, они объединяются в единое целое. Это еще не готовая версия, но она уже способна работать и выполняет свои основные задачи (иногда частично). Этот вариант программы и называют альфа-версией.

Альфа-тестирование (alpha testing) – это вид приемочного тестирования, которое обычно проводится на поздней стадии разработки продукта и включает имитацию реального использования продукта штатными разработчиками либо командой тестировщиков.

Обычно альфа тестирование заключается в систематической проверке всех функций программы с использованием техник тестирования «белого ящика» и «черного ящика» (подробнее о них тут).

Альфа-тестирование является методологией оценки качества и стабильности тестируемого продукта в тестовой среде.

На этом этапе основное внимание уделяется:
— Обнаружению ошибок,
— Вопросам по юзабилити,
— Различию в характеристиках,
— Проблемам совместимости/взаимодействия.

Фазы альфа-тестирования:

  • Предварительное альфа-тестирование: пользовательский интерфейс продукта готов, но функции еще не реализованы полностью. На этом этапе обычно принимается решение о том, какие функции следует вводить в продукт. Прототип продукта постоянно пересматривается и анализируется для большего улучшения.
  • Альфа-тестирование: рабочий продукт готов к тестированию.

Альфа-тест обычно происходит в циклах, каждый из которых будет составлять примерно 1-2 недели. Количество циклов зависит от функций, включенных для тестирования, и количества проблем, обнаруженных на этом этапе тестирования.

Критерии входа:

  • Тестирование системы должно быть завершено и подписано (если альфа-тестирование начнется после завершения тестирования системы).
  • Продукт готов на 70% – 90%.
  • Участники должны быть идентифицированы и знать особенности продукта.
  • Альфа-тесты разработаны и рассмотрены.
  • Настроена среда тестирования и подтверждена стабильность.
  • Билд для альфа-версии продукта готов и запущен с полными примечаниями к выпуску.

Критерии выхода:

  • Функциональные ошибки исправлены.
  • Все тестовые циклы полные.
  • Все запланированные тесты выполнены и пройдены.
  • Функции замораживаются (то есть никаких дополнительных функций, никаких изменений в существующих функциях).

Преимущества альфа-тестирования:

  • Обеспечивает лучшее представление о надежности программного обеспечения на ранней стадии.
  • Помогает моделировать поведение пользователя и окружающую среду в режиме реального времени.
  • Комплексный подход позволяет обнаружить много серьезных и дорогостоящих ошибок.
  • Опытные специалисты пропустят меньше ошибок, чем специалист без опыта. Также, не стоит забывать, что команда тестировщиков несет полную ответственность за свою работу, чего никак нельзя сказать об участниках бета-тестирований. Это во многом сказывается на качестве тестирования в положительную сторону.
  • Дает возможность раннего обнаружения ошибок в отношении дизайна и функциональности.
  • Помогает понять факторы, влияющие на успешный выпуск продукта.
  • Развернутый отчет о результатах тестирования, в котором все излагается так, что разработчики могут сразу приступать к исправлению багов.

Недостатки альфа-тестирования:

  • Функциональность не может быть проверена на всю глубину, поскольку программное обеспечение все еще находится на стадии разработки. Иногда разработчики и тестировщики недовольны результатами альфа-тестирования.
  • Дорого. Далеко не каждая компания может себе позволить расширять штат и нанимать сотрудников-тестировщиков на постоянную основу, особенно если речь идет о стартапах. Многие выбирают аутсорс. Тем не менее, это все равно финансовые затраты.
  • Может быть недостаточно глубоким для нахождения всех багов.
  • Долго. По сравнению с бета-тестирование, альфа-тестирование длится намного дольше, так как требует определенной подготовки. Ведь в этом случае необходимо подготавливать тест-кейсы и чек-листы, разрабатывать множество всевозможных сценариев, план проверки и т.п.

Бета-тестирование

По окончании работы с альфа-версией выпускается бета-версия. Она представляет собой реально работающую версию программы с полным функционалом.

Бета-тестирование (beta testing) – интенсивное использование почти готовой версии продукта с целью выявления максимального числа ошибок в его работе для их последующего устранения перед окончательным выходом (релизом) продукта на рынок, к массовому потребителю.

Бета-тестирование представляет собой реально работающую версию программы с полным функционалом.

Задача бета-тестов – оценить возможности и стабильность работы программы с точки зрения ее будущих пользователей. Поэтому, в отличие от альфа-тестирования, бета-тестирование предполагает привлечение добровольцев из числа обычных будущих пользователей продукта.

Такими добровольцами ( бета-тестерами) часто движет любопытство к новому продукту. Они вполне согласны мириться с возможностью столкнуться с ошибками. Кроме любопытства, мотивация может быть обусловлена желанием повлиять на процесс разработки и получить более подходящий им продукт.

Будет плюсом, если это люди, которые уже имеют опыт работы с программами такого типа, а еще лучше – с предыдущей версией этой же программы. Обычно у компаний уже есть определенный круг лиц, с которыми они постоянно сотрудничают.

Надо сказать, что разработчики не испытывают недостатка в желающих принять участие в такой работе. Многие люди хотят попасть в закрытую группу, первыми узнать о новых функциях продукта, пользоваться тем, чего нет в свободном доступе.

Наглядный пример набора бета-тестировщиков — социальная сеть Яндекс.Аура. Создатели сделали ограниченный доступ по ссылкам. Таким образом, в первые дни они набрали достаточное количество пользователей для первых тестов и закрыли набор. То есть каждый пользователь чувствовал себя там уникальным и с радостью помогал тестировать новый продукт. Продукт, к которому нет доступа больше ни у кого.

Кстати, этим пользователям еще присвоили особенные “метки”, которые говорят о том, что они первопроходцы. Это тоже отличный стимул быть тем самым первым пользователем.

Разные компании выполняют бета-тестирование по-разному. Есть 2 вида бета-тестирования:

  • Открытое бета-тестирование, когда продукт доступен для всех желающих. Этот вариант позволяет протестировать приложение в большей группе и получить большой объем обратной связи. Любой пользователь сможет присоединиться к открытому бета-тестированию и отправить личный отзыв.
  • Закрытое бета-тестирование, когда продукт тестируется ограниченным количеством пользователей. Обычно это небольшая группа, в которую попадают по приглашениям.

Преимущества бета-тестирования:

  • Снижает риск выхода продукта из строя посредством валидации клиента.
  • Бета-тестирование позволяет компании тестировать инфраструктуру после запуска.
  • Повышает качество продукции благодаря обратной связи с клиентами. Пользователи не только пишут про найденные баги, а также вносят свои предложения и пожелания по улучшению функционала продукта.
  • Выявляют баги, которые были не выявлены на предыдущих этапах тестирования. Дешевле исправить их на данном этапе, чем при релизе на всех конечных пользователей.
  • Является экономичным методом сбора данных по сравнению с аналогичными методами. Однако не всегда удается получать обратную связь без вложений. Иногда пользователям предлагают какие-то бонусы за найденные баги. Тем самым мотивируя их на активные действия.
  • Создает доброжелательность с клиентами и повышает удовлетворенность клиентов.

Недостатки бета-тестирования:

  • Управление тестированием – проблема. По сравнению с другими типами тестирования, которые обычно выполняются внутри компании в контролируемой среде, бета-тестирование выполняется в реальном мире, где у компании редко есть контроль.
  • Качество тестирования не на высоте. Бета-тестировщики не всегда обладают даже минимальными техническими навыками, позволяющими дать качественную оценку ПО. Конечно, о чёткой локализации и понятном описании бага при бета-тестировании можно даже не говорить. Обычно это ложиться на плечи штатных тестировщиков.
  • Поиск правильных пользователей бета-версии и поддержание их участия может вызвать трудности.
  • Есть риск, что бета-тестировщики разместят информацию о вашем продукте еще до его выхода. Это может значительно подпортить ожидаемый от релиза эффект.
  • Неполное тестовое покрытие. Практика показывает, при тестировании непрофессионалами часть функционала всегда остается не охваченной. Все же бета- тестировщики не профессионалы.

Гамма-тестирование

Часть авторов (например, Святослав Куликов в своем учебнике “Тестирование программного обеспечения.Базовый курс”) еще выделяют третий вид тестирования – гамма-тестирование.

Гамма-тестирование (gamma testing) — финальная стадия тестирования перед выпуском продукта, направленная на исправление незначительных дефектов, обнаруженных в бета-тестировании.

Как правило, также выполняется с максимальным привлечением конечных пользователей/заказчиков. Суть этого вида вкратце: продукт уже почти готов, и сейчас обратная связь от реальных пользователей используется для устранения последних недоработок.

Стоит отметить, что, обычно, тестирование все же делят на альфа и бета без упоминания о гамма-тестировании.

Альфа и бета. В чем отличия?

Таблица сравнения
Таблица сравнения

Как видите, альфа и бета тестирование имеют разные цели и задачи. У каждого из них есть свои плюсы и минусы. Конечно, будет неплохо использовать оба этих метода, так как они приносят свои «плоды». Но это не всегда возможно и финансово обосновано.

Очень часто бета-тестирование практикуется в игровой сфере. Все же один из основных плюсов бета-тестирования — понимание того, нужен ли аудитории наш продукт и стоит ли его выпускать в релиз.

Share on vk
Vkontakte
Share on facebook
Facebook
Share on linkedin
LinkedIn
Share on twitter
Twitter

Автор статьи:

Подписаться
Уведомить о
guest
0 комментариев
Межтекстовые Отзывы
Посмотреть все комментарии

Ближайшие события

Вам также может понравится