Лига тестировщиков

Уровни тестирования:

Компонентное — Проверяем отдельно, каждый кубик колбаски и картошки.

Интеграционное — Проверяем сочетаемость каждого ингредиента с другим ингредиентом,  Например: Колбаска + картошка, колбаска + горошек, горошек + морковка.

Системное — Проверяем весь салат после заправки майонезом. Рекомендуется еще и среду использования, приблизить к реальной. Садимся за стол, берем баночку свежевыжатых дрожжей и тестируем салат вечером в пятницу.

Приемочное — Тут проверяет заказчик. Зовем маму. Накладываем салат. Накрываем на стол. И ждем правок или успеха. По хорошему надо бы еще приложить бумажку с тем что тестировать и как(спойлер: это тест-кейс), но маме, как эксперту, это не нужно. Вся документация по приемке у нее в голове.

Тестирование по критерию запуска:

Динамическое — это вид тестов в котором надо все запустить. В нашем случае это смешать салат, заправить его и отнести на стол. Теперь можно тестировать его.

Статическое — тут мы тестируем без запуска. Все нарезано и лежит на доске. Осталось только смешать. И тут вступает в игру, статическое тестирование. Надо проверить все еще до запуска (до заправки майонезом). В этом виде тестов часто используется автоматизация через программы. По этому все нарезаем. Звоним маме по скайпу (нам же нужна программа, для канона). Мама по видеосвязи оценивает, достаточно ли ингредиентов нарезано. И выдает вердикт.

Методы тестирования:

Метод черного ящика — тут мы тестируем как обычный пользователь. Нас зовет друг к себе. Мы приходим и перед нами ставят тарелку с салатом. Мы ничего не знаем, и начинаем тесты. На вкус, на перевариваемость, на внешний вид и прочие тесты.

Метод белого ящика — точно так же приходим к другу. Та же тарелка салата. Но теперь нам дают весь рецепт. И мы пробуем протестировать послевкусие от кабачка, пытаемся уловить тонкие ноты супер-дорого перца и обязательно просим добавки. Так посмотрим, как работают наши API и что еще хранится в холодильнике (на сервере).

Метод серого ящика — это такой вид теста, когда мы знаем не все, но чуть больше чем просто пользователь. Например: нам дали не весь рецепт, а только сказали что в салате есть кусочки палтуса (рыба такая). И теперь помимо тестов как в черном ящике, мы пытаемся уловить вкус палтуса.

Основных приоритетов 3. Но есть в компаниях разные приставки типа extra, ultra, mega, very и прочие. Так что всегда можно поставить ultra mega very low.

High - Баг должен быть исправлена как можно быстрее. Критическая для нашего салата.

Нет селедки в салате селедка под шубой.

Medium - Баг должен быть исправлен. Не так критично, но  исправить надо.

Вместо сухариков мы добавили чипсы в салат цезарь.

Low - баг должен быть исправлен.Он не критичный, и срочности в исправлении нет.

В оливье, вместо кубиков 0.5 см , мы порезали 0.8 см.

Теперь о комбинации приоритетов и серьезности ошибок.

High Trivial - У всех людей непереносимость лактозы, а в нашем салате заправка из сметаны.

Low Blocker - Принесли замерзший салат с мороза, но люди настолько голодные, что съели его как мороженное. и всем понравилось.

High Major - Люди не едят горошек. Мы просим отделить весь горошек и заменяем его кукурузой. Теперь салат съедят весь.

Low Critical - От салата алкоголь сильнее растаскивает. Гостям понравилось, что можно меньше пить и сильнее пьянеть. Никто не напился, алкоголя ушло меньше, вечер прошел лампово и душевно.

Тестирование - это процесс исследование салата с целью понять, а выполняет ли он свои заявленные функции. Например: Вкусный ли он? Свежий? Сытный?

Принципы тестирования:
1. Тестирование может сказать что баги есть, но не может доказать что их нет - можно проверить каждый ингредиент салата, перепробовать все комбинации вкусов, перепроверить все сроки годности, но принеся салат маме получить фразу: "салат не вкусный". Мы можем сказать что колбаса испорчена, но не можем сказать что салат идеален.

2. Протестировать все невозможно - мы можем протестировать основные и второстепенные способы использования, но не можем проверить все. В наших силах проверить  вкус салата, его усвоение, его сытность, скорость замерзания на морозе, удобство как подушки на новый год. Но кто-то может догадаться использовать салат вместо маски для лица, а у нас есть ингредиент который вызовет раздражение.

3. Чем раньше начнем тестировать, тем больше денег сэкономим - нам принесли рецепт. Если мы его сделаем и попробуем салат, можем найти не гармоничность вкуса селедки и варенья. Если бы мы начали тестировать с рецепта, то еще до закупки и приготовления, нашли  эту дисгармонию. А теперь, выкидываем салат,ищем ошибку в рецепте и  заказываем заново продукты.

4. Большинство багов происходят в паре-тройке модулях(ингредиентах) - сделали салат и получили два проблемы: салат отдает кислым вкусом, и переваривается за 20 минут до состояния выброса. Начинаем пробовать отдельно каждый компонент и понимаем что у нас просрочена курица. В магазине ее сбрызнули лимонным соком, что бы это скрыть. Убираем курицу, и салат снова прекрасен.

5. Парадокс пестицида (это умными словами); Если тестировать один и тот же путь, то скоро на этом пути баги закончатся. Мы получим идеальную тропинку, шаг влево или вправо и мы провалимся сквозь пол(простыми словами) -  У нас есть задача протестировать свежесть и вкусность колбаски. Мы пробуем ее, растираем о стол, оставляем на сутки заветриваться и приходим ко мнению что с колбаской все в порядке. Но у нас покрывались тестами только колбаска. Горошек мы упустили из внимания. Компания зева продала нам еще 4 лишних рулона.

6. Тестирование зависит от контекста - этот пункт про фокусировку сил и внимания. Например для мамы и сестры, мы готовим немного вкусного и легкого салата. Для праздника с друзьями, много жирного и соленого салата в самый раз. По этому для мамы мы должны проверить: легкость, сочность, питательность. А для друзей: Жирность, соленость и дешевизну приготовления.

7. Если нет ошибок, то ПО все равно не идеальное - это последний пункт по потребности тех, кому делаем салат. Мы можем перепробовать все ингредиенты, просмотреть все сроки годности и сделать идеальную нарезку. Но все это не имеет смысл, если мы принесли 400г салата из свежей капусты с грибами, на вечеринку из 20 человек. Важно делать салат не только хорошим изнутри, но и закрывающим потребности пользователей.