A/B-тестирование и различные методы проведения

• Что собой представляет предмет «тестирование»
• Виды сравнения страниц интернет-ресурсов для повышения конверсии
• Как проводится А/Б-тестирование
• Особенности
• Заключение

В Интернете очень много гайдов по A/B-тестированию. Но тестировщики, особенно те, кто вырос на ютуб-уроках, до сих пор неправильно проводят тестирование. Получается, что конверсия сайта должна вроде бы повыситься, а на самом деле только снижается. Так происходит потому, что не учитываются некоторые нюансы подобного тестирования.

Рассмотрим, что такое A/B-тестирование и что должен уметь тестировщик A/B.

Получи грант, покрывающий 50% стоимости обучения

И обучайся новой профессии онлайн из любой точки мира

Получить грант

Что собой представляет предмет «тестирование»

А/В-тестирование — это сплит-тест, с помощью которого трафик разделяется между разными версиями одной и той же страницы пополам. Включают в себя такие тесты следующие параметры:

• гипотеза;
• объект исследования;
• вариация;
• результат.

Последний параметр предоставляется тестировщику в виде статистической информации.

Если трафика много, то протестировать можно не только две страницы, но и десять разных вариантов одной и той же или десяти ресурсов. Но загвоздка тут в другом. Все тестировщики расходятся в количестве вариаций, которые нужно проверить, чтобы сложилось единое правильное мнение, что, например, вот эта кнопка и эта картинка принесут конверсии больше, чем, допустим, вот это видео и заголовок.

Одни тестировщики используют стратегию, чтобы вычислить необходимые данные. Другие обращаются к математике. Третьи вообще затрагивают в первую очередь бизнес и план действий и говорят, что именно от него зависит конверсия, а не от интернет-ресурса.

Давайте посмотрим, какими бывают виды тестирования программного обеспечения.

Виды сравнения страниц интернет-ресурсов для повышения конверсии

Существует несколько типов тестирования разных страниц сайта:

• A/B/n-тестирования;
• многовариантные тесты;
• метод многоруких бандитов.

A/B/n-тестирования — это такие эксперименты, которые берет под контроль тестировщик. Когда тест страниц сайта дает результат, то между собой сравниваются коэффициенты конверсий начального ресурса и его нескольких вариаций.

Многовариантные тесты тестировщик проводит на нескольких версиях интернет-ресурса для определения атрибутов наибольшей значимости. Как и при использовании первого вида тестов, оригинал сравнивают с вариациями. Только теперь для каждого варианта берут разные элементы дизайна и внедряют в интернет-ресурс. Вот как это представлено на следующей картинке:

Метод многоруких бандитов — это A/B/n-сравнения, обновляемые в настоящем времени тестировщиком на получение эффективности от каждой вариации.

Способ сравнения методом многоруких бандитов начинается с отправки трафика на несколько ресурсов, куда входят оригинальная страница и ее варианты. Потом трафик обновляется. Обновление происходит в случае появления результатов эффективности той или иной страницы. Метод многоруких бандитов определяет лучший вариант из возможных, как на картинке ниже:

87% наших выпускников уже работают в IT

Оставь заявку, и мы поможем с выбором новой профессии

Оставить заявку

Как проводится А/Б-тестирование

Теперь давайте посмотрим, как проводить A/B тестирование. Сравнение страниц с разными вариантами выполнения состоит из шести шагов:

1. Тестировщик в самом начале ставит цель. Она должна полностью совпадать с целью компании, для которой создан сайт. Например, ею может быть увеличение продаж с лендинга, на который льется трафик. Тестировщику, чтобы увеличить заказы, потребуется сменить квадратные кнопки на круглые. Всегда устанавливайте правильный ориентир, иначе деньги будут потрачены впустую.
2. Тестировщик выбирает метрику. Пусть метрикой будет служить количество проданных и оплаченных заказов. То есть берите постоянно одну-две метрики и отслеживайте заказы. Не пытайтесь использовать десяток метрик, иначе эффективность тестирования снизится.
3. Далее определяется гипотеза. Выбирается она по следующему примеру. Если заменить кнопки на круглые, то конверсия должна увеличиться на 10 процентов. Следует выделить два типа гипотез. Одна из них нулевая, которая покажет, что примененный метод изменения формы кнопок ни к чему не привел. Вторая — альтернативная. Она показывает, что конверсия в действительности увеличилась.
4. Тестировщик придумывает дизайн. Например, если новую версию лендинга посмотрели 300 человек, а на старую заходили всего 100 человек, то становится понятным, что оставляется новая модель дизайна лендинга.
5. Проводится эксперимент. Это значит, что тестировщику не нужно ничего делать. Просто следить. Не старайтесь на начальном этапе при подтверждении той или иной гипотезы прерывать тест. Успокойтесь и ждите до конца периода.
6. На этом этапе тест заканчивается. По чек-листу тестирования делается анализ и принимается решение. Если новый дизайн сработал, то используют его. Если нет, то продолжают думать над увеличением конверсии другими методами.

На этом А/В-тестирование можно считать законченным. Теперь давайте посмотрим на особенности A/B-тестирования.

Особенности

Во время тестирования нужно контролировать, что одному и тому же пользователю не показывались обе страницы сайта. Для этого необходимо вносить каждый IP-адрес в куки-файл.

Еще одной особенностью является разбиение на группы, откуда заходят посетители: социальные сети, контекстная реклама, органический трафик. Также обе версии страницы тестируются одновременно, чтобы на результат не повлияли праздники, погода, выходные или другие внешние факторы.

Из выборки рекомендуется исключать сотрудников компании, которые просматривают сайт. Это делается также технически, путем запоминания IP-адреса посредством фильтров Google Analytics.

Тестировщику рекомендуется обращать внимание на результативность изменений. Это самый значимый параметр. Затем сравниваются результаты обеих версий, и та, у которой конверсия выше, становится победителем в тестировании.

Чтобы повысить эффективность тестирования, необходимо правильно подходить к процедуре. Что нужно сделать:

• исследовать;
• правильно расставить приоритеты;
• не бояться экспериментировать;
• анализировать;
• обучаться;
• не бояться повторять тесты.

Инструменты, которые использует тестировщик:

• Google Analytics;
• RealRoi;
• Яндекс.Метрика.

Окончательное решение принимаете вы. Поэтому только от вас будет зависеть, поможет ли сайт бизнесу, на который вы работаете, или нет.

Все правила, описанные выше, — это только советы по улучшению. Конкретно какое-то одно из них не рекомендуется использовать при тестировании. Необходимо экспериментировать. Аналитик должен быть гибким, каждый шаг нужно тщательно продумывать. Если позволяет время, то обязательно проводить сплит-тестирование в начале, а потом приниматься уже за мультивариантный тест.

Поэтому профессия аналитика, хоть и кажется легкой — сиди и тестируй, но на самом деле задействует мозг на 100 процентов. У такого человека должно быть стремление и умение аналитически мыслить.

Заключение

Теперь вы знаете, что такое А/Б-тестирование и как оно происходит. Если вам понравилась тема и вы хотите ее углубленно изучить, можете записаться на курсы от DevEducation.