- Что такое MVT
- Терминология МВТ
- Виды тестирования
- Преимущества МВТ
- Совместное использование сплит-теста и МВТ
- Недостатки МВТ
- Когда нужно использовать MVT
- Заключение
Многие начинающие тестировщики слышали о таком сокращении, как MVT. Но не знают, что такое МВТ, какие преимущества дает, что нужно делать. Сегодня этот гайд будет посвящен всему, что относится к МВТ, или мультивариативному тестированию, и его вариациям.
Что такое MVT
Начнем с общего представления о тестировании.
А/B тестирование — это своего рода тест, который нужен для сравнения исходной страницы и ее копии, куда были внесены некоторые изменения. Сравнивается, как выполняются те или иные методы. Удалось ли убрать ошибки, которые мешали нормальной работе страницы в прошлой версии.
МВТ-тестирование ПО — это форма A/B-тестирования, которая содержит от двух до четырех или более вариаций, причем каждая из последних включает в себя несколько модификаций.
К сведению! Вы еще можете видеть, как опытные разработчики пишут MVT на английском (MultiVariable Test). Это аббревиатура, расшифровывающаяся как мультивариативное тестирование программного обеспечения.
Перед тем как начать глубокое объяснение данного тестирования, давайте разберемся с терминологией, которую употребляют, общаясь между собой, тестировщики. Это нужно для облегченного понимания и дальнейшего углубления в знания.
Терминология МВТ
Основные термины, употребляемые в мультивариативном тестировании:
- переменная — компонент страницы. Им может быть обычный заголовок или картинка. Переменная может применять два разных действия;
- вариант — это каждая цельная версия переменной. Например, если это картинка продукта и видеоролик о нем, то это визуальная презентация. Если же вариант употребляется в качестве «Купить», то это уже будет призыв к действию;
- вариация — страница, которая содержит несколько переменных, которые скомбинированы между собой.
Рассмотрим пример и употребление терминологии МВТ.
- картинка + «В корзину»;
- видеоролик + «Купить»;
- видеоролик + «В корзину»;
- картинка + «Купить».
По сути, мультивариативное тестирование — это способ, с помощью которого оптимизируют сайт. Используя его, проверяют множество вариаций одной переменной в интерфейсе пользователя. Это способствует повышению конверсии в продаже. Либо применяют для увеличения микроконверсии, которая показывает уровень взаимодействия с одним из компонентов страницы.
Опытные тестировщики часто спорят между собой о том, какой вид тестирования программного обеспечения лучше. Например, мультивариативный тест считают одним из подвидов сплит-тестирования, хотя они по структуре немного отличаются друг от друга.
Виды тестирования
Сплит-тесты используют для повышения конверсии лендингов. У них много сходств с МВТ. Вот некоторые:
- трафик сайта разделяется между вариациями;
- с помощью теста тестировщик выясняет, какая вариация работает лучше.
Но есть и различия. Они заключаются в следующем примере.
Тестировщику даны две страницы. Они совершенно разные по заголовку, дизайну, навигации, тексту внутри. Их необходимо протестировать на конверсию. Используя сплит-тест, тестировщик поймет, что одна из вариаций лучше другой. Но он не будет знать, по какой причине она стала лучше. Произошло ли это по причине дизайна, заголовка или, может быть, текста внутри страницы. Он безоружен и не будет знать, что нужно сделать, чтобы улучшить конверсию.
Мультивариативное тестирование же дает возможность понять, какая комбинация привела к оптимизации страницы, какая повлияла на конверсию. Тестировщик сможет понять: видеоролик оказался важнее СТА-кнопки. То есть теперь можно, учитывая информацию, данную в тесте, снимать больше видеороликов, чтобы повышать конверсию.
Преимущества МВТ
Начинающие тестировщики могут подумать, что два сплит-теста принесут тот же результат, что и мультивариативный один. Это не так и объясняется следующим. Например, сравнили вы две страницы, и получилось, что видео выиграло. Затем выберете выигравшее видео и возьмете две картинки «call to action». Сравните, и окажется, что кнопка с надписью «Купить» выиграет.
С одной стороны, покажется, что так и есть. Но в случае сплит-теста вы никогда не узнаете, что, возможно, оптимизировали конверсию картинка и кнопка «В корзину».
МВТ-тест позволяет увидеть, как работают различные сочетания компонентов на веб-странице.
Совместное использование сплит-теста и МВТ
Опытные разработчики не рекомендуют разделять эти два теста и использовать только один из них всегда и везде. Это будет неправильно. Нужно умело использовать данные инструменты.
Например, если вы хотите сильно изменить страницу, то используйте сплит-тест. После него можно постепенно улучшать необходимые элементы с помощью мультивариативного тестирования.
Недостатки МВТ
Как у всего в этом мире есть свои отрицательные стороны, так и у МВТ имеются некоторые недостатки. Например, большие затраты по времени и трафику.
Дело в том, что вариации, которые генерирует тест, увеличиваются с каждой секундой, пока проверка не будет выполнена. Например, при наличии двух переменных, одна из которых имеет два варианта, а другая — три, получится шесть вариаций для проведения сравнения.
В результате потребуется громадное количество трафика. Он будет разделяться на совсем мелкие части, чтобы собрать точную информацию по каждой вариации. Увеличится время тестирования.
Каждая вариация должна нести определенный посыл. Нельзя, проверяя заголовки, прописывать компоненты вариантов картинки: «Отдых и море» — «Отдых на пляже у океана» и те же фотографии. Все эти варианты просто превратятся в кучу непригодных элементов, и тестирование пользы не принесет.
Если будет недостаточно трафика, то произойдет следующее:
- не будут учитываться ложные срабатывания;
- не будет использоваться способ машинного обучения и соответствующего понимания пользовательских запросов;
- не будет систематизированного подхода к улучшению ресурса.
Многие опытные тестировщики говорят, что МВТ следует использовать очень осторожно. Желательно это делать после сплит-теста, как уже писалось выше.
Когда нужно использовать MVT
МВТ необходимо для определения эффектов взаимодействия между различными независимыми компонентами. Они помогают понять, какой вариант работает высокоэффективно.
Вот что говорит один из основателей агентства тестирования Тон Весселинг:
«Когда требуется мультивариативное тестирование? Существует одна причина — когда тестировщику надо понять, как взаимодействуют элементы страницы. Сплит-тест с тройкой или четверкой вариантов не поможет добиться хорошей информативности. Новый удачный заголовок не будет замечен, потому что в центре теста лежит другой компонент. Если опытный тестировщик желает узнать, какие элементы его страницы высокоэффективны, то он делает МВТ с этими элементами — и без них».
Заключение
И это только маленькая частица тех знаний, которые предстоит усвоить новичку-тестировщику. В сплит-тестировании и мультивариативном есть еще много интересных и полезных вещей. Если вас заинтересовала профессия тестировщика, то в обучении ей помогут курсы от DevEducation.
