Зачем нужны А/Б-тесты

Улучшение конверсионности этапов воронки продаж — повышение качества креативов, доработка сайтов, чат-ботов, цепочек рассылки — основная задача маркетолога.
Чтобы предлагать гипотезы, которые повысят конверсию, маркетолог должен обладать как хорошими творческими способностями, так и коммерческим чутьем.

Однако, как бы ни была хороша его насмотренность, как бы ни была развита интуиция — угадывать на 100%, что именно то, или иное изменение увеличит выгоду для компании, не способен никто.

Поэтому работа маркетолога на сложных проектах в сфере интернет-маркетинга — это постоянный тест маркетинговых гипотез.

Казалось бы, чтобы проверить эффективность изменения, внесенного на сайт, достаточно просто измерить конверсию после нововведения и сравнить данные с предыдущим периодом.

Но не всё так просто.

Например, данные по эффективности рекламы в апреле 2019 года у большинства компаний будут очень сильно отличаться от апреля 2020го, даже если за год в них ничего не менялось — по причине коронавируса.

Помимо глобальных изменений, таких, как текущая пандемия, в среде, где работает компания, постоянно происходят какие-то менее заметные события, которые, тем не менее, могут оказывать существенное влияние на конверсию и конечную прибыль.

Как быть уверенным, что новая рекламная кампания работает лучше старой не из-за погодных условий в текущем месяце, а потому что она объективно более полно доносит до пользователя информацию о товаре, или услуге?

Для этого существует механизм А/Б-тестирования рекламы при помощи контрольных групп.

Чтобы проверить новую гипотезу на достоверность, аудитория разделяется на две равных части: например, половине (контрольной группе) показывается старое рекламное объявление, а вторая половина видит новое. Это решение и называется А/Б-тест.

Количество пользователей, необходимое для статистически достоверного результата проверки, определяется на специальном калькуляторе.

Все рекламные площадки имеют встроенные механизмы для разделения аудитории на контрольную группу и остальную часть. Для проверки изменений на сайте Google предлагает собственный инструмент — Google Optimize.

Такой формат проверки нововведений позволит оценить их эффективность “в реальном времени”. Обе аудитории (и контрольная группа, и остальные пользователи) испытывают на себе влияние одних и тех же факторов (например, последствий коронакризиса).

Поэтому использование а/б-тестов — стандартный механизм работы по улучшению маркетинговых инструментов в арсенале компанией.