Как обычно оценивается эффективность креатива? Чаще всего маркетолог смотрит на CTR и решает, какой баннер работает, а какой нет. Но CTR — это не показатель эффективности. Креатив может собирать клики, но вообще не давать заявок.
Причина в том, что аудитория, идущая на красивый, но не продающий креатив, может быть дешевой, но вообще не целевой.
A/B-тестирование решает эту проблему. Оно позволяет проверить гипотезу на реальных данных, а не на догадках. И масштабировать то, что реально работает.
В этой статье расскажем, как тестировать креативы, аудитории и офферы без потери бюджета, разберем гипотезы, выборки, метрики и ошибки.
Зачем вообще нужно A/B-тестирование?
Без A/B-тестов ситуация зачастую выглядит следующим образом:
- Решения в маркетинге принимаются на глаз
- Бюджет тратится на неэффективные креативы
- Не понятно, что влияет на конверсию
- Оптимизация основана на догадках
С A/B-тестами всё намного интереснее:
- Решения основываются на данных
- Бюджет направляется на то, что работает
- Видно, какой элемент влияет на конверсию
- Оптимизация основана на фактах
A/B-тесты — это не прихоть маркетологов, а необходимость для бизнеса, который стабильно тратит деньги на рекламу.
Что такое A/B-тест
A/B-тест — это сравнение двух вариантов (A и B) с изменением только одного параметра, чтобы понять, какой вариант работает лучше.
Пример:
- Вариант A: креатив с оффером «Скидка 20%»
- Вариант B: креатив с оффером «Бесплатная доставка»
- Аудитория, бюджет, время — одинаковые
- Меняется только оффер
- Результат оцениваем по тому, какой вариант дает больше заявок при том же CPL
Ключевое правило: меняется только один параметр за раз. Иначе невозможно понять, что именно повлияло на результат.
Что тестировать в первую очередь?
Принцип простой: начинайте с самого дешевого и мощного рычага — заголовков и офферов.
Приоритеты тестирования:
1
Оффер
Самый мощный рычаг: влияет на мотивацию
2
Заголовок
Первое, что видит пользователь
3
Визуал (фото/видео)
Влияет на внимание и CTR
4
CTA (призыв к действию)
Влияет на конверсию
5
Формат (видео vs фото)
Влияет на вовлечённость
6
Аудитория
Влияет на качество лидов
7
Цвет кнопки, микротексты
Мелкие детали, тестируются после крупных блоков
Почему оффер — это приоритет №1?
Оффер отвечает на вопрос «Почему я должен купить у вас?». Если оффер слабый, никакой дизайн вашу рекламу, увы, не спасет.
Как провести эффективное A/B-тестирование. Алгоритм из 5 шагов
Шаг 1. Сформулируйте гипотезу
Формула гипотезы:
Если мы изменим [элемент], то [метрика] улучшится, потому что [ожидаемое поведение пользователя].
Примеры гипотез:
- «Если мы изменим оффер со "Скидка 20%" на "Бесплатную доставку", то конверсия вырастет на 15%, потому что бесплатная доставка снимает барьер»
- «Если мы заменим фото продукта на видео с демонстрацией, то CTR вырастет на 20%, потому что видео лучше показывает продукт»
- «Если мы сузим аудиторию со "все от 25 до 55" до "25–35, женщины, интересуются фитнесом", то CPL снизится на 25%, потому что аудитория более целевая»
Почему это важно:
Без гипотезы тест бессмыслен: вы не знаете, что проверяете и что должно измениться. Даже если на старте это просто ваш довод.
Шаг 2. Определите метрику и рассчитайте выборку
Выберите одну ключевую метрику (KPI) заранее, до запуска теста.
Какие метрики использовать:
CTR
Для теста креатива (внимание)
Конверсия
Для теста оффера, CTA, лендинга
CPL
Для теста аудитории, канала
ROAS
Для теста на масштабирование
CPA
Для теста стоимости результата
Здесь мы уже наглядно видим, почему CTR — не решающий показатель:
CTR показывает внимание, но не конверсию. Поэтому креатив может собирать клики, но не давать заявки.
Как рассчитать выборку:
Минимальная выборка зависит от базовой конверсии и ожидаемого прироста. Для большинства тестов нужно минимум 100−200 конверсий на вариант, чтобы результат был статистически значимым.
Практическое правило:
- Если базовая конверсия 2%, а ожидаемый прирост 20% (до 2,4%), нужно ~ 4 000 показов на вариант
- Если базовая конверсия 5%, а ожидаемый прирост 20% (до 6%), нужно ~ 1 600 показов на вариант
Шаг 3. Создайте два варианта, которые отличаются только одним параметром.
Пример:
Оффер
Скидка 20%
Бесплатная доставка
Аудитория
Одинаковая
Одинаковая
Бюджет
Одинаковый
Одинаковый
Время
Одинаковое
Одинаковое
Лендинг
Одинаковый
Одинаковый
Почему это важно:
Если меняется больше одного параметра, невозможно понять, что именно повлияло на результат.
Шаг 4. Запустите тест с одинаковыми условиями для обоих вариантов.
Базовые условия чистого теста:
- Одна аудитория (или равные сегменты)
- Один период (не сравнивайте понедельник с пятницей)
- Сопоставимый бюджет (каждому варианту — шанс набрать данные)
- Один канал (не смешивайте Яндекс.Директ и VK Реклама)
- Один лендинг (если тестируете креатив, а не лендинг)
Как разделить трафик:
- 50/50 — стандартный вариант для большинства тестов
- 70/30 — если один вариант рискованный и вы хотите ограничить его экспозицию
Почему это важно:
Без чистых условий тест всегда будет искажаться. И вы не сможете понять, повлиял ли на это конкретный параметр или внешние факторы.
Шаг 5. Проанализируйте результат и масштабируйте
После завершения теста проверьте статистическую значимость и масштабируйте победителя.
Что делать с результатом:
- Победителя масштабировать в основную кампанию
- Проигравшего отключить, зафиксировать причину
- А новые тесты делать на основе победителя и менять следующий элемент
Теперь давайте разберемся, как тестировать креативы
Принцип простой: сначала тестируйте концепции, потом исполнение.
Этап 1. Тест концепций:
- Выпишите причины, по которым клиент может купить ваш продукт (цена, скорость, безопасность, статус, боль)
- Превратите каждую в концепцию с одной главной идеей заголовка
- Запустите 3–5 концепций с одинаковой аудиторией и бюджетом
- Смотрите на стоимость результата, а не на CTR
Этап 2. Тест исполнения победителя:
- Оставьте победивший месседж
- Меняйте по одному элементу: первые 3 секунды видео, визуал, заголовок, формат
- Запустите 3–5 вариантов исполнения
- Смотрите на стоимость результата
Этап 3. Масштабирование и обновление:
- Переведите победителей в основную кампанию
- Следите за выгоранием креатива
- Добавляйте новые концепции каждый месяц
Пример:
- Концепция 1: «Скидка 20%»
- Концепция 2: «Бесплатная доставка»
- Концепция 3: «Гарантия возврата»
- Концепция 4: «Отзывы клиентов»
- Концепция 5: «Боль клиента + решение»
Результат: концепция 2 («Бесплатная доставка») дала на 30% больше заявок при том же CPL — значит масштабируем, тестируем исполнение (фото или видео, заголовок, CTA).
Как тестировать аудитории?
Здесь принцип следующий: тестируйте сегменты, а не всех подряд.
Примеры сегментов для B2B:
- По индустрии: IT, ритейл, производство
- По размеру компании: малый, средний, крупный
- По должности: CEO, маркетолог, продажник
- По поведению: посещали сайт, открывали email, смотрели видео
Примеры сегментов для B2C:
- По демографии: возраст, пол, гео
- По интересам: фитнес, путешествия, финансы
- По поведению: добавили в корзину, смотрели товар, подписаны
- По LTV: новые или повторные
Как тестировать:
- Создайте 3–5 сегментов
- Запустите одинаковый креатив на каждый сегмент
- Сравните CPL, конверсию, качество лидов
- Масштабируйте лучший сегмент
Аудитория — самый мощный рычаг после оффера: поэтому неправильная аудитория безоговорочно приведет вас к дорогим лидам и низкой конверсии.
Как тестировать офферы?
Здесь лучше тестировать разные мотивации, а не просто варианты со скидкой или без нее.
Примеры офферов:
- Скидка 20% на первый заказ
- Бесплатная доставка при заказе от 5 000 руб.
- Гарантия возврата 30 дней
- Подарок при заказе
- Только до конца недели
- Более 10 000 клиентов
Как тестировать:
- Создайте 3–5 офферов
- Запустите на одинаковую аудиторию и бюджет
- Сравните конверсию, CPL, средний чек
- Масштабируйте лучший оффер
Ошибки при A/B-тестировании
1. Меняется больше одного параметра
Невозможно понять, что повлияло на результат.
2. Нет гипотезы
Тест проводить бессмысленно, потому что не понятно, что именно вы проверяете.
3. Нет ключевой метрики
Невозможно оценить результат.
4. Слишком маленькая выборка
Результат не статистически значим.
5. Неодинаковые условия
Аудитория, бюджет, время различаются, из-за этого искажается тест.
6. Сравнение по CTR вместо конверсии
CTR показывает внимание, но не продажи.
7. Слишком раннее отключение
Тест остановлен до набора достаточных данных.
8. Нет масштабирования победителя
Данные есть, но решения не принимаются.
Чек-лист: как подготовиться к А/Б тестированию
- Сформулирована гипотеза в формате «Если… то… потому что…»
- Определена ключевая метрика (KPI)
- Рассчитана минимальная выборка
- Созданы варианты с одним изменением
- Аудитория, бюджет, время — одинаковые
- Настроено разделение трафика (50/50 или 70/30)
- Настроена аналитика для отслеживания KPI
- Определен срок теста (минимум 7 дней, лучше 14–30)
- Есть план масштабирования победителя
- Есть план фиксации результатов (даже проигрышных)