A/B-тестирование лендинга: гид с примерами

«Поменяли кнопку с зелёной на красную — конверсия +40%!» — часто это статистическая случайность на выборке 20 конверсий. Разбираем, как тестировать правильно, чтобы решения были обоснованы, а не вымышлены.

A/B-тестирование — метод, при котором двум группам посетителей показывают разные варианты страницы, замеряют конверсию и выбирают лучший. Звучит просто, но 80% тестов, которые проводятся, дают неверные выводы. Причины: слишком маленькая выборка, тестирование неважных элементов, спешка с решением. В итоге компании принимают решения на основе шума, а не сигнала.

Мы регулярно проводим A/B-тесты клиентских лендингов и знаем, что правильный подход даёт рост конверсии на 20–100% в течение 3–6 месяцев работы. А неправильный — потерю времени и веру в «эзотерические» находки. Ниже — методика, инструменты и реальные примеры.

Что такое A/B-тест простыми словами

Есть страница с конверсией 2%. Вы предположили: «если поменять заголовок, конверсия вырастет до 3%». Проверить это можно двумя способами:

1. Плохо: поменять заголовок, посмотреть на статистику через неделю. Проблема: конверсия могла измениться из-за сезона, погоды, рекламной кампании, дня недели — не только из-за заголовка.
2. Хорошо (A/B-тест): одновременно показывать 50% посетителей старый заголовок, 50% — новый. Через 2 недели сравнить конверсию. Так вы контролируете все внешние факторы.

Что тестировать в первую очередь

Правило: тестируйте то, что видит пользователь на первом экране, и то, что решает купить/нет. По приоритету:

Не тестируйте мелочи (цвет ссылки, шрифт подзаголовка) — эффект будет в пределах статистической погрешности. Тестируйте то, что реально может изменить решение пользователя.

Правило: одна гипотеза — один тест

Плохо: «Поменяли заголовок, картинку, форму и цвет кнопки одновременно. Конверсия +25%». Что именно сработало? Непонятно. Может, заголовок дал +40%, а картинка -15%. Тест бесполезен.

Хорошо: тестируем только заголовок. Всё остальное неизменно. Через 2 недели знаем, работает ли новый заголовок. Потом — следующий тест с картинкой.

Формула гипотезы

Правильная гипотеза формулируется так:

Если я изменю [что] на [новое], то [метрика] вырастет на [%], потому что [обоснование].

Пример: «Если я изменю заголовок с “Разработка сайтов” на “Сайт с окупаемостью за 3 месяца”, то конверсия формы вырастет на 20%, потому что пользователь видит выгоду, а не услугу».

Без обоснования гипотеза — гадание. С обоснованием — научная проверка.

Инструменты A/B-тестирования

• Яндекс.Метрика A/B — бесплатно, интегрировано с целями, простой интерфейс. Оптимум для начинающих.
• Google Optimize — закрыт в 2023, использовать нельзя.
• VWO — платно, от 100 $/мес, продвинутый инструмент с тепловыми картами
• Optimizely — платно, от 500 $/мес, для крупных проектов
• Convert.com — золотая середина, от 50 $/мес
• Самописный на Метрике — через JS-скрипт с 50/50 распределением и целями. Требует разработчика.

Для российского бизнеса рекомендуем Метрику A/B — бесплатно, работает, интегрируется с Директом.

Сколько трафика нужно для теста

Главная ошибка: посмотреть на разницу через 3 дня, увидеть «А лучше на 20%», принять решение. При этом было 10 конверсий на группу — это шум, а не сигнал.

Правило: минимум 100 конверсий на каждый вариант. Оптимум — 200–300. Тогда статистическая значимость 95%+.

Пример расчёта: у вас 500 посетителей/день с конверсией 2%. Это 10 конверсий/день на весь сайт. При A/B-тесте — 5 на каждый вариант. Чтобы набрать 200 — нужно 40 дней. То есть тест длится не «неделю», а минимум месяц.

Если трафика мало (менее 1000/день), A/B-тесты дают ненадёжные результаты. Тогда лучше делать качественные исследования: интервью с клиентами, вебвизор, тепловые карты — искать проблемы, а не тестировать варианты.

Статистическая значимость: что это

Тест закончен, вариант Б показал конверсию 3%, вариант А — 2,5%. Разница 20%. Но случайна ли она?

Статистическая значимость 95% означает: вероятность, что разница случайная — меньше 5%. То есть можно уверенно менять на новый вариант. Значимость 80% — это ещё не уверенность, нужно ещё данных.

Онлайн-калькуляторы (abtestguide.com, vwo.com/ab-split-test-significance-calculator) считают значимость по количеству посетителей и конверсий каждого варианта. Всегда проверяйте перед принятием решения.

Реальный кейс 1: заголовок лендинга

Клиент — лендинг ремонта квартир, конверсия 1,2%. Трафик 800/день из Директа. Гипотеза: «Пользователь ищет цену, а не услугу. Если в заголовке будет цена, конверсия вырастет».

• Вариант А (старый): «Ремонт квартир в Туле»
• Вариант Б (новый): «Ремонт от 8 500 ₽/м² — фиксированная цена в договоре»

Результат за 3 недели: А — 1,3% (287 конверсий), Б — 2,1% (445 конверсий). Разница 62%, значимость 99%. Заменили заголовок навсегда. Экономический эффект — +80 тыс. ₽/мес прибыли при том же рекламном бюджете.

Реальный кейс 2: количество полей формы

Клиент — B2B-лендинг разработки сайтов. Форма из 5 полей (имя, компания, должность, телефон, задача). Конверсия 0,8%.

• Вариант А: 5 полей
• Вариант Б: 2 поля (имя, телефон), остальное менеджер спрашивает

Результат: А — 0,9% (156 конверсий), Б — 2,7% (462 конверсии). Разница 200%. Замена — очевидна. Про формы отдельно есть разбор в блоге.

Реальный кейс 3: A/B-тест, который «не сработал»

Клиент — сайт логистики. Гипотеза: «Тёмная тема повысит доверие к бренду». Тестировали 3 недели, набрали 240 конверсий на группу. Результат: А — 1,8%, Б — 1,75%. Разница 3%, значимость 42%. Вывод: тёмная тема не влияет на конверсию значимо. Возвращаем светлую.

Это тоже полезный результат — знать, что элемент неважен, экономит время и деньги на дизайн-переделках.

Ошибки A/B-тестирования

• Ранняя остановка теста «уже видно, что Б лучше»
• Тестирование во время маркетинговой активности (сезон, распродажа, новая кампания)
• Изменение параллельно нескольких элементов
• Слишком маленькая выборка (< 50 конверсий/группа)
• Тест на всех источниках трафика вместе (SEO + Директ) — эффект замывается
• Тестирование без гипотезы «просто попробуем»
• Игнорирование мобильных vs десктопных пользователей

Что не стоит A/B-тестировать

• Цветовые схемы (обычно эффект в пределах шума)
• Мелкие текстовые формулировки в подписях
• Размер отступов, шрифтов
• Иконки в списках
• Порядок блоков в футере

Эти элементы имеют влияние, но настолько мелкое, что для его замера нужны десятки тысяч конверсий. Тратьте бюджет теста на большие гипотезы.

Комплексный подход: тесты + вебвизор + интервью

A/B-тесты — это проверка гипотез. Но где брать гипотезы? Три источника:

1. Вебвизор (Яндекс.Метрика) — смотрите записи сессий. Где пользователи путаются? Что не могут найти?
2. Тепловые карты — на какие элементы кликают, куда скроллят
3. Интервью с клиентами — «почему вы обратились именно к нам? что смущало? почему сомневались?»

Из этих источников рождаются гипотезы. A/B-тест — их проверка. Без источников тесты становятся гаданием.

Сколько тестов делать в год

Для среднего лендинга — 10–20 тестов в год, если хватает трафика. Каждый тест 2–4 недели. Успешный (даёт значимый рост) — обычно 30–50% из проведённых. Итог за год — рост конверсии в 1,5–3 раза.

Для крупных сайтов (Ozon, Wildberries) — 100+ тестов в год одновременно на разных страницах. Это отдельная профессия — CRO-специалист (Conversion Rate Optimization).

Стоимость A/B-тестирования

• Самостоятельно через Метрику: только время (5–15 часов на тест)
• Один тест у агентства: 20–60 тыс. ₽ (гипотеза + вариант + запуск + анализ)
• Пакет CRO на месяц: 60–200 тыс. ₽ (2–4 теста + аналитика + рекомендации)
• Внутренний CRO-специалист: 120–250 тыс. ₽/мес зарплата

Частые вопросы

Хотите запустить A/B-тесты?

Мы делаем полный цикл CRO: гипотезы, разработка вариантов, запуск, анализ. Смотрите лендинги и поддержку сайта — тесты обычно идут в паре с постоянной оптимизацией. Оценить рост конверсии можно через калькулятор.