A/B-тест — единственный честный способ узнать, что новый заголовок или форма действительно работают лучше, а не просто нравятся директору. Но у метода есть жёсткое условие: трафик. Без него «тест» превращается в гадание на шуме. Разбираем, как проводить A/B-тестирование лендинга на практике: что проверять в первую очередь, сколько посетителей нужно для достоверного результата, почему при 10 заявках в месяц тестировать рано — и какие ошибки интерпретации обесценивают даже правильно запущенный эксперимент.
В этой статье 6
А/Б-тест сайта — что это простыми словами
A/B-тест (сплит-тест) — это контролируемый эксперимент: посетители лендинга случайным образом делятся на две группы, одна видит исходную версию страницы (А), другая — версию с одним изменением (Б). Обе версии работают одновременно, на одном и том же трафике. Когда наберётся достаточно данных, вы сравниваете конверсию вариантов и статистически проверяете: различие реальное или случайное.
Ключевые слова здесь — «случайно» и «одновременно». Сравнение «в мае поменяли заголовок, в июне заявок стало больше» тестом не является: между маем и июнем изменились сезон, рекламные кампании, цены конкурентов и десяток факторов, которые вы не контролируете. A/B-тест ценен именно тем, что обе версии живут в одинаковых условиях — и разницу можно приписать самому изменению, а не обстоятельствам.
Сколько трафика нужно для A/B-теста
Это первый вопрос, на который нужно ответить до запуска, а не после. Логика простая: чем ниже базовая конверсия и чем меньший прирост вы хотите зафиксировать, тем больше посетителей потребуется. Размер выборки считается по стандартным статистическим формулам — подойдёт любой открытый калькулятор размера выборки для A/B-тестов. Ниже — условный расчёт для типичных ситуаций.
Сколько визитов нужно, чтобы достоверно поймать прирост конверсии на 20% (условный расчёт по стандартной формуле выборки: значимость 95%, мощность 80%)
- Базовая конверсия: 1%
- Целевая (+20%): 1,2%
- Визитов на вариант: ≈ 42 700
- Всего на тест: ≈ 85 400
- Базовая конверсия: 2%
- Целевая (+20%): 2,4%
- Визитов на вариант: ≈ 21 100
- Всего на тест: ≈ 42 200
- Базовая конверсия: 5%
- Целевая (+20%): 6%
- Визитов на вариант: ≈ 8 200
- Всего на тест: ≈ 16 300
- Базовая конверсия: 10%
- Целевая (+20%): 12%
- Визитов на вариант: ≈ 3 800
- Всего на тест: ≈ 7 700
Текст схемы и все данные
Сколько визитов нужно, чтобы достоверно поймать прирост конверсии на 20% (условный расчёт по стандартной формуле выборки: значимость 95%, мощность 80%)
- Базовая конверсия: 1%
- Целевая (+20%): 1,2%
- Визитов на вариант: ≈ 42 700
- Всего на тест: ≈ 85 400
- Базовая конверсия: 2%
- Целевая (+20%): 2,4%
- Визитов на вариант: ≈ 21 100
- Всего на тест: ≈ 42 200
- Базовая конверсия: 5%
- Целевая (+20%): 6%
- Визитов на вариант: ≈ 8 200
- Всего на тест: ≈ 16 300
- Базовая конверсия: 10%
- Целевая (+20%): 12%
- Визитов на вариант: ≈ 3 800
- Всего на тест: ≈ 7 700
| Базовая конверсия | Целевая (+20%) | Визитов на вариант | Всего на тест |
|---|---|---|---|
| 1% | 1,2% | ≈ 42 700 | ≈ 85 400 |
| 2% | 2,4% | ≈ 21 100 | ≈ 42 200 |
| 5% | 6% | ≈ 8 200 | ≈ 16 300 |
| 10% | 12% | ≈ 3 800 | ≈ 7 700 |
Расчёт условный, для иллюстрации порядка цифр. Лендинг получает 100 визитов в день (около 3 000 в месяц), конверсия в заявку — 2%. Вы хотите проверить изменение, которое может дать +20% к конверсии (с 2% до 2,4%). По таблице выше на тест нужно около 42 000 визитов — при таком трафике это примерно 14 месяцев. Тот же тест на лендинге с 500 визитами в день и конверсией 5% занял бы меньше трёх недель. Вывод: при малом трафике имеет смысл тестировать только крупные изменения, способные дать прирост в десятки процентов, — их видно на меньшей выборке.
Собирательный пример на основе типовых проектов — не реальный клиент.
Что тестировать в первую очередь
Порядок определяется просто: сначала то, что способно изменить конверсию в разы, потом — косметика. Малому и среднему бизнесу с ограниченным трафиком доступны только крупные гипотезы: мелкие эффекты вроде цвета кнопки на его выборках недоказуемы в принципе.
1. Оффер
Само предложение: что вы продаёте, кому, на каких условиях и почему у вас. «Кухни на заказ» против «Кухня с замером и 3D-проектом за 3 дня, цена фиксируется в договоре» — это разные офферы, а не разные формулировки. Тест оффера отвечает на главный вопрос бизнеса, поэтому он первый.
2. Первый экран
Заголовок, подзаголовок, изображение и кнопка — то, что видят 100% посетителей и по чему большинство решает, листать ли дальше. Здесь тестируют формулировку выгоды в заголовке, конкретику вместо лозунгов, наличие цены или сроков. Как устроен сильный первый экран, мы разбирали в статье про анатомию посадочной страницы.
3. Форма и целевое действие
Количество полей, формулировка кнопки, сам шаг: «оставить заявку» против «получить расчёт стоимости» или квиза. Снижение порога входа — классическая крупная гипотеза: просьба заполнить пять полей и просьба оставить один телефон могут отличаться по конверсии кратно.
Как проводить A/B-тестирование лендинга: порядок действий
- Сформулируйте гипотезу письменно: «если изменить X, то конверсия в заявку вырастет, потому что Y». Без «потому что» это не гипотеза, а перебор.
- До старта посчитайте размер выборки и срок теста. Если выходит больше 2–3 месяцев — гипотеза для вашего трафика слишком мелкая, укрупняйте изменение.
- Меняйте одно за раз. Если в варианте Б новый заголовок, другая форма и другие фото, вы не узнаете, что именно сработало.
- Делите трафик случайно и показывайте оба варианта одновременно — это делает инструмент тестирования, а не ручное «неделя так, неделя эдак».
- Настройте цели в Яндекс Метрике заранее и убедитесь, что заявки с обоих вариантов корректно фиксируются.
- Ждите запланированный срок полными неделями и не останавливайте тест раньше — даже если на третий день вариант Б «побеждает».
- Зафиксируйте результат письменно: гипотеза, цифры, решение. Отрицательный результат — тоже результат: он запрещает вредное изменение.
Как проводить A/B-тестирование лендинга: порядок действий
- Сформулируйте гипотезу письменно: «если изменить X, то конверсия в заявку вырастет, потому что Y». Без «потому что» это не гипотеза, а перебор.
- Да
- До старта посчитайте размер выборки и срок теста. Если выходит больше 2–3 месяцев — гипотеза для вашего трафика слишком мелкая, укрупняйте изменение.
- Да
- Меняйте одно за раз. Если в варианте Б новый заголовок, другая форма и другие фото, вы не узнаете, что именно сработало.
- Да
- Делите трафик случайно и показывайте оба варианта одновременно — это делает инструмент тестирования, а не ручное «неделя так, неделя эдак».
- Да
- Настройте цели в Яндекс Метрике заранее и убедитесь, что заявки с обоих вариантов корректно фиксируются.
- Да
- Ждите запланированный срок полными неделями и не останавливайте тест раньше — даже если на третий день вариант Б «побеждает».
- Да
- Зафиксируйте результат письменно: гипотеза, цифры, решение. Отрицательный результат — тоже результат: он запрещает вредное изменение.
- Да
Текст схемы и все данные
Как проводить A/B-тестирование лендинга: порядок действий
- Сформулируйте гипотезу письменно: «если изменить X, то конверсия в заявку вырастет, потому что Y». Без «потому что» это не гипотеза, а перебор.
- Да
- До старта посчитайте размер выборки и срок теста. Если выходит больше 2–3 месяцев — гипотеза для вашего трафика слишком мелкая, укрупняйте изменение.
- Да
- Меняйте одно за раз. Если в варианте Б новый заголовок, другая форма и другие фото, вы не узнаете, что именно сработало.
- Да
- Делите трафик случайно и показывайте оба варианта одновременно — это делает инструмент тестирования, а не ручное «неделя так, неделя эдак».
- Да
- Настройте цели в Яндекс Метрике заранее и убедитесь, что заявки с обоих вариантов корректно фиксируются.
- Да
- Ждите запланированный срок полными неделями и не останавливайте тест раньше — даже если на третий день вариант Б «побеждает».
- Да
- Зафиксируйте результат письменно: гипотеза, цифры, решение. Отрицательный результат — тоже результат: он запрещает вредное изменение.
- Да
Типичные ошибки интерпретации
- Остановка теста при первом «красивом» результате. Если каждый день проверять значимость и остановиться, как только она появилась, вероятность ложной победы вырастает в разы. Срок фиксируется до старта.
- Тест короче полной недели. Поведение аудитории в понедельник и субботу различается; тест должен покрывать целое число недель.
- Игнорирование внешних событий: распродажа, праздники, всплеск рекламы у конкурента искажают обе ветки неравномерно по аудиториям.
- «Победа» при уверенности 90%. Порог 95% выбран не зря: ниже него каждый десятый тест будет обманывать вас чистой случайностью.
- Сегментация задним числом: «в целом разницы нет, зато среди пользователей iPhone рост!» Чем больше срезов вы переберёте, тем гарантированнее найдёте случайный.
- Перенос чужих результатов: кейс «кнопка Х подняла конверсию на 30%» на другом сайте, аудитории и оффере не значит ничего.
- Вера в вечный эффект: часть приростов — эффект новизны, который затухает. Важные победы стоит перепроверять.
Типичные ошибки интерпретации
- Остановка теста при первом «красивом» результате. Если каждый день проверять значимость и остановиться, как только она появилась, вероятность ложной победы вырастает в разы. Срок фиксируется до старта.
- Да
- Тест короче полной недели. Поведение аудитории в понедельник и субботу различается; тест должен покрывать целое число недель.
- Да
- Игнорирование внешних событий: распродажа, праздники, всплеск рекламы у конкурента искажают обе ветки неравномерно по аудиториям.
- Да
- «Победа» при уверенности 90%. Порог 95% выбран не зря: ниже него каждый десятый тест будет обманывать вас чистой случайностью.
- Да
- Сегментация задним числом: «в целом разницы нет, зато среди пользователей iPhone рост!» Чем больше срезов вы переберёте, тем гарантированнее найдёте случайный.
- Да
- Перенос чужих результатов: кейс «кнопка Х подняла конверсию на 30%» на другом сайте, аудитории и оффере не значит ничего.
- Да
- Вера в вечный эффект: часть приростов — эффект новизны, который затухает. Важные победы стоит перепроверять.
- Да
Текст схемы и все данные
Типичные ошибки интерпретации
- Остановка теста при первом «красивом» результате. Если каждый день проверять значимость и остановиться, как только она появилась, вероятность ложной победы вырастает в разы. Срок фиксируется до старта.
- Да
- Тест короче полной недели. Поведение аудитории в понедельник и субботу различается; тест должен покрывать целое число недель.
- Да
- Игнорирование внешних событий: распродажа, праздники, всплеск рекламы у конкурента искажают обе ветки неравномерно по аудиториям.
- Да
- «Победа» при уверенности 90%. Порог 95% выбран не зря: ниже него каждый десятый тест будет обманывать вас чистой случайностью.
- Да
- Сегментация задним числом: «в целом разницы нет, зато среди пользователей iPhone рост!» Чем больше срезов вы переберёте, тем гарантированнее найдёте случайный.
- Да
- Перенос чужих результатов: кейс «кнопка Х подняла конверсию на 30%» на другом сайте, аудитории и оффере не значит ничего.
- Да
- Вера в вечный эффект: часть приростов — эффект новизны, который затухает. Важные победы стоит перепроверять.
- Да
Пределы метода: о чём A/B-тест молчит
A/B-тест отвечает только на вопрос «какой из двух вариантов лучше» — и молчит о том, почему, и о том, что было бы с третьим вариантом, которого вы не придумали. Перебирая мелкие правки, легко застрять в локальном максимуме: страница «оптимальна» среди своих вариаций, но проигрывает принципиально другому решению. Поэтому тесты не заменяют исследование аудитории — они его дополняют.
Если трафика на честный тест нет, это не приговор, а другой набор инструментов: записи сессий в Вебвизоре и карты кликов покажут, где посетители спотыкаются; прослушивание звонков и разговоры с клиентами — какие возражения не закрывает страница. Изменения при этом вносят сериями и смотрят на тренд, честно понимая: это наблюдение, а не эксперимент. Мы в АОСА собираем лендинги сразу с настроенной аналитикой и целями — чтобы данные для первых гипотез копились с первого дня, а не «когда-нибудь потом»; в формате сайт + продвижение под ключ проверка и доработка посадочных страниц входит в ежемесячную работу.
Заметная часть запросов «настройте нам A/B-тесты» заканчивается нашим ответом «вам пока рано» — и это нормальная, честная консультация. Тесты — инструмент зрелого этапа, когда есть стабильный трафик и счёт конверсий идёт на сотни в месяц. До этого этапа решают не эксперименты, а сильный оффер, понятный первый экран и аналитика поведения. Хуже отсутствия тестов только псевдотесты: когда решения неделями принимаются по колебаниям из пяти заявок, бизнес получает иллюзию научности вместо роста.
Владимир БогдановОснователь и руководитель AOSA · эксперт по SEO и AEO, 12+ лет в поисковой оптимизации