A/B тест

A/B тест (сплит-тестирование) — метод сравнения двух версий страницы/элемента для определения, какая работает лучше. Посетители случайным образом делятся на две группы: одни видят вариант A, другие — вариант B. Побеждает тот, что даёт больше конверсий, кликов или дохода.

Что можно тестировать:

Статистическая значимость — как понять, что тест завершился:

• Минимум 100 конверсий на каждый вариант
• Доверительный интервал 95% (p-value < 0.05)
• Минимум 2 недели (учёт дневных и недельных паттернов)
• Калькуляторы: Evan Miller, Optimizate, VWO

Процесс A/B теста (5 шагов):

1. Гипотеза: «Если изменим CTA с "Заказать" на "Получить расчёт", конверсия вырастет на 20%»
2. Приоритизация (ICE-скоринг): Impact × Confidence × Ease
3. Настройка теста: Google Optimize, VWO, Optimizely
4. Запуск и сбор данных: минимум 2 недели
5. Анализ и внедрение: победитель → в продакшен

Частые ошибки:

• Остановка теста слишком рано (ложные выводы)
• Тестирование нескольких изменений одновременно (непонятно, что сработало)
• Игнорирование сегментов (мобильные vs десктоп)
• Подглядывание результатов каждый день (p-hacking)
• Тест на малом трафике (< 1000 визитов в день)

Инструменты:

• Google Optimize — бесплатно (до сентября 2023, теперь GA4-эксперименты)
• VWO — от $199/мес
• Optimizely — корпоративный уровень
• Яндекс.Метрика: Эксперименты — бесплатно для Рунета
• Unbounce — для лендингов

Кейс WEBVISUAL: Клиент — SaaS-сервис для бухгалтеров. Гипотеза: «Если заменим hero-заголовок с "Автоматизация учёта" на "Сэкономьте 40 часов в месяц на отчётности", конверсия вырастет». Настроили A/B тест через Google Optimize:

• Вариант A: старый заголовок (контроль)
• Вариант B: новый заголовок с выгодой
• 3 недели, 45 000 визитов, 1 200 регистраций

Результат: вариант B показал конверсию 3.8% против 2.1% у A (+81%). Статистическая значимость 99.2%. Внедрили вариант B. Месячный MRR вырос с 420 000 ₽ до 760 000 ₽ (+81%). Бюджет: 0 ₽ (Google Optimize бесплатно).