A/B-тестирование сайта с агентами ускоряет подготовку вариантов, но требует достаточного трафика

Новая кнопка может собрать больше заявок просто потому, что в день её выпуска пришла другая аудитория. Сравнение двух последовательных недель не отделяет правку от этого изменения.

В A/B-тесте подходящих посетителей случайно распределяют между вариантами в один период. Для примера ниже делим поровну, а цель считаем одинаково в обеих группах.

На нашем сайте тоже меняли первый экран и измеряли загрузку. Но посетителей не распределяли по вариантам: это техническая проверка до и после, а не доказательство роста заявок.

Поэтому ускорение разработки и эффект нового экрана принимают отдельно. Готовый код отвечает на вопрос «можно запускать?», эксперимент отвечает на вопрос «что изменилось у посетителей?».

«Хватит ли нашего трафика?» решают до заказа вариантов. Нужны исходная конверсия и минимальный рост, ради которого бизнес согласен менять экран.

Условный пример: из посетителей страницы заявку оставляют 2%. Хотим обнаружить рост до 2,4%: это 0,4 процентного пункта, или 20% относительно исходного уровня.

Для расчёта выберем фиксированный двусторонний тест: уровень значимости 5%, мощность 80%, группы поровну. Посетители независимы, цель бинарная: заявка есть или её нет.

По формуле калькулятора Эвана Миллера получаем около 19 800 посетителей на вариант. Это оценка при названных условиях, а не правило «любому сайту нужны двадцать тысяч».

Считать нужно посетителей, которые попадут в эксперимент, а не все визиты сайта. Возвращающийся участник не становится новым независимым наблюдением при каждом открытии страницы.

При 1 000 таких посетителей в сутки выборка 39 600 наберётся примерно за 40 дней. Срок разработки двух вариантов не сокращает это ожидание.

Четыре дня набора при большом трафике тоже не обещают готовый ответ. В плане учитывают недельные колебания и время от посещения до подтверждённой заявки.

Инженер ведёт машину агентов: задаёт границы правки, принимает код и управляет запуском. Агенты могут готовить экран, события и проверки параллельно, если задачи не мешают друг другу.

В задаче для агента пишут, какую гипотезу проверяем. Например, меняем объяснение цены, сохраняя форму и условия покупки.

Просьба «сделать страницу, которая лучше продаёт» не задаёт приёмку. Исполнитель может одновременно сменить текст, цену и форму; результат будет относиться ко всему набору правок.

Разделите готовность на три части: варианты видны, распределение работает, события доходят. Ни одна из них не требует заранее объявлять новый экран победителем.

Вернувшийся посетитель должен видеть закреплённый вариант. Что происходит после входа в аккаунт или смены устройства, заранее записывают в правила для агентов.

Для анонимного сайта закрепление в браузере не равно закреплению человека на всех устройствах. Выберите единицу распределения и применяйте её одинаково в назначении, цели и анализе.

Знаменатель задают до влияния варианта: кто имел право участвовать и кому он назначен. Если оставить только нажавших кнопку, сравнение потеряет посетителей, которых эта кнопка не убедила.

Такой сбой был у MSN: бот-фильтр исключал активных посетителей нового варианта карусели. Microsoft Research в сентябре 2020 описала, как диагностика изменила отрицательный вывод на положительный.

На живом /open указаны 2 685 тестов на каждом пуше плюс ревью, срез 7 октября 2026. Они проверяют работу машины и сайта; это не наблюдения участников A/B-теста.

Даже экран с рабочей формой может показать текст поздно или сдвинуть его после загрузки. В наших правках первого экрана это ловили отдельными проверками.

У маркетинга остаётся гипотеза о заявках, у инженера есть условия безопасного запуска. Ответственность за ошибки не снимается тем, что вариант подготовил агент.

Перед экспериментом проверяют обе версии и запись данных, затем наблюдают живой поток. Кнопка работает на стенде, а события теряются на проде: такую проблему нельзя лечить ожиданием большей выборки.

Для обычного фиксированного теста заранее задают объём, календарное окно и задержку учёта цели. Остановиться при первом красивом проценте означает изменить условия проверки.

Эван Миллер разбирал эту ошибку в апреле 2010. Последовательный анализ допускает другие способы остановки, но для него тоже нужен план до старта.

После набора данных показывают оценку разницы и интервал неопределённости. «Статистически значимой разницы нет» не означает, что варианты одинаковы или что новый проиграл.

Если диапазон ещё допускает и полезный рост, и существенную потерю, ответ неопределённый. Дальнейшие действия выбирают по согласованному плану, а не продлевают тест до нужного вывода.

Покупатель получает работающие варианты и данные, по которым можно принять решение. Гарантированный рост заявок не становится критерием приёмки кода.

Подписка «Один проект» стоит 250 000 ₽ в месяц на 7 октября 2026. До заказа согласуйте распределение посетителей, закрепление вариантов и события приёмки; это цена общего потока разработки, не одного A/B-теста.