Два варианта страницы уже готовы, и хочется поскорее узнать, какой лучше. Но сравнение начинается не с таблицы результатов, а с вопроса, на который вы собираетесь ответить. Если вопрос сформулирован расплывчато, любые цифры потом можно повернуть в удобную сторону. Ниже — как поставить проверяемую гипотезу, что именно сравнивать и почему разница в пару процентных пунктов на сотне посетителей ещё ничего не решает.
Гипотеза, которую можно опровергнуть
Фраза «новая кнопка будет работать лучше» — это не гипотеза, а надежда. Проверяемое утверждение называет изменение, метрику и ожидаемое направление. Например: «Если заменить на странице предложения подпись кнопки на «Получить программу», доля посетителей, отправивших форму, вырастет, потому что текст точнее называет результат».
Здесь есть всё нужное: одно изменение, одна основная метрика (доля отправивших форму) и причина, которую можно обсудить до запуска. Если после проверки доля не выросла, гипотеза не подтвердилась — и это нормальный результат, а не провал. Меняйте по одному элементу за раз: когда одновременно правятся заголовок, кнопка и картинка, выигрыш невозможно приписать чему-то конкретному.
Отдельно договоритесь, какие показатели не должны ухудшиться. Для страницы с формой это может быть доля ошибок при отправке или число брошенных заявок. Такие ограничители защищают от ситуации, когда основная метрика выросла, а вместе с ней выросло и раздражение читателей.
Что сравнивать и как делить аудиторию
Сравнивать имеет смысл варианты, которые отличаются только проверяемым элементом. Если вариант A — старая страница, а вариант B — новая, собранная заново, разница может возникнуть из-за любого фрагмента. Держите всё остальное одинаковым: тот же источник трафика, тот же период, те же условия показа.
Посетителей распределяют между вариантами случайно, чтобы группы были похожи по составу. Тогда единственное систематическое различие между ними — ваше изменение. Сравнение «до и после» без параллельной группы слабее: за это время мог смениться сезон, прийти другой трафик или сработать внешняя новость, и вы не отличите эффект правки от этих причин.
Заранее запишите, когда проверка останавливается. Если останавливать её в тот момент, когда цифры стали приятными, результат перестаёт быть честным: при многократных промежуточных просмотрах заметная разница рано или поздно появится и там, где её нет. Правило завершения фиксируют до старта — по числу посетителей в каждой группе или по календарному сроку.
Учебный пример: 8 из 100 и 10 из 100
Возьмём вымышленные данные. Вариант A показал 8 целевых действий на 100 посещений, вариант B — 10 на 100. Доли равны 8% и 10%. Разница в 2 единицы — это два процентных пункта, а не два процента. Проценты здесь считаются от разных баз, и путать их легко.
| Вариант | Действия | Посещения | Доля |
|---|---|---|---|
| A | 8 | 100 | 8% |
| B | 10 | 100 | 10% |
Относительное изменение считают от базовой доли: (10 − 8) / 8 = 0,25, то есть B выше A на 25% относительно. Эта запись выглядит внушительнее, но не сообщает главного — насколько надёжно наблюдение. При сотне посещений в группе десять действий вместо восьми вполне может оказаться случайным колебанием: несколько других посетителей — и картина меняется.
Поэтому фраза «конверсия выросла на 25%, внедряем» здесь преждевременна. Учебные 8 и 10 — повод не объявлять победителя, а спланировать проверку с большим числом наблюдений и заранее заданным правилом остановки. Сколько именно нужно посещений, зависит от исходной доли и от того, какой прирост вы считаете значимым; универсального числа нет, и подбирать его по уже полученным данным нельзя.
Где заканчивается вывод
Даже аккуратно проведённая проверка не даёт абсолютной уверенности. Всегда остаётся вероятность, что разница возникла случайно, а вариант на самом деле не лучше. Уровень значимости — это заранее выбранный порог, при котором вы готовы признать разницу неслучайной; чем строже порог, тем больше данных нужно и тем более крупный эффект удаётся заметить. Выбор порога — компромисс между риском внедрить бесполезную правку и риском упустить небольшую полезную.
Отдельно проверьте, не перекошено ли распределение: если при задуманном делении пополам в одну группу попало заметно больше посетителей, с настройкой что-то не так, и результатам доверять нельзя. И не ищите победителя в мелких сегментах — по устройствам, регионам, источникам — если эти сравнения не были запланированы заранее. На маленьких подгруппах случайные различия выглядят как находки.
ИИ здесь полезен как помощник: он поможет переформулировать гипотезу, перечислить ограничители и проверить арифметику. Но он не превратит сотню посещений в убедительное доказательство и не заменит заранее принятое правило остановки. Ответственность за вывод остаётся на вас.
Упражнение: план проверки для своей страницы
Заполните короткий план до того, как увидите данные:
- Гипотеза в формате «если — то — потому что».
- Одно изменение и одна основная метрика.
- Показатели, которые не должны ухудшиться.
- Как распределяются посетители и что остаётся одинаковым.
- Правило завершения проверки.
- Ситуации, в которых вывод делать нельзя.
Ожидаемый результат: план, в котором пункт 6 содержит хотя бы одно условие — например, «если распределение между группами перекошено» или «если в группе меньше запланированного числа наблюдений». Если таких условий нет, вернитесь к пункту 5 и уточните, что именно вы считаете достаточным основанием для решения.