ИИ в маркетинге: от брифа до проверенной кампании

План эксперимента: что сравнивать

Учебный план A/B-проверки: гипотеза, одна метрика, расчёт разницы в процентных пунктах и границы вывода на маленькой выборке.

Урок 9 из 1250 минут с практикойОбновлено

Два варианта страницы уже готовы, и хочется поскорее узнать, какой лучше. Но сравнение начинается не с таблицы результатов, а с вопроса, на который вы собираетесь ответить. Если вопрос сформулирован расплывчато, любые цифры потом можно повернуть в удобную сторону. Ниже — как поставить проверяемую гипотезу, что именно сравнивать и почему разница в пару процентных пунктов на сотне посетителей ещё ничего не решает.

Гипотеза, которую можно опровергнуть

Фраза «новая кнопка будет работать лучше» — это не гипотеза, а надежда. Проверяемое утверждение называет изменение, метрику и ожидаемое направление. Например: «Если заменить на странице предложения подпись кнопки на «Получить программу», доля посетителей, отправивших форму, вырастет, потому что текст точнее называет результат».

Здесь есть всё нужное: одно изменение, одна основная метрика (доля отправивших форму) и причина, которую можно обсудить до запуска. Если после проверки доля не выросла, гипотеза не подтвердилась — и это нормальный результат, а не провал. Меняйте по одному элементу за раз: когда одновременно правятся заголовок, кнопка и картинка, выигрыш невозможно приписать чему-то конкретному.

Отдельно договоритесь, какие показатели не должны ухудшиться. Для страницы с формой это может быть доля ошибок при отправке или число брошенных заявок. Такие ограничители защищают от ситуации, когда основная метрика выросла, а вместе с ней выросло и раздражение читателей.

Что сравнивать и как делить аудиторию

Сравнивать имеет смысл варианты, которые отличаются только проверяемым элементом. Если вариант A — старая страница, а вариант B — новая, собранная заново, разница может возникнуть из-за любого фрагмента. Держите всё остальное одинаковым: тот же источник трафика, тот же период, те же условия показа.

Посетителей распределяют между вариантами случайно, чтобы группы были похожи по составу. Тогда единственное систематическое различие между ними — ваше изменение. Сравнение «до и после» без параллельной группы слабее: за это время мог смениться сезон, прийти другой трафик или сработать внешняя новость, и вы не отличите эффект правки от этих причин.

Заранее запишите, когда проверка останавливается. Если останавливать её в тот момент, когда цифры стали приятными, результат перестаёт быть честным: при многократных промежуточных просмотрах заметная разница рано или поздно появится и там, где её нет. Правило завершения фиксируют до старта — по числу посетителей в каждой группе или по календарному сроку.

Учебный пример: 8 из 100 и 10 из 100

Возьмём вымышленные данные. Вариант A показал 8 целевых действий на 100 посещений, вариант B — 10 на 100. Доли равны 8% и 10%. Разница в 2 единицы — это два процентных пункта, а не два процента. Проценты здесь считаются от разных баз, и путать их легко.

ВариантДействияПосещенияДоля
A81008%
B1010010%

Относительное изменение считают от базовой доли: (10 − 8) / 8 = 0,25, то есть B выше A на 25% относительно. Эта запись выглядит внушительнее, но не сообщает главного — насколько надёжно наблюдение. При сотне посещений в группе десять действий вместо восьми вполне может оказаться случайным колебанием: несколько других посетителей — и картина меняется.

Поэтому фраза «конверсия выросла на 25%, внедряем» здесь преждевременна. Учебные 8 и 10 — повод не объявлять победителя, а спланировать проверку с большим числом наблюдений и заранее заданным правилом остановки. Сколько именно нужно посещений, зависит от исходной доли и от того, какой прирост вы считаете значимым; универсального числа нет, и подбирать его по уже полученным данным нельзя.

Где заканчивается вывод

Даже аккуратно проведённая проверка не даёт абсолютной уверенности. Всегда остаётся вероятность, что разница возникла случайно, а вариант на самом деле не лучше. Уровень значимости — это заранее выбранный порог, при котором вы готовы признать разницу неслучайной; чем строже порог, тем больше данных нужно и тем более крупный эффект удаётся заметить. Выбор порога — компромисс между риском внедрить бесполезную правку и риском упустить небольшую полезную.

Отдельно проверьте, не перекошено ли распределение: если при задуманном делении пополам в одну группу попало заметно больше посетителей, с настройкой что-то не так, и результатам доверять нельзя. И не ищите победителя в мелких сегментах — по устройствам, регионам, источникам — если эти сравнения не были запланированы заранее. На маленьких подгруппах случайные различия выглядят как находки.

ИИ здесь полезен как помощник: он поможет переформулировать гипотезу, перечислить ограничители и проверить арифметику. Но он не превратит сотню посещений в убедительное доказательство и не заменит заранее принятое правило остановки. Ответственность за вывод остаётся на вас.

Упражнение: план проверки для своей страницы

Заполните короткий план до того, как увидите данные:

  1. Гипотеза в формате «если — то — потому что».
  2. Одно изменение и одна основная метрика.
  3. Показатели, которые не должны ухудшиться.
  4. Как распределяются посетители и что остаётся одинаковым.
  5. Правило завершения проверки.
  6. Ситуации, в которых вывод делать нельзя.

Ожидаемый результат: план, в котором пункт 6 содержит хотя бы одно условие — например, «если распределение между группами перекошено» или «если в группе меньше запланированного числа наблюдений». Если таких условий нет, вернитесь к пункту 5 и уточните, что именно вы считаете достаточным основанием для решения.

Источники