В справке рекламных кабинетов можно часто найти фразу «Накопите достаточно статистики». А достаточно — это сколько? И как посчитать, когда приходит время делать выводы?
Представим ситуацию: мы запустили рекламную кампанию, установили оптимальную цену за клик и ждем, пока накопится статистика. Клиент уже обозначил, сколько готов платить за конверсию. Показателей мы пока не достигли, и спустя некоторое время хотим оптимизировать рекламу. Возникает вопрос: «А достаточно ли у нас данных, чтобы сделать правильные выводы?»
Действительно, если пользователь перешел на наш сайт, 100% произойдет одно из двух — пользователь или совершит конверсию, или не совершит. А можно это выражение переформулировать вот так:
- Мы можем утверждать с 99% уверенностью, что будет 0 конверсий, если был 1 рекламный переход.
- Мы можем утверждать с 1% уверенностью, что будет 1 конверсия, если был 1 рекламный переход.
- Мы можем утверждать со 100% уверенностью, что будет от 0 до 1 конверсии, если был 1 рекламный переход.
Нас интересует пункт 2. Я бы хотел угадывать чаще, чем 1 раз из 100. Кажется, что для этого нужно сделать больше переходов. Может дождаться, пока будет 100 переходов? На первый взгляд все просто: если через 100 переходов конверсий не будет, значит кампания работает плохо, и ее надо выключить, а если конверсии будут, компания рентабельна и работает отлично.
К сожалению, теория вероятностей здесь работает немного сложнее привычной арифметики. Попробуем привести 2 пользователя на сайт. Тогда возможных событий не 2, а уже 4:
- Оба пользователя совершают конверсию 0,01 × 0,01 = 0,0001
- Первый пользователь совершает конверсию 0,01 × 0,99 = 0,0099
- Второй пользователь совершает конверсию 0,99 × 0,01 = 0,0099
- Ни один пользователь не совершает конверсию 0,99 × 0,99 = 0,9801
Проверим корректность выражения:
Так работает простейшая теория вероятностей, чтобы рассчитать вероятность двух событий, нужно найти произведение событий. Этой информации нам достаточно, чтобы посчитать, какова вероятность совершения хотя бы одной конверсии 100 пользователями.
Рассчитаем вероятность того, что 100 пользователей не совершат ни одной конверсии:
Далее рассчитаем вероятность, что конверсий будет больше 0:
Переформулируем вывод: мы можем утверждать с 63,4% уверенностью, что будет минимум 1 конверсия, если было 100 рекламных переходов. Получается, что при 100 накопленных пользователях мы будем делать правильные выводы чуть чаще, чем в половине случаев.
Попробуем вывести универсальную формулу:
Предположим, что мы хотим делать правильные выводы в 9 случаев из 10. Процент конверсий оставим тем же, тогда:
Таким образом, мы вывели формулу, которая позволяет определить, достаточно ли у нас накопленных данных для выводов и насколько точно мы это можем гарантировать.
Общий вид формулы:
Вернемся к вопросу, который мы задали сами себе в начале: «Когда же накопленной статистики достаточно?» Коротко можно ответить так: «Больше, чем кажется на первый взгляд.»
