A/B-тест
Как сравнить два-три варианта текста на части получателей и отправить остальным тот, который чаще читают или по которому чаще переходят.
Запускаем тест
- В форме рассылки в строке «A/B-тест» включите «Сравнить варианты текста».
- Над текстом появятся вкладки «A» и «B»: откройте «B» и напишите второй вариант.
- Выберите «Выборка», «Метрика» и «Ждать» — например, 20%, «Прочтения» и 2 ч.
- Нажмите «Сохранить и запустить» и подтвердите кнопкой «Запустить».
- В статистике в блоке «A/B-тест» лучший вариант получит отметку «победитель» — остальным уйдёт он.
Нужен третий вариант — нажмите плюс рядом с вкладками, появится «C». Больше трёх вариантов не бывает. Лишний последний вариант убирается крестиком.
У каждого варианта свой текст и свои вложения, а клавиатура общая. Кнопка «Тест» присылает вариант A.
Настройки
| Настройка | Варианты | Что значит |
|---|---|---|
| «Выборка» | 10%, 20%, 30% | Какая часть получателей участвует в тесте. Она делится между вариантами поровну |
| «Метрика» | «Прочтения», «Переходы» | По какому показателю выбрать победителя |
| «Ждать» | 1 ч, 2 ч, 6 ч, 24 ч | Сколько ждать после того, как выборка получила сообщения |
По умолчанию — 20%, «Прочтения» и 2 ч. В Telegram и МАКС есть только «Переходы»: эти мессенджеры не сообщают, кто прочитал сообщение.
Как выбирается победитель
- Sender сравнивает долю: какой процент получивших прочитал сообщение или перешёл по ссылке.
- Если доли равны — например, никто не перешёл, — побеждает более ранний вариант, то есть A.
- Кто попадёт в выборку, Sender решает случайно, и каждый получит только один вариант.
- Таймер «Ждать» начинается, когда выборка получила все сообщения. Пока она отправляется, в блоке теста написано «отправляем выборку», потом — «авторешение через …».
- Пока тест ждёт решения, рассылка остаётся в статусе «Идёт отправка», и другие рассылки этого канала ждут своей очереди.
Выбрать победителя вручную
Не хотите ждать — решите сами. Пока тест идёт, в блоке «A/B-тест» на странице статистики выберите «Вариант» и нажмите «Выбрать победителя». Sender спросит: «Отправить вариант B остальным?» — нажмите «Отправить». Отменить это нельзя.
Что видно в статистике
Блок «A/B-тест» показывает настройки — например, «выборка 20% · прочтения» — и карточку каждого варианта: сколько «отправлено», какой процент «прочтения» и «переходы». У лучшего — отметка «победитель» и время решения: «решено … МСК». Пока тест идёт, в ходе отправки видно «A/B: тестируется · 20% получили». Подробнее о цифрах — в статье Статистика рассылки.
Частые вопросы
Можно сравнить разные картинки?
Да. У каждого варианта свои вложения: можно оставить текст одинаковым и поменять только картинку.
Сколько нужно получателей для теста?
Чем больше, тем надёжнее. Если в выборке всего несколько десятков человек, разница между вариантами может оказаться случайной.
Можно включить тест у запущенной рассылки?
Нет. A/B-тест включают и настраивают до запуска. Если выключить переключатель, в рассылке останется вариант A.