Сплит-тестирование является, бесспорно, одним из важнейших инструментов оптимизации конверсии в работе интернет-маркетолога. Без оптимизации посадочной страницы после ее запуска не обходится ни одна серьезная рекламная кампания, да это и невозможно.
Однако есть публикации, открыто утверждающие, что результаты, которые дают сплит-тесты — недостоверны, иллюзорны и полагаются на волю случая. Впрочем, как утверждает Уилл Курт (Will Kurt), один из авторов маркетингового блога SaaS платформы Kissmetrics, такая ситуация вполне нормальна и имеет место быть.
«Чтобы понять, почему так происходит, проведем эксперимент с монетками. Как вы знаете, шансы того, что выпадет орел или решка, всегда равны 50%. Наша задача — выяснить, в каком случае будет чаще выпадать орел: при подбрасывании монеты правой рукой или левой. Подкидываем монетку 16 раз левой и правой рукой и получаем такие результаты:
| Орел | Решка | |
| Правая рука | 11 | 5 |
| Левая рука | 5 | 11 |
Казалось бы, при подбрасывании монеты правой рукой орел выпадает чаще. Следовательно, если бы мы проводили сплит-тест, и изучаемой характеристикой была подбрасывающая рука, то мы продолжили бы кидать монету правой рукой — ведь она дает нам нужный результат! Но если принять к сведению, что мы практически не влияем на то, какой стороной ляжет монета, то, по сути, на наш конечный выбор оказал влияние случай. И вполне возможно, что внедрив более удачно показавший себя на A/B-тесте вариант, мы окажемся свидетелями падения процента результативности всего проекта».
Чтобы исключить влияние неподвластных нам статистических факторов, важно соблюдать элементарные правила проведения сплит-теста.
Правила проведения сплит-тестирования
Характер проведения сплит-теста близок к научному эксперименту, однако лишь немногим интернет-маркетологам удается соответствовать столь высоким требованиям. Вся проблема заключается в том, что специалисты, проводящие тест, не любят ждать и часто вмешиваются в процесс эксперимента, что и это приводит к недостоверным результатам.
На самом деле, классические установки для запуска сплит-теста следующие:
1. Определите уровень минимальных изменений, который вы ожидаете получить (например, коэффициент конверсии увеличится на 10%).
2. Установите размер выборочной совокупности целевой аудитории, необходимой для верификации полученных результатов (выборочная совокупность – это число людей, принявших участие в тестировании). Для этого можете воспользоваться специальным калькулятором, который размещен здесь.
3. Запустите сплит-тест, но не анализируйте результаты до достижения определенного ранее размера выборочной совокупности.
4. Установите минимальный порог изменений, необходимый для детерминации варианта как более эффективного (обычно 95% от значения, принятого на 1 шаге).
5. После того, как вы наберете достаточный размер выборочной совокупности, можете приступать к t-тесту (или любому другому верификационному тесту), чтобы определить превосходит ли значение достоверности результатов с принятым вами на 4 шаге минимальным порогом изменений.
6. Если результаты, полученные вами на 5 шаге, свидетельствуют в пользу одного из вариантов, внедряйте его немедленно. Если же испытываемые варианты не принесли сколь-нибудь значимого результата, оставляйте все как есть.
Отчего же маркетологи не выполняют приведенных выше правил, ведь, казалось бы, в них нет ничего сложного? Вся правда в том, что хотя характер сплит-теста и близок к научному, сами маркетологи вовсе не ученые.
Если для ученого на первом месте стоит правильность и точность получаемых в ходе проведения эксперимента результатов, то для маркетолога ключевым значением является та прибыль, которая будет получена после внедрения изменений на лендингах. Согласитесь, сплит-тест похож в большей степени на игру. У нас есть несколько десятков параметров, каждый из которых требуется проверить, но руководство постоянно давит и требует конкретных результатов как можно быстрее.
В этой ситуации маркетологи тестируют только то, что может принести существенные изменения. Для них важен рост, и только когда они увидят, что соблюдение правил сплит-теста, приведет их к успеху, маркетологи начнут им следовать. Возникает вопрос: «Как их убедить в необходимости “научного подхода”?».
2 модели проведения сплит-теста
Проводить сплит-тест можно по-разному: кто-то будет придерживаться методологии, а кто-то будет торопить события и искажать конечные результаты. Чтобы четче обрисовать существующую ситуацию, приведем в качестве примера две модели проведения сплит-теста, диаметрально противоположные друг другу.
Первая модель «Scientist» (с англ. — ученый) предполагает соблюдение всех правил, которые мы изложили выше. На графике вы можете видеть результаты тестирования согласно рассматриваемой модели:
Исследователь, действующий по первой модели, совершает крайне мало ошибок и имеет постоянный рост коэффициента конверсии. Он провел всего 20 тестов, в ходе которых улучшил показатель конверсии с 5 до 6,7%. Размер выборки составил 1 миллион человек.
Теперь обратим внимание на вторую модель проведения теста, которая носит название «Impatient Marketer» (с англ. — нетерпеливый маркетолог).
Как вы видите, нетерпеливый маркетолог действует непоследовательно и иной раз даже хаотично. Он постоянно проверяет получаемые данные, и как только они достигают 95% порога выборки, тут же останавливает тест. Его результаты больше напоминают американские горки, однако полученные в итоге цифры не сильно отличаются от того, на что вышел ученый, хоть и менее достоверны.
Модель «The Realist»
Эта модель получается на стыке двух предыдущих моделей, но от маркетолога здесь не требуется скрупулезности и излишнего беспокойства. «Реалист» точно так же, как и «Нетерпеливый маркетолог», хочет быстрых результатов, попутно стремясь избежать большинства ошибок и не следовать 6-ступенчатой методологии проведения сплит-теста. Чтобы быть уверенным в каждом успешном варианте сплит-теста, «Реалист» ждет не 95%, а 99% порога изменений, но не проводит тест слишком долго: ему достаточно и 2000 пользователей. Получается в итоге следующее:
Модель «Реалист» превзошла результаты, которые были получены в первой модели.
Заключение
Следовать правилам или нет, решает каждый для себя сам. Однако методология позволит вам максимально приблизится к точным данным, внедрив которые вы не будете ломать голову над вопросом, почему коэффициент конверсии пополз вниз, а не вверх.
С другой стороны, скрупулезность и медлительность в маркетинге не приветствуются. В этом случае некоторое изменение основных положений методологии оправдано. Главное, поддавшись эмоциям, не сделать ставку на проигрышный вариант, который в какой-то момент и показал себя лидирующим. Чтобы избежать этого, используйте калькулятор выборочной совокупности, который подскажет вам, как долго тестировать тот или иной элемент.
От себя добавим: размер выборочной совокупности, используемый для достижения статистической достоверности сплит-тестов в приведенных выше примерах, может оказаться недоступным для маркетологов, работающих со скромным рекламным бюджетом и низким входящим трафиком, в таком случае можно прибегнуть к дедуктивному методу тестирования.
Успехов и высоких вам конверсий!
По материалам blog.kissmetrics.com, image source Ian Sane