P — это количество пользователей по истории, которое совершали нужно действие (например, делали покупку https://deveducation.com/ со старой версии лендинга). Если исторических данных нет, то используется значение равное 0.5 (50%). Для получения точных данных, важно придерживаться определенных правил на протяжении всего тестирования — от постановки цели до анализа результатов. Чаще всего такие гипотезы рождаются из данных, общения с пользователями, результатов опросов и анализа конкурентов. Во Flocktory мы пользуемся всеми перечисленными, а каждую новую гипотезу заносим в бэклог.
Пошаговая инструкция по проведению A/B тестирования сайта
Один из главных показателей эффективности веб-сайта — это конверсия, и сплит-тестирование направлено именно на ее увеличение. Конверсия будет зависеть и от оптимизации форм, расположения элементов a/b testing это на странице, цветов и шрифтов и т. Тестирование позволяет выявить, какой из вариантов дизайна приносит больше всего выполненных целей. Исходя из вашего трафика и целей, выделите для теста достаточно времени, чтобы он достиг статистической значимости. Выполнение теста в течение слишком короткого периода может привести к неверным результатам. Например, если одна версия вашего веб-сайта выигрывает в течение первых нескольких дней после начала теста, это не значит, что вы должны прекратить его раньше времени и объявить победителя.
Этап 2. Формирование маркетинговой гипотезы
К примеру, вам, возможно, понадобиться указать длительность тестирования, устройства, Стресс-тестирование программного обеспечения с которых хотите собирать данные, местоположение пользователей и тому подобное. Но не все сервисы предлагают такой уровень кастомизации тестов, поэтому это не всегда можно настроить. Допустим, вы запустили А/В-тестирование заголовка (темы) письма, которое продлился 20 дней. В результате вы видите, что версия B превосходит версию A на 72%, так как ее письма с заголовком B октрывают на 72% чаще, чем письма с заголовком А. С такими данными вы точно знаете, что нашли тот самый элемент, влияющий на процент октрытия писем. Статистика и данные, которые вы собираете при помощи А/В-тестирования, получены от фаворитов, претендентов и вариаций.
Гипотеза №1: контент мотивирует пользователей качественнее использовать приложение
Для начала метод compileStateClass создает временную директорию baseGeneratedClassesPath вида /generatedClasses/, где мы производим все наши действия. Ее можно использовать для хранения объекта определенной версии в поле object. Класс объекта type будет равен TestEvolvedClass, но загрузится разными ClassLoaders в зависимости от первой или второй версии класса. В конструкторе запрашиваем сам сериализатор, который используется для инициализации дескриптора состояния. Если мы получили событие из состояния, инкрементируя счетчик, то событие с таким же ключом уже было раньше. Также есть метод getStatefulCounter для использования при проверке в самих тестах.
После этого вы можете перейти к анализу качественных аспектов трафика. Другой популярный инструмент для более глубоких исследований – это опросы пользователей сайта. Опросы могут выступать в качестве прямого канала между командой вашего ресурса и конечным пользователем. Они часто выявляют проблемы, которые были упущены при сборе статистики. A/B-тестирование полностью основано на данных и не оставляет места для догадок, интуиции и субъективизма. Поскольку разные веб-сайты служат разным целям и обслуживают разные аудитории, не существует единых рекомендаций для гарантированного снижения числа отказов.
Разработчики Optimizely пошли по пути улучшения одного продукта, а не расширения возможностей в разных направлениях. Поэтому эта программа подходит только для А/Б тестирования. Но у нее настолько простой и понятный интерфейс, что самым сложным будет добавить код в шапку сайта. Визуально он похож на графический редактор, в котором можно изменить любой элемент — цвет, текст, размер, расположение. Также в анализе можно запросить отчет о достоверности результатов из Google Optimize.
В некоторых случаях нужны специализированные сервисы для сбора и обработки данных. Когда у нас есть протестированный сериализатор, мы можем использовать его в нашем приложении. Я покажу, как можно применить свой сериализатор и автоматизировать тесты, чтобы убедиться в должном покрытии тестами любого бездумного изменения схемы. Одна из проблем здесь — наличие двух одновременных версий класса TestEvolvedClass. Вспоминаем, что в Java уникальность класса задается по связи полного класса с загружаемым его ClassLoader. Это позволяет создать в рамках теста две версии одного TestEvolvedClass, загрузив их разными ClassLoader.
- Как правило, в A/B-тестировании определяет вариант оформления, который дает более высокие конверсии, и этот вариант может помочь вам оптимизировать ваш сайт для достижения лучших результатов.
- Разные сегменты аудитории могут по-разному реагировать на изменения.
- Привлечение качественного трафика всегда обходится недешево, особенно в высококонкурентных нишах.
- Следующим шагом в вашей программе тестирования должно быть создание варианта, основанного на вашей гипотезе, и A/B-тестирование его на соответствие существующей версии (контроль).
- Таким образом, у нас будет две разные версии одного и того же класса TestEvolvedClass.class в виде двух текстовых файлов v1.txt и v2.txt.
После прочтения этого материала по A/B-тестированию вы должны быть полностью готовы для планирования своей собственной дорожной карты оптимизации конверсии и воронки продаж. Внимательно следите за каждым этапом и остерегайтесь перечисленных ошибок. A/B-тестирование часто недооценивают, когда дело доходит до улучшения показателей конверсии сайта, но при умелом постоянном использовании этот метод дает отличные результаты. Вы не знаете, как ваши посетители будут реагировать на изменение.
Чтобы помочь им определиться с выбором, в Lamoda создали раздел «Идеи», который внутри команды назвали Discovery. Это контентный продукт, где мы исследуем моду и предлагаем пользователям идеи для формирования их собственного стиля. Меня зовут Сима Гиззатуллина, я продуктовый аналитик в Lamoda Tech. Я расскажу, как мы искали инструмент для оценки контентного продукта, какие подводные камни обнаружили, и почему в итоге простые пути оказались не такими уж простыми.
При значении 90% понадобится меньше людей для теста, но вероятность ошибки увеличивается до 10%. Цена таких ошибок отразится на прибыли компании, если распространить на всю базу неверное решение. При значении 99% вероятность ошибки будет минимальной, но понадобится больше людей и времени на проведение теста. Даже высокие показатели эффективности можно улучшить путем экспериментов. Фокусируясь на одном аспекте в рамках одного теста, вы получите более точные данные.
В A/B-тестировании трафик распределяется между двумя или более совершенно разными версиями веб-страницы. В многомерном тестировании изменяют несколько ключевых элементов и тестируют все их комбинации. Это 4 различных типа проверки, основанной на реакции пользователей. Чтобы потенциальный клиент дошел до страницы покупки, сайт должен быстро загружаться. Если сайт работает медленно — пользователь закроет страницу и перейдет на сайт конкурента. Если вариантов страниц больше, процесс называют A/B/N-тестированием.
Другими словами, сплит тестирование можно провести между двумя существующими URL-адресами, что особенно полезно, если у вас динамический контент. В основе любого A/B теста лежит проблема, которую нам надо решить, или некое поведение пользователя, которое нам нужно изменить/закрепить. Выявив проблему или задачу, маркетолог формулирует гипотезу — обоснованное предположение, которое либо подтвердится, либо опровергнется в результате эксперимента. Однако, А/В-тестирование должно быть достаточно продолжительным, чтобы исключить вариант конвергенции результатов. Это происходит, когда вначале появляется существенная разница между двумя вариациями, но со временем уменьшается. Такое случается из-за изменений в предпочтениях людей в течении дня или недели.
Каждая версия маркетингового актива предоставляет вам информацию о посетителях вашего сайта. Коэффициент конверсии и поведение посетителей сайта (время, проведенное на странице, bounce rate и другие) покажут вам, какая из версий оказалась более эффективной. Для максимальной эффективности вам нужны точные данные, которые отображают, как ваша аудитория реагирует на конкретные элементы вашего сайта. Все, что превращает пользователей в клиентов, нужно тестировать.
Калькуляторы есть здесь и здесь, они рассчитывают размер выборки, необходимый для каждой версии. На размер выборки влияют разные параметры и ваши предпочтения. Наличие достаточно большого размера выборки важно для обеспечения статистически значимых результатов. Целью любого эксперимента является изменение какого-то конкретного параметра. Поэтому, перед запуском тестов, нужно определить, на какую метрику мы хотим повлиять.
Предположим, изменение цвета приведет к тому, что кнопка будет больше бросаться в глаза и по ней начнут чаще кликать. По увеличенному количеству кликов мы поймем, что изменение пошло на пользу. Схожие результаты получим и с калькулятором A/B Testguide. Но здесь уже можно поиграться с настройками, получить графический результат и сформулированные выводы. На этом этапе, кроме формулирования гипотезы, необходимо оценить ожидаемый эффект.
На основе поведенческой активности каждой группы можно судить об эффективности тестируемых изменений на странице. Перед началом проведения сплит-теста стоит проверить, подходит ли он вам. Чтобы получить достоверные результаты, сайт должен иметь стабильный поток посетителей, регулярные конверсии, настроенные системы аналитики. Если это новый ресурс, то выборка может быть недостаточно репрезентативной. Поэтому лучше проводить тест именно на тех сайтах, у которых уже есть поток посетителей — как новых, так и постоянных. Такой метод поиска наилучших вариантов продвижения в интернет-маркетинге называется A/B-тестирование или сплит-тест.
Например, user1 зашел в приложение пять раз за одну неделю. User2 тоже зашел в приложение пять раз за одну неделю, но еще прочитал статью из Discovery и пролистал подборку образов. Наша гипотеза состоит в том, что user2 будет чаще добавлять товары в корзину и в избранное, и генерить больше выгоды. Для роста любого продукта важно понимать направление развития и отслеживать, верно ли мы по нему двигаемся.