Мультивариатное тестирование в действии: пять простых шагов для увеличения коэффициентов конверсии

Концентрация внимания в Интернете сокращается с тех пор, как Google прибыл и изменил правила игры. Теперь с миллионами результатов, доступных по любой теме можно себе представить, окно, чтобы захватить внимание посетителя значительно сократилось(в 2002 году, BBC сообщила, что это около 9 секунд). Представьте себе просмотр веб-страницы: вы выходите из вашего пути, чтобы прочитать текст, посмотреть на все графики, и попытаться полностью понять, что страница о? Ответ, скорее всего, будет прямо “нет”. С бомбардировкой информации со всего вокруг, мы стали избалованы дети, не обращая достаточного внимания на то, что веб-страница хочет сказать нам.

Мы принимаем поспешные решения о том, следует ли взаимодействовать с веб-сайтом на основе того, что мы можем сделать в первые несколько (милли)секунд. Ответственность за создание хорошего первого впечатления лежит на дизайнерах и владельцах веб-сайтов. Учитывая, что окно возможностей, чтобы убедить посетителя действительно мала, большинство конструкций (вероятно, в том числе ваша) сделать неоптимальную работу, потому что дизайнер в вас думает с точки зрения эстетики. Тем не менее, большинство веб-сайтов не существует только для того, чтобы произвести впечатление на посетителей. Большинство веб-сайтов существуют, чтобы сделать продажу. Будь то, чтобы посетители подписаться на блог корма, или скачать судебное разбирательство, каждый веб-сайт в конечном итоге существует, чтобы сделать продажу какой-то.

В этой должности мы будем говорить о том, как настроить веб-сайт для генерации больше продаж,загрузки, членство (или любой другой бизнес-цели) в научной манере, используя A / B раскол и многовариантное тестирование. Как и все остальное, связанных с наукой, эта статья будет изучать шаг за шагом, воспроизводимый метод для увеличения коэффициента конверсии (процент посетителей, преобразованных для клиентов). Кроме того, вы можете быть заинтересованы в Ultimate Руководство по A / B тестирования, которое было опубликовано ранее здесь, на Smashing Magazine.

Шаг 1. Определить вызов

Как, чтобы посетители веб-сайта заметить ваше предложение, а затем заставить их действовать на нем? Я хотел бы ответить на этот вопрос на миллион долларов для загрузки программного обеспечения страницы на моей личной домашней странице. Эта страница была все права ингредиенты: название продукта, описание продукта, отзывы, награды, рейтинги и видные скачать ссылку. Тем не менее, только 40% посетителей скачали свободное программное обеспечение. Обратите внимание, что почти весь трафик на этой странице был направлен, как он прибыл, либо через делать поиск Google или через соответствующий сайт ссылки. Так почему же остальные 60% посетителей не скачали программное обеспечение? Исправление этого вытекающей ведро было моей задачей.

Screenshot
Ключевой момент: Четко определить цели вашего сайта (или конкретной веб-страницы).

В моем случае, желаемое действие заключается в том, чтобы посетители скачать программное обеспечение и задача состоит в том, чтобы увеличить скорость загрузки с 40% до как можно выше. Некоторые из наиболее распространенных проблем, которые могут быть решены с помощью A / B разделенного тестирования являются:

  • Улучшение скорости регистрации, снижение коэффициента отказов, увеличение подписки на информационные бюллетени,
  • Увеличение числа интересов, собранных с целевой страницы, увеличение загрузки белой бумаги или программного обеспечения и
  • Оптимизация покупок и продаж, преобразование более высокий процент посетителей к клиентам.

Вполне возможно, что ваш сайт может служить нескольким целям. Примером может быть блог, где задача состоит в том, чтобы получить больше подписчиков и увеличить участие посетителей (с точки зрения количества комментариев). В этом случае наилучшей стратегией является решение одной (четко определенной) задачи за один раз.

A/B testing example
Быстрый обзор: A / B Тестирование. Большая версия

Шаг 2. Гипотеза

Следующим шагом является составить список гипотез о низком коэффициенте конверсии (процент посетителей, предпринимающих желаемое действие). Согласен, это трудно придумать точные причины (именно поэтому мы называем их гипотезы) для низкого коэффициента конверсии, но Есть три отличных ресурсов, чтобы помочь вам:

1) Вы: Да, вы! Хотя трудно не влюбиться в свой собственный сайт, настало время, чтобы быть чрезвычайно самокритичным. Попробуйте шаг в обувь ваших посетителей и спросить себя, ваша веб-страница достаточно убедительным, чтобы привлечь посетителя без каких-либо знаний о вашем предложении? Помните, что в отличие от вас, ваши посетители не просыпаются утром, говоря: “О, ничего себе, эта вещь является фантастическим!” Будучи критически множесвоим по отношению к вашему собственному веб-сайт является отличным способом улучшить его.

2) Веб-аналитики данных: Еще один источник для получения списка идей улучшения ваш инструмент аналитики. В частности, данные об источниках направления и ключевых словах поиска могут дать интересную информацию. Например, многие посетители могут прибывать на вашей веб-странице, ища ключевые слова, о которых вы даже не думали. В этом случае, ваши посетители могут покинуть веб-сайт ошибочно думая, что ваше предложение не то, что они искали. Рассмотрение таких случаев может увеличить коэффициент конверсии.

3) Удобство тестирования: Получение независимой обратной связи от юзабилит тест всегда удивит вас! Возможно, вы обнаружите, что посетители даже не знают, что вы предлагаете что-то на странице. В этом случае, отличная идея заключается в том, чтобы проверить цвет и размер видных призыв к действию. Если у вас нет большого бюджета на тестирование удобства использования, попробуйте доступные услуги, такие как Feedback Army или UserTesting.

Ключевой момент: Определите, что влияет на коэффициент конверсии.

Возьмите обратную связь от других, но оценить вашу веб-страницу честно, и записать список идей о том, что может повлиять на преобразования. Для моего программного обеспечения скачать веб-страницу, у меня была гипотеза, что скорость загрузки была низкой в первую очередь из-за двух причин: а) много посетителей не заметили ссылку на загрузку и б) многие не знали, что программное обеспечение бесплатно скачать.

Я думаю, что нормальный визит пошел что-то вроде этого: посетитель приходит на сайт, видит кучу текста, оглядывается на ссылку на загрузку, как-то пропускает его (возможно, из-за единообразия в цвете заголовков), и, наконец, покидает сайт. Те, кто замечает ссылку на загрузку, вероятно, не идут на неприятности чтения текста, где он говорит: “… является бесплатным …”, поэтому они предполагают, что программное обеспечение является пробной версии или демо.

Виды гипотез вы можете иметь на этом этапе:

  • Может быть, ваша форма регистрации слишком длинная, и более короткая версия поможет увеличить общее количество регистраций?
  • Может быть, ваша кнопка “Бесплатная проба” не заметна; будет больше кнопки помочь в более загрузок?
  • Может быть, ваш заголовок содержит много отраслевых сокращений, или слишком общий?
  • Может быть, ваша целевая страница не имеет очевидный следующий шаг, который приводит к высокой скорости отказов?

Шаг 3. A/B или Мультивариатное Тестирование?

Как только ваш список возможных причин для низкого коэффициента конверсии готов, пора кривошипно ваш мозг еще раз придумать различные идеи для решения этих причин. То, что вы делаете на этом этапе, это придумать несколько различных версий для всех факторов, которые вы придумали в последний шаг. Например, для случая “Зарегистрируйтесь” различные версии будут:

  • Вариации формы: Минимальная форма всего с двумя полями; форма, не запрашивая адрес электронной почты; многоступенчатая форма; длинная форма.
  • Отправить кнопку вариации: “Отправить” или “Подпишитесь бесплатно” или “Мгновенный регистрации” или даже “Зарегистрируйтесь сейчас!”

Если вы скептически относитесь к тому, что такие незначительные различия не могут оказать существенного влияния на конверсии, прочитайте тематическое исследование, в котором 37Signals увеличили регистрацию на 30% путем тестирования простого изменения заголовка. Читайте также, как Дастин Кертис увеличил число подписчиков в Twitter на 173%, просто изменив текст ссылки на “Вы должны следовать за мной в Твиттере”.

A/B Сплит Тестирование

При тестировании A/B (также известном как разделенное тестирование) вы меняете только один элемент на странице за один раз. Этот элемент может быть любой частью веб-страницы, критической для конверсий (например, цвет кнопки, размер, заголовок копирования рекламы). Сравните это с многовариантным тестированием, где одновременно тестируются несколько различных элементов. Однако тесты A/B проще и проще в реализации, чем многовариантные тесты.

Мультивариатное тестирование

В многовариантном тестировании вы определяете различные разделы/факторы на странице, которые влияют на коэффициент конверсии. Создаются различные вариации этих факторов, которые затем объединяются, чтобы привести к нескольким различным версиям веб-сайта. Мультивариатные тесты занимают больше времени, чем тесты A/B, чтобы показать результаты, но с большей вероятностью дают лучшие результаты.

Ключевой момент: Создание вариаций.

Проведение испытаний

Возвращаясь к проблеме увеличения загрузки для страницы программного обеспечения, я использовал свой собственный инструмент, Визуальный веб-сайт Оптимизатор, который обеспечивает визуальный интерфейс для создания вариаций, но вы могли бы использовать и другие инструменты. Очевидным решением, чтобы посетители заметили ссылку на загрузку, чтобы сделать раздел загрузки наиболее заметной частью страницы. В дизайне страницы размер заголовка и цвет “Download” хорошо вписались в остальную часть страницы, в результате чего люди пропустили ссылку на загрузку.

Для многовариантного теста, я выбрал два фактора на странице для создания вариаций: “Загрузить” заголовок в боковой панели и “PDFProducer” скачать ссылку под ним. Основное внимание в тесте было наблюдать эффект слова “бесплатно”, и эффект выделения скачать разделе. Вот варианты, которые я придумал для этого теста:

Для заголовка “Загрузить”:

  • “Скачать” в красном
  • “Скачать бесплатно” в красном
  • “Загрузить” в цвет по умолчанию, но больший размер шрифта

Для ссылки “PDFProducer”:

  • “PDFProducer” в цвете по умолчанию, но больший размер шрифта
  • “PDFProducer” в красном

В многовариантном тесте различные вариации объединяются для создания нескольких версий веб-страницы. В этом случае, сочетая вышеперечисленные вариации, в общей сложности было выпущено (автоматически) 12 различных версий, каждая из которых имеет уникальную комбинацию заголовков “Download” и ссылок “PDFProducer” (вариация 1 является элементом управления, или по умолчанию, вариацией).

Screenshot
Различные версии раздела загрузки, используемые в многовариантном тесте.

Ради определения, потому что я объединил вариации двух разных разделов, тест называется многовариантным тестом. Если бы я только что изменил один раздел, скажем, “Загрузить” заголовок, тест был бы назван A / B раскол тест.

Ключевой момент: Определите цель теста.

Каждый тест имеет цель, с которой измеряется производительность различных версий. В данном случае целью было количество загрузок. Другими типами целей могут быть регистрации, покупки, клики, интересы, просмотры страниц или частота отказов. Важно определить цель, которая ближе всего к вашим бизнес-целям. Например, магазин электронной коммерции, оптимизирующий продажи, не должен определять нажатие на кнопку «Добавить в корзину» в качестве цели. Скорее, он должен определить цель как посещение страницы “Спасибо” после завершения покупки.

Шаг 4. Запуск теста и анализ результатов

То, что делает a/B-сплит или многовариантный тест, просто: всякий раз, когда посетитель приходит на вашу веб-страницу, он отображает случайно выбранную версию веб-страницы. Другими словами, трафик равномерно распределяется между различными версиями. Производительность различных версий отслеживается по цели преобразования (ы), определяемой для теста. Например, в моем случае целью было увеличение количества загрузок; каждый раз, когда посетитель загружал программное обеспечение, Visual Website Optimizer отслеживал, какая версия веб-страницы была показана посетителю. Настройка теста с помощью этого инструмента помогла здесь, как я мог бы выбрать разделы, сделать изменения в редакторе WYSIWYG, и сразу же просмотреть, как он будет выглядеть в прямом эфире на странице.

После того, как большое количество посетителей были включены в тест, различные версии сравниваются, чтобы увидеть, какой из них показал лучшее и сколько улучшений (по умолчанию) он достиг.

Ключевой момент: Проанализируйте результаты.

После запуска теста в течение 4 недель, у меня были результаты для моего теста загрузки программного обеспечения. Можете ли вы угадать, какие изменения привели к максимальной загрузки? Любые догадки о том, сколько улучшение я смог достичь по сравнению с существующими 40% скачать коэффициент конверсии?

Задержите дыхание, вот результаты:
#multivariate{border-collapse:collapse;margin:5px}#multivariate td{padding:3px 7px;font-size:1em;border:1px solid #ccc}#multivariate tr.head{background-color:#eee;font-size:.8em;text-transform:uppercase;font-weight:700;padding:0;margin:0}

# Детали Показатель % Улучшение Доверие»
1 Комбинация по умолчанию (контроль) 39.4%
10 “Скачать бесплатно” в красном, по умолчанию “PDFProducer” ссылку 63.2% 60% 99%
9 “Скачать” большим шрифтом, “PDFProducer” ссылка в красном 56.5% 43.3% 98%
12 “Скачать бесплатно” в красном, “PDFProducer” ссылка в красном 54.2% 37.7% 95%
2 “Загрузить” по умолчанию, “PDFProducer” большим шрифтом 41.3% 4.76% 56%

Примечание:% улучшение по сравнению с дефолтом рассчитывается как100*(Variation % – Control %)/(Control %)

относится к комбинированному номеру, описанного на скриншоте выше

Доверие: Статистическая уверенность в победе над комбинацией по умолчанию.

Вы можете заметить, что заголовок “Скачать бесплатно” в красном толкаемых скачать коэффициент конверсии от 39% до 63%, колоссальные увеличение на 60%. Имея “Загрузить” в большой размер шрифта (в сочетании с цветом ссылки, как красный) также был положительным (43%) улучшение по умолчанию. Из всех результатов, тройка статистически значимых на уровне 95% или более доверия. Это означает, что я могу безопасно реализовать выигрышные версии на веб-странице, чтобы увидеть постоянное увеличение загрузки. Также обратите внимание, что даже наихудшие выполнения комбинации имеет около 4% улучшение по сравнению с контролем, хотя это не является статистически значимым.

Общей проблемой является то, что результаты испытаний не могут быть надежными и что улучшение видели может быть связано с случайностью. Поэтому важно понимать различные параметры, влияющие на надежность:

  • Количество посетителей: чем больше количество посетителей, тем надежнее результаты. Вы можете использовать такие инструменты, как калькулятор продолжительности сплит-теста, чтобы оценить, сколько посетителей потребуется для вашего теста.
  • Коэффициент конверсии: в целом, результаты для страниц с низким коэффициентом конверсии (скажем, 1-2%) для получения статистически значимых результатов требуется гораздо более длительный период, чем страницы с более высоким коэффициентом конверсии (скажем, 40-50%).
  • Разница в производительности: тестирование с большой разницей в производительности вариаций (скажем, всегда надежнее, чем тот, где разница крайне мала (0,5% или около того).

Важно либо использовать инструмент, который автоматически хрустит надежность результатов для вас, или использовать онлайн калькуляторы для оценки уверенности в результатах. Принятие ненадежных результатов и их реализация может фактически привести к снижению производительности. Точная математика того, что происходит за разделенный анализ надежности тестирования можно прочитать в 20bits статьи статистический анализ и A / B тестирования, или мой блог статьи Математика A / B тестирования.

Шаг 5. Учитесь на результатах тестирования

Независимо от того, будут ли найдены улучшенные версии вашей страницы или нет, каждый тест заканчивается хорошим количеством обучения. Вот несколько ключевых вынос из моего теста:

  • Слово “Свободный” является очень мощным внимание grabber. Вы делаете неоптимальную работу, если вы предлагаете что-то бесплатно, и не делайте, что супер-очевидные на странице.
  • Лучшее место для рекламы вашего “Бесплатное” предложение находится рядом (или на) призыв к действию. Как и в этом случае, “Скачать бесплатно” отображается довольно близко к скачать ссылку на себя.
  • Это подводит нас к следующему важному моменту: почему бы не сделать слово “свободный” кликабельным? Я уверен, что если бы я проанализировал расположение кликов на странице, я бы нашел много посетителей, нажав на “Скачать бесплатно” заголовок, только чтобы понять, что это не ссылка. Я должен определенно испытать версию с clickable заголовком.
  • Красный цвет имеет значение, но только в том случае, если он сочетается с другими элементами, такими как “Свободный” (или другой эффективный призыв к действиям текстов). Красный цвет может привлечь внимание к вашему призыву к действию, но если текст не убедитеели, посетитель, вероятно, не будет предпринимать никаких действий.
  • Размер вашего призыва к действию также имеет значение. Больший размер говорит посетителю, что вы считаете этот конкретный раздел (в данном случае, загрузка приложения) более важным, чем другие части страницы.

Даже если вы не помните ни одного из пунктов выше, пожалуйста, возьмите домой один ключевой момент: не реплицировать предложения выше, не проверяя их на вашем сайте! Каждый веб-сайт уникален, каждая цель преобразования отличается. Хотя общие наблюдения о влиянии слова “Свободный”, красного цвета, и размер вашего призыва к действию логический смысл, это всегда разумно, чтобы быть уверенным в их эффективности путем создания быстрого теста.

A / B раскол тестирования имеет большой потенциал для положительного влияния на доходы компании и прибыль. Несмотря на это, что удивительно, принятие тестирования не так высока. Если вы еще не сделали каких-либо A / B разделить тесты еще, почему это так? Если вы сделали A / B раскол или многовариантные тесты в прошлом, пожалуйста, поделитесь своим опытом в комментариях ниже, чтобы другие могли познакомиться с реальными примерами.

Вас могут заинтересовать следующие статьи:

(ik) (vf)

Источник: smashingmagazine.com

Великолепный Журнал

Великолепный, сокрушительный, разящий (см. перевод smashing) независимый журнал о веб-разработке. Основан в 2006 году в Германии. Имеет няшный дизайн и кучу крутых авторов, которых читают 2 млн человек в месяц.

Добавить комментарий

%d такие блоггеры, как: