Что такое A/B-тестирование и как его проводить | FITTIN
+7 (800) 444-11-27
Позвоните — обсудим ваш проект
Сергей CCO FITTIN
Сергей CCO FITTIN
Напишите мне в Telegram
Обсудить проект
Что такое A/B-тестирование: версии A и B интерфейса показываются двум группам пользователей, система сравнивает конверсию

Что такое A/B-тестирование и как его проводить

A/B-тест простыми словами: что это, зачем он интернет-магазину и как построить тест для приложения и сайта — от гипотезы до статистической значимости.


Команда меняет кнопку, переставляет блоки на первом экране или сокращает форму заказа — и спорит, стало лучше или хуже. Один считает новый вариант удобнее, другой уверен в обратном, а данных, чтобы рассудить, нет. A/B-тестирование убирает этот спор: вместо мнений оно показывает на реальных пользователях, какая версия приносит больше покупок и заявок.


Что такое A/B-тестирование простыми словами

A/B-тестирование — это способ сравнить две версии страницы или экрана на реальных пользователях и понять, какая из них лучше решает бизнес-задачу. Пользователей случайным образом делят на две группы. Первая видит текущий вариант — его обозначают буквой A. Вторая видит изменённый вариант — B. Обе группы ходят по продукту как обычно, а система считает, в какой из них больше людей дошло до целевого действия: покупки, оформления заказа, отправки заявки, регистрации. Побеждает версия с более высокой конверсией — то есть с большей долей пользователей, дошедших до нужного действия.

Ключевое здесь — сравнение идёт одновременно и на одном потоке пользователей. Это отличает A/B-тест от привычного «поменяли и смотрим, что стало»: если просто выпустить новую версию и сравнить продажи с прошлой неделей, на результат повлияют выходные, акции и сезон. При A/B-тесте обе версии живут в одно время, внешние факторы действуют на группы одинаково, и разницу можно честно отнести на счёт самого изменения.

A/B-тест, сплит-тест и многовариантный тест

В статьях и разговорах встречаются несколько близких терминов, и стоит развести их сразу:

  • A/B-тест. Сравнение двух версий — текущей и одной изменённой. Наиболее частый и понятный формат.
  • Сплит-тест. То же самое, другое название. «Split» по-английски — «разделение»: трафик разделяют на группы. A/B-тест и сплит-тест — синонимы.
  • A/B/n-тест. Сравнение сразу нескольких вариантов: A, B, C и так далее. Требует больше пользователей, потому что трафик дробится на большее число групп.
  • Многовариантный тест. Проверка комбинаций из нескольких изменений сразу — например, разом другого заголовка и другой картинки. Помогает понять, какие элементы работают вместе, но требует ещё больше трафика и применяется реже.

Дальше в статье под словами «A/B-тест» имеется в виду базовый формат — сравнение двух версий. С него разумно начинать в любом продукте.

Зачем A/B-тестирование интернет-магазину

Для интернет-магазина конверсия — это деньги. Каждый процент пользователей, который дошёл до оплаты вместо того, чтобы уйти на середине оформления, превращается в выручку без дополнительных вложений в рекламу. A/B-тестирование даёт четыре практических выгоды.

  • Решения на данных, а не на вкусе. Спор «эта кнопка заметнее» или «этот текст понятнее» закрывается цифрами, а не авторитетом того, кто громче.
  • Рост продаж без роста трафика. Тесты повышают долю посетителей, доходящих до покупки. Тот же поток пользователей приносит больше заказов, а стоимость привлечения на каждый заказ снижается.
  • Меньше риска при изменениях. Крупный редизайн можно выкатить не сразу на всех, а на часть пользователей и убедиться, что новая версия не роняет конверсию, прежде чем показывать её всей аудитории.
  • Накопительный эффект. Отдельный тест даёт небольшой прирост, но тесты не заканчиваются на первом. Серия проверенных улучшений за месяцы складывается в заметный рост воронки.

По нашему опыту перенос сценариев в удобный интерфейс сам по себе измеримо влияет на конверсию: в кейсе приложения книжного издательства «Вольный странник» конверсия приложения оказалась выше, чем у сайта. A/B-тесты — инструмент, которым такой результат растят дальше, гипотеза за гипотезой. Подробный разбор — в лонгриде о кейсе, другие проекты — в портфолио.

Как A/B-тестирование повышает конверсию воронки интернет-магазина от первого экрана до оплаты

Что тестировать в мобильном приложении

В приложении есть смысл тестировать те экраны, через которые проходит больше всего пользователей, и те, где виден заметный отток. Обычно это:

  • Первый экран и знакомство с приложением. Порядок шагов при первом запуске, объём обязательной регистрации, момент запроса разрешений на уведомления. Здесь решается, останется пользователь или закроет приложение сразу.
  • Кнопка целевого действия. Её текст, цвет, размер и место на экране. «В корзину», «Купить», «Оформить» — формулировка и заметность кнопки прямо влияют на долю нажатий.
  • Карточка товара. Порядок блоков, расположение цены и кнопки, показ отзывов и способов доставки. С карточки начинается решение о покупке.
  • Оформление заказа. Число шагов и полей, обязательность регистрации, способ ввода адреса и выбора оплаты. Это узкое место любой воронки: чем меньше усилий, тем больше доходят до оплаты.
  • Уведомления и повторные заходы. Текст и время push-уведомлений, сценарий возврата пользователя. Влияет не на разовую покупку, а на то, вернётся ли человек в приложение.

Техническая особенность приложений в том, что новую версию экрана не обязательно выпускать через обновление в сторах. Второй вариант выкатывается через переключатель функций (feature-флаг) — специальный тумблер, который включает изменение для части пользователей без нового релиза. Если приложение только предстоит создать, стоит заранее заложить такую возможность экспериментов: это часть грамотной разработки приложения для интернет-магазина.

Что тестировать на сайте

На сайте интернет-магазина логика та же, но набор типичных зон для тестов свой:

  • Первый экран лендинга и главной. Заголовок, ключевое предложение, изображение, расположение кнопки. Первый экран определяет, останется посетитель на странице или уйдёт.
  • Форма заявки или регистрации. Число полей, порядок их заполнения, формулировка кнопки отправки. Каждое лишнее поле снижает долю заполнивших форму.
  • Карточка товара и каталог. Способ показа цены и наличия, фильтры, кнопка добавления в корзину, блок сопутствующих товаров.
  • Оформление заказа. Возможность купить без регистрации, число шагов, наглядность стоимости доставки и итоговой суммы. Здесь теряется значимая часть пользователей, уже готовых заплатить.

Чем тест на сайте отличается от теста в приложении

Сам принцип совпадает: две версии, случайное деление пользователей, сравнение по конверсии. Отличается техническая сторона. На сайте варианты чаще раздаются на стороне сервера или через инструмент экспериментов, в приложении второй вариант включается переключателем функций. Для бизнеса вывод один: тестировать можно и сайт, и приложение, а способ подбирается под продукт. Когда сайт и приложение работают на единой основе — например, при разработке сайта и приложения на одной кодовой базе — часть данных для экспериментов доступна по обоим каналам сразу.

Зоны A/B-тестирования в приложении и на сайте интернет-магазина: первый экран, кнопка, карточка товара, форма, оформление заказа
ЗонаВ приложенииНа сайте
ЗнакомствоПервый экран, онбординг, запрос уведомленийПервый экран лендинга и главной
Целевое действиеКнопка «В корзину» / «Купить»Кнопка отправки формы, добавления в корзину
Выбор товараКарточка товараКарточка товара и каталог с фильтрами
ПокупкаОформление заказа и оплатаОформление заказа, покупка без регистрации
Как раздаётся вариант BПереключатель функций, без релиза в сторахНа стороне сервера или через инструмент экспериментов

Как сформулировать гипотезу

Тест начинается не с интерфейса, а с гипотезы. Гипотеза — это предположение о том, что и зачем меняем и какого результата ждём. Без неё тест превращается в «поменяем и посмотрим», и по итогу нечего измерить.

Из чего состоит рабочая гипотеза

Хорошая гипотеза связывает три вещи: конкретное изменение, метрику и ожидаемый эффект. Формулировка укладывается в одно предложение по образцу «если изменить X, то метрика Y вырастет, потому что причина Z».

  • Изменение. Что именно правим — одно понятное изменение, а не десять сразу. Например, убрать обязательную регистрацию на шаге оплаты.
  • Метрика. На какое число смотрим. Например, доля пользователей, дошедших до оплаты.
  • Ожидание и причина. Почему изменение должно сработать. Например, потому что часть пользователей уходит, увидев требование зарегистрироваться.

Собранное вместе это звучит так: «Если убрать обязательную регистрацию в оформлении заказа, доля дошедших до оплаты вырастет, потому что часть пользователей отказывается регистрироваться». Такую гипотезу тест либо подтвердит цифрами, либо опровергнет — и оба исхода полезны.

Как приоритизировать гипотезы

Гипотез обычно набирается больше, чем можно проверить за раз. Порядок задаёт сравнение по трём вопросам: насколько сильно изменение повлияет на результат, сколько пользователей его увидят и сколько усилий на него уйдёт. Первыми идут гипотезы с большим влиянием и охватом при разумных затратах, а на страницах и экранах с самым большим потоком пользователей результат приходит быстрее. Откуда брать гипотезы, если их пока нет, разберём в блоке про аудит.

Как проходит A/B-тест: этапы

Работа идёт итерациями. Один цикл — это путь от идеи до подтверждённого цифрами вывода, а затем в работу берётся следующая гипотеза. Внутри цикла пять шагов.

1

Гипотеза

Что происходит: формулируют, что и зачем меняют и какой метрики ждут. Гипотеза всегда привязана к конкретной метрике — иначе результат нечем измерить.

2

Сегменты пользователей

Что происходит: пользователей делят на группы. Одна видит текущий вариант, другая — изменённый. Группы формируются случайно и одновременно, чтобы на результат не влияли день недели, акции, канал трафика или тип устройства.

3

Метрики

Что происходит: фиксируют поведение обеих групп и считают целевое действие — долю дошедших до корзины, заявки, оформления, оплаты. Параллельно смотрят на промежуточные шаги воронки, чтобы понять, где именно меняется поведение.

4

Срок и размер выборки

Что происходит: заранее оценивают текущий поток пользователей и рассчитывают, сколько их должно пройти через тест и за какой срок. Тест не останавливают в первый же день, когда одна из групп «вырвалась вперёд»: на малой выборке разница часто оказывается случайной.

5

Статистическая значимость и внедрение

Что происходит: ждут, пока разница между вариантами станет статистически значимой — то есть пока не появится уверенность, что результат не случаен и не связан с малой выборкой. После этого победивший вариант выкатывают на всех пользователей и берут следующую гипотезу.

Цикл A/B-теста: гипотеза, сегменты пользователей, метрики, размер выборки, статистическая значимость и внедрение

Есть работающий продукт, но конверсия не растёт, а гипотез пока нет? Разумный первый шаг — аудит мобильного приложения: он покажет, где теряется конверсия, и даст список гипотез для A/B-тестов. Оценить отдельно интерфейс приложения или сайта поможет аудит UX/UI.

Аудит и A/B-тест: чем отличаются и как работают вместе

Это две разные, но связанные задачи. Аудит находит проблемные места и предлагает гипотезы, A/B-тест проверяет их на пользователях.

ПараметрАудит UX/UIA/B-тест
Отвечает на вопросЧто менять и почемуСработало ли изменение
РезультатСписок гипотез и приоритетовПодтверждённый цифрами вариант
Нужен ли поток пользователейНет, работает экспертная оценкаДа, тест идёт на реальных пользователях
Когда выбратьНепонятно, где теряется конверсияЕсть гипотезы и поток пользователей

Готовите новый интерфейс и хотите проверить его на пользователях? Соберите гипотезы через разработку UX/UI-дизайна приложения и сайта, а проверку возьмёт на себя A/B-тестирование приложений и сайтов.

Типичные ошибки A/B-тестирования

Большинство неудачных тестов ломаются не на интерфейсе, а на методике. Разложим частые ошибки по трём стадиям.

Ошибки в подготовке

  • Тест без метрики. Меняют экран, не решив заранее, какое число считать успехом. По итогу вариант «нравится больше», но подтвердить это нечем.
  • Несколько изменений сразу. В одном варианте разом правят заголовок, картинку и кнопку. Если конверсия изменилась, непонятно, что именно сработало.

Ошибки в проведении

  • Ранняя остановка. Тест выключают, как только одна группа вырвалась вперёд. На малой выборке такой отрыв часто случаен и на следующий день пропадает.
  • Группы в разное время. Сначала показывают вариант A, через неделю — B. Тогда на результат влияют сезон, акции и рекламные кампании, а не само изменение.
  • Слишком мало пользователей. Тест запускают там, где поток настолько маленький, что значимой разницы не набрать за разумный срок.

Ошибки в интерпретации

  • Значимость путают с величиной. Разница статистически значима, но в деньгах ничтожна — а её выдают за прорыв.
  • Локальный выигрыш ценой воронки. Больше людей нажали кнопку, но до оплаты дошло меньше. Смотреть надо на итоговое целевое действие, а не только на промежуточный шаг.
  • Забывают про удержание. Изменение подняло разовую покупку, но снизило возвраты пользователей. Такой результат стоит проверять и на удержании, а не только на конверсии одного визита.

Сколько стоит A/B-тестирование

У A/B-тестирования нет единого прайса, потому что это не разовая покупка, а регулярная работа над конверсией. Стоимость складывается из нескольких факторов.

  • Поток пользователей. Чем он больше, тем скорее набирается выборка и тем быстрее закрывается каждая гипотеза.
  • Число и сложность гипотез. Мелкая правка кнопки и переработка целого сценария оформления заказа стоят по-разному.
  • Техническая обвязка. Есть ли уже аналитика и инструменты экспериментов, или их нужно подключать с нуля.
  • Стек продукта. На каком решении работают сайт и приложение и насколько к ним есть доступ. Для стороннего кода разобраться в устройстве помогает аудит кода.

В FITTIN A/B-тестирование ведётся итерациями: каждый рабочий отрезок закрывает одну–две гипотезы и заканчивается выводом, подтверждённым цифрами. Оплата — по факту отработанных часов (Time & Materials), со сметой и оценкой по часам перед стартом задачи; остановиться можно после любой итерации. Сколько стоит A/B-тестирование приложения и сайта и как устроена работа, подробно разобрано на странице услуги A/B-тестирования. Прикинуть бюджет смежных задач по продукту удобно на калькуляторе.

Как устроена работа над A/B-тестированием по итерациям: одна гипотеза за спринт с оплатой по факту отработанных часов

Итог: A/B-тест на одной странице

A/B-тестирование — рабочий способ развивать конверсию сайта и приложения без догадок: две версии, живой трафик, решение по цифрам. Коротко, что стоит запомнить.

ВопросКороткий ответ
Что этоСравнение двух версий интерфейса (A и B) на реальных пользователях по конверсии. То же — сплит-тест.
ЗачемРост продаж без роста трафика, решения на данных, меньше риска при изменениях.
Что тестироватьПервый экран, кнопку целевого действия, карточку товара, форму и оформление заказа — в приложении и на сайте.
С чего начатьС гипотезы: изменение → метрика → ожидание. Гипотезы даёт аудит.
Как считать результатДождаться статистической значимости, смотреть на итоговое целевое действие и удержание.

Что делать дальше

Часть гипотез удобно закрывать не только тестами интерфейса, но и игровыми механиками, которые повышают вовлечённость и повторные заходы. А если нужно быстро проверить саму идею продукта на небольшой аудитории, для этого подходит разработка MVP.

Часто задаваемые вопросы

Что такое A/B-тестирование простыми словами?

Это способ проверить изменение интерфейса на реальных пользователях. Одна группа видит текущий вариант страницы или экрана (A), другая — изменённый (B). Система считает, в какой группе больше пользователей дошло до целевого действия — покупки, заявки, регистрации, оформления заказа. В работе остаётся вариант, который приносит больше целевых действий. Это же часто называют сплит-тестированием.

Чем A/B-тест на сайте отличается от теста в приложении?

Логика одна: две версии, сравнение по конверсии. Разница в технике. На сайте варианты чаще раздаются на стороне сервера или через инструмент экспериментов, и изменение видно пользователю при загрузке страницы. В приложении второй вариант выкатывается через переключатель функций (feature-флаг), без нового релиза в сторах и без ожидания, пока пользователь обновит приложение.

Сколько трафика нужно для A/B-теста?

Чем больше пользователей проходит через тестируемую страницу или экран, тем скорее набирается достаточная выборка. Перед стартом оценивают текущий поток и рассчитывают, за какой срок разница между вариантами станет статистически значимой. Если пользователей немного, тест начинают с мест, через которые проходят все, — с первого экрана и оформления заказа.

Чем A/B-тестирование отличается от аудита UX/UI?

Аудит UX/UI показывает, где в пользовательском пути теряется конверсия, и даёт список гипотез — что стоит изменить. A/B-тест проверяет эти гипотезы на реальных пользователях и подтверждает цифрами, какое из изменений повышает конверсию. Аудит отвечает на вопрос «что менять», A/B-тест — «сработало ли изменение».

Как долго идёт один A/B-тест?

Тест идёт до тех пор, пока разница между вариантами не станет статистически значимой — то есть пока не появится уверенность, что результат не случаен. На страницах и экранах с большим потоком пользователей это занимает несколько дней, на узких сценариях — дольше. Точный ориентир называют после оценки текущего потока пользователей.

Какие метрики измеряет A/B-тест?

Основная метрика — конверсия, то есть доля пользователей, дошедших до целевого действия: добавления в корзину, оформления заказа, оплаты, отправки формы, регистрации. Дополнительно смотрят на промежуточные шаги воронки, чтобы понять, на каком экране или странице пользователи уходят, и на удержание — возвращаются ли пользователи после изменения.

Можно ли тестировать сайт или приложение, сделанные другим подрядчиком?

Да. Для A/B-тестирования нужен доступ к аналитике и возможность выкатить второй вариант на часть пользователей. Если продукт написан другой командой, его устройство разбирают на этапе погружения в задачу и подключают инструменты экспериментов под конкретный стек — и на сайте, и в приложении. Взять сторонний продукт на развитие поможет техническая поддержка приложений.

Материал носит информационно-образовательный характер и отражает подход команды FITTIN на дату публикации (15 июля 2026).

ДАВАЙТЕ ОБСУДИМ
ВАШ ПРОЕКТ

Мобильное приложение для бизнеса — разработка в команде FITTIN