Что такое A/B-тестирование и как его проводить
A/B-тест простыми словами: что это, зачем он интернет-магазину и как построить тест для приложения и сайта — от гипотезы до статистической значимости.
Команда меняет кнопку, переставляет блоки на первом экране или сокращает форму заказа — и спорит, стало лучше или хуже. Один считает новый вариант удобнее, другой уверен в обратном, а данных, чтобы рассудить, нет. A/B-тестирование убирает этот спор: вместо мнений оно показывает на реальных пользователях, какая версия приносит больше покупок и заявок.
Что такое A/B-тестирование простыми словами
A/B-тестирование — это способ сравнить две версии страницы или экрана на реальных пользователях и понять, какая из них лучше решает бизнес-задачу. Пользователей случайным образом делят на две группы. Первая видит текущий вариант — его обозначают буквой A. Вторая видит изменённый вариант — B. Обе группы ходят по продукту как обычно, а система считает, в какой из них больше людей дошло до целевого действия: покупки, оформления заказа, отправки заявки, регистрации. Побеждает версия с более высокой конверсией — то есть с большей долей пользователей, дошедших до нужного действия.
Ключевое здесь — сравнение идёт одновременно и на одном потоке пользователей. Это отличает A/B-тест от привычного «поменяли и смотрим, что стало»: если просто выпустить новую версию и сравнить продажи с прошлой неделей, на результат повлияют выходные, акции и сезон. При A/B-тесте обе версии живут в одно время, внешние факторы действуют на группы одинаково, и разницу можно честно отнести на счёт самого изменения.
A/B-тест, сплит-тест и многовариантный тест
В статьях и разговорах встречаются несколько близких терминов, и стоит развести их сразу:
- A/B-тест. Сравнение двух версий — текущей и одной изменённой. Наиболее частый и понятный формат.
- Сплит-тест. То же самое, другое название. «Split» по-английски — «разделение»: трафик разделяют на группы. A/B-тест и сплит-тест — синонимы.
- A/B/n-тест. Сравнение сразу нескольких вариантов: A, B, C и так далее. Требует больше пользователей, потому что трафик дробится на большее число групп.
- Многовариантный тест. Проверка комбинаций из нескольких изменений сразу — например, разом другого заголовка и другой картинки. Помогает понять, какие элементы работают вместе, но требует ещё больше трафика и применяется реже.
Дальше в статье под словами «A/B-тест» имеется в виду базовый формат — сравнение двух версий. С него разумно начинать в любом продукте.
Зачем A/B-тестирование интернет-магазину
Для интернет-магазина конверсия — это деньги. Каждый процент пользователей, который дошёл до оплаты вместо того, чтобы уйти на середине оформления, превращается в выручку без дополнительных вложений в рекламу. A/B-тестирование даёт четыре практических выгоды.
- Решения на данных, а не на вкусе. Спор «эта кнопка заметнее» или «этот текст понятнее» закрывается цифрами, а не авторитетом того, кто громче.
- Рост продаж без роста трафика. Тесты повышают долю посетителей, доходящих до покупки. Тот же поток пользователей приносит больше заказов, а стоимость привлечения на каждый заказ снижается.
- Меньше риска при изменениях. Крупный редизайн можно выкатить не сразу на всех, а на часть пользователей и убедиться, что новая версия не роняет конверсию, прежде чем показывать её всей аудитории.
- Накопительный эффект. Отдельный тест даёт небольшой прирост, но тесты не заканчиваются на первом. Серия проверенных улучшений за месяцы складывается в заметный рост воронки.
По нашему опыту перенос сценариев в удобный интерфейс сам по себе измеримо влияет на конверсию: в кейсе приложения книжного издательства «Вольный странник» конверсия приложения оказалась выше, чем у сайта. A/B-тесты — инструмент, которым такой результат растят дальше, гипотеза за гипотезой. Подробный разбор — в лонгриде о кейсе, другие проекты — в портфолио.
Что тестировать в мобильном приложении
В приложении есть смысл тестировать те экраны, через которые проходит больше всего пользователей, и те, где виден заметный отток. Обычно это:
- Первый экран и знакомство с приложением. Порядок шагов при первом запуске, объём обязательной регистрации, момент запроса разрешений на уведомления. Здесь решается, останется пользователь или закроет приложение сразу.
- Кнопка целевого действия. Её текст, цвет, размер и место на экране. «В корзину», «Купить», «Оформить» — формулировка и заметность кнопки прямо влияют на долю нажатий.
- Карточка товара. Порядок блоков, расположение цены и кнопки, показ отзывов и способов доставки. С карточки начинается решение о покупке.
- Оформление заказа. Число шагов и полей, обязательность регистрации, способ ввода адреса и выбора оплаты. Это узкое место любой воронки: чем меньше усилий, тем больше доходят до оплаты.
- Уведомления и повторные заходы. Текст и время push-уведомлений, сценарий возврата пользователя. Влияет не на разовую покупку, а на то, вернётся ли человек в приложение.
Техническая особенность приложений в том, что новую версию экрана не обязательно выпускать через обновление в сторах. Второй вариант выкатывается через переключатель функций (feature-флаг) — специальный тумблер, который включает изменение для части пользователей без нового релиза. Если приложение только предстоит создать, стоит заранее заложить такую возможность экспериментов: это часть грамотной разработки приложения для интернет-магазина.
Что тестировать на сайте
На сайте интернет-магазина логика та же, но набор типичных зон для тестов свой:
- Первый экран лендинга и главной. Заголовок, ключевое предложение, изображение, расположение кнопки. Первый экран определяет, останется посетитель на странице или уйдёт.
- Форма заявки или регистрации. Число полей, порядок их заполнения, формулировка кнопки отправки. Каждое лишнее поле снижает долю заполнивших форму.
- Карточка товара и каталог. Способ показа цены и наличия, фильтры, кнопка добавления в корзину, блок сопутствующих товаров.
- Оформление заказа. Возможность купить без регистрации, число шагов, наглядность стоимости доставки и итоговой суммы. Здесь теряется значимая часть пользователей, уже готовых заплатить.
Чем тест на сайте отличается от теста в приложении
Сам принцип совпадает: две версии, случайное деление пользователей, сравнение по конверсии. Отличается техническая сторона. На сайте варианты чаще раздаются на стороне сервера или через инструмент экспериментов, в приложении второй вариант включается переключателем функций. Для бизнеса вывод один: тестировать можно и сайт, и приложение, а способ подбирается под продукт. Когда сайт и приложение работают на единой основе — например, при разработке сайта и приложения на одной кодовой базе — часть данных для экспериментов доступна по обоим каналам сразу.
| Зона | В приложении | На сайте |
|---|---|---|
| Знакомство | Первый экран, онбординг, запрос уведомлений | Первый экран лендинга и главной |
| Целевое действие | Кнопка «В корзину» / «Купить» | Кнопка отправки формы, добавления в корзину |
| Выбор товара | Карточка товара | Карточка товара и каталог с фильтрами |
| Покупка | Оформление заказа и оплата | Оформление заказа, покупка без регистрации |
| Как раздаётся вариант B | Переключатель функций, без релиза в сторах | На стороне сервера или через инструмент экспериментов |
Как сформулировать гипотезу
Тест начинается не с интерфейса, а с гипотезы. Гипотеза — это предположение о том, что и зачем меняем и какого результата ждём. Без неё тест превращается в «поменяем и посмотрим», и по итогу нечего измерить.
Из чего состоит рабочая гипотеза
Хорошая гипотеза связывает три вещи: конкретное изменение, метрику и ожидаемый эффект. Формулировка укладывается в одно предложение по образцу «если изменить X, то метрика Y вырастет, потому что причина Z».
- Изменение. Что именно правим — одно понятное изменение, а не десять сразу. Например, убрать обязательную регистрацию на шаге оплаты.
- Метрика. На какое число смотрим. Например, доля пользователей, дошедших до оплаты.
- Ожидание и причина. Почему изменение должно сработать. Например, потому что часть пользователей уходит, увидев требование зарегистрироваться.
Собранное вместе это звучит так: «Если убрать обязательную регистрацию в оформлении заказа, доля дошедших до оплаты вырастет, потому что часть пользователей отказывается регистрироваться». Такую гипотезу тест либо подтвердит цифрами, либо опровергнет — и оба исхода полезны.
Как приоритизировать гипотезы
Гипотез обычно набирается больше, чем можно проверить за раз. Порядок задаёт сравнение по трём вопросам: насколько сильно изменение повлияет на результат, сколько пользователей его увидят и сколько усилий на него уйдёт. Первыми идут гипотезы с большим влиянием и охватом при разумных затратах, а на страницах и экранах с самым большим потоком пользователей результат приходит быстрее. Откуда брать гипотезы, если их пока нет, разберём в блоке про аудит.
Как проходит A/B-тест: этапы
Работа идёт итерациями. Один цикл — это путь от идеи до подтверждённого цифрами вывода, а затем в работу берётся следующая гипотеза. Внутри цикла пять шагов.
Гипотеза
Что происходит: формулируют, что и зачем меняют и какой метрики ждут. Гипотеза всегда привязана к конкретной метрике — иначе результат нечем измерить.
Сегменты пользователей
Что происходит: пользователей делят на группы. Одна видит текущий вариант, другая — изменённый. Группы формируются случайно и одновременно, чтобы на результат не влияли день недели, акции, канал трафика или тип устройства.
Метрики
Что происходит: фиксируют поведение обеих групп и считают целевое действие — долю дошедших до корзины, заявки, оформления, оплаты. Параллельно смотрят на промежуточные шаги воронки, чтобы понять, где именно меняется поведение.
Срок и размер выборки
Что происходит: заранее оценивают текущий поток пользователей и рассчитывают, сколько их должно пройти через тест и за какой срок. Тест не останавливают в первый же день, когда одна из групп «вырвалась вперёд»: на малой выборке разница часто оказывается случайной.
Статистическая значимость и внедрение
Что происходит: ждут, пока разница между вариантами станет статистически значимой — то есть пока не появится уверенность, что результат не случаен и не связан с малой выборкой. После этого победивший вариант выкатывают на всех пользователей и берут следующую гипотезу.
Есть работающий продукт, но конверсия не растёт, а гипотез пока нет? Разумный первый шаг — аудит мобильного приложения: он покажет, где теряется конверсия, и даст список гипотез для A/B-тестов. Оценить отдельно интерфейс приложения или сайта поможет аудит UX/UI.
Аудит и A/B-тест: чем отличаются и как работают вместе
Это две разные, но связанные задачи. Аудит находит проблемные места и предлагает гипотезы, A/B-тест проверяет их на пользователях.
| Параметр | Аудит UX/UI | A/B-тест |
|---|---|---|
| Отвечает на вопрос | Что менять и почему | Сработало ли изменение |
| Результат | Список гипотез и приоритетов | Подтверждённый цифрами вариант |
| Нужен ли поток пользователей | Нет, работает экспертная оценка | Да, тест идёт на реальных пользователях |
| Когда выбрать | Непонятно, где теряется конверсия | Есть гипотезы и поток пользователей |
Готовите новый интерфейс и хотите проверить его на пользователях? Соберите гипотезы через разработку UX/UI-дизайна приложения и сайта, а проверку возьмёт на себя A/B-тестирование приложений и сайтов.
Типичные ошибки A/B-тестирования
Большинство неудачных тестов ломаются не на интерфейсе, а на методике. Разложим частые ошибки по трём стадиям.
Ошибки в подготовке
- Тест без метрики. Меняют экран, не решив заранее, какое число считать успехом. По итогу вариант «нравится больше», но подтвердить это нечем.
- Несколько изменений сразу. В одном варианте разом правят заголовок, картинку и кнопку. Если конверсия изменилась, непонятно, что именно сработало.
Ошибки в проведении
- Ранняя остановка. Тест выключают, как только одна группа вырвалась вперёд. На малой выборке такой отрыв часто случаен и на следующий день пропадает.
- Группы в разное время. Сначала показывают вариант A, через неделю — B. Тогда на результат влияют сезон, акции и рекламные кампании, а не само изменение.
- Слишком мало пользователей. Тест запускают там, где поток настолько маленький, что значимой разницы не набрать за разумный срок.
Ошибки в интерпретации
- Значимость путают с величиной. Разница статистически значима, но в деньгах ничтожна — а её выдают за прорыв.
- Локальный выигрыш ценой воронки. Больше людей нажали кнопку, но до оплаты дошло меньше. Смотреть надо на итоговое целевое действие, а не только на промежуточный шаг.
- Забывают про удержание. Изменение подняло разовую покупку, но снизило возвраты пользователей. Такой результат стоит проверять и на удержании, а не только на конверсии одного визита.
Сколько стоит A/B-тестирование
У A/B-тестирования нет единого прайса, потому что это не разовая покупка, а регулярная работа над конверсией. Стоимость складывается из нескольких факторов.
- Поток пользователей. Чем он больше, тем скорее набирается выборка и тем быстрее закрывается каждая гипотеза.
- Число и сложность гипотез. Мелкая правка кнопки и переработка целого сценария оформления заказа стоят по-разному.
- Техническая обвязка. Есть ли уже аналитика и инструменты экспериментов, или их нужно подключать с нуля.
- Стек продукта. На каком решении работают сайт и приложение и насколько к ним есть доступ. Для стороннего кода разобраться в устройстве помогает аудит кода.
В FITTIN A/B-тестирование ведётся итерациями: каждый рабочий отрезок закрывает одну–две гипотезы и заканчивается выводом, подтверждённым цифрами. Оплата — по факту отработанных часов (Time & Materials), со сметой и оценкой по часам перед стартом задачи; остановиться можно после любой итерации. Сколько стоит A/B-тестирование приложения и сайта и как устроена работа, подробно разобрано на странице услуги A/B-тестирования. Прикинуть бюджет смежных задач по продукту удобно на калькуляторе.
Итог: A/B-тест на одной странице
A/B-тестирование — рабочий способ развивать конверсию сайта и приложения без догадок: две версии, живой трафик, решение по цифрам. Коротко, что стоит запомнить.
| Вопрос | Короткий ответ |
|---|---|
| Что это | Сравнение двух версий интерфейса (A и B) на реальных пользователях по конверсии. То же — сплит-тест. |
| Зачем | Рост продаж без роста трафика, решения на данных, меньше риска при изменениях. |
| Что тестировать | Первый экран, кнопку целевого действия, карточку товара, форму и оформление заказа — в приложении и на сайте. |
| С чего начать | С гипотезы: изменение → метрика → ожидание. Гипотезы даёт аудит. |
| Как считать результат | Дождаться статистической значимости, смотреть на итоговое целевое действие и удержание. |
Что делать дальше
- Хотите проверять гипотезы на пользователях. Опишите продукт на странице услуги A/B-тестирования — предложим первые гипотезы и оценку работы.
- Пока непонятно, что тестировать. Начните с аудита приложения или аудита UX/UI — они дадут список приоритетных гипотез.
- Продукт ещё не создан. Заложите возможность экспериментов сразу: посмотрите приложение для интернет-магазина и сайт интернет-магазина, а объём работ опишет разработка технического задания.
Часть гипотез удобно закрывать не только тестами интерфейса, но и игровыми механиками, которые повышают вовлечённость и повторные заходы. А если нужно быстро проверить саму идею продукта на небольшой аудитории, для этого подходит разработка MVP.
Часто задаваемые вопросы
Что такое A/B-тестирование простыми словами?
Это способ проверить изменение интерфейса на реальных пользователях. Одна группа видит текущий вариант страницы или экрана (A), другая — изменённый (B). Система считает, в какой группе больше пользователей дошло до целевого действия — покупки, заявки, регистрации, оформления заказа. В работе остаётся вариант, который приносит больше целевых действий. Это же часто называют сплит-тестированием.
Чем A/B-тест на сайте отличается от теста в приложении?
Логика одна: две версии, сравнение по конверсии. Разница в технике. На сайте варианты чаще раздаются на стороне сервера или через инструмент экспериментов, и изменение видно пользователю при загрузке страницы. В приложении второй вариант выкатывается через переключатель функций (feature-флаг), без нового релиза в сторах и без ожидания, пока пользователь обновит приложение.
Сколько трафика нужно для A/B-теста?
Чем больше пользователей проходит через тестируемую страницу или экран, тем скорее набирается достаточная выборка. Перед стартом оценивают текущий поток и рассчитывают, за какой срок разница между вариантами станет статистически значимой. Если пользователей немного, тест начинают с мест, через которые проходят все, — с первого экрана и оформления заказа.
Чем A/B-тестирование отличается от аудита UX/UI?
Аудит UX/UI показывает, где в пользовательском пути теряется конверсия, и даёт список гипотез — что стоит изменить. A/B-тест проверяет эти гипотезы на реальных пользователях и подтверждает цифрами, какое из изменений повышает конверсию. Аудит отвечает на вопрос «что менять», A/B-тест — «сработало ли изменение».
Как долго идёт один A/B-тест?
Тест идёт до тех пор, пока разница между вариантами не станет статистически значимой — то есть пока не появится уверенность, что результат не случаен. На страницах и экранах с большим потоком пользователей это занимает несколько дней, на узких сценариях — дольше. Точный ориентир называют после оценки текущего потока пользователей.
Какие метрики измеряет A/B-тест?
Основная метрика — конверсия, то есть доля пользователей, дошедших до целевого действия: добавления в корзину, оформления заказа, оплаты, отправки формы, регистрации. Дополнительно смотрят на промежуточные шаги воронки, чтобы понять, на каком экране или странице пользователи уходят, и на удержание — возвращаются ли пользователи после изменения.
Можно ли тестировать сайт или приложение, сделанные другим подрядчиком?
Да. Для A/B-тестирования нужен доступ к аналитике и возможность выкатить второй вариант на часть пользователей. Если продукт написан другой командой, его устройство разбирают на этапе погружения в задачу и подключают инструменты экспериментов под конкретный стек — и на сайте, и в приложении. Взять сторонний продукт на развитие поможет техническая поддержка приложений.
Материал носит информационно-образовательный характер и отражает подход команды FITTIN на дату публикации (15 июля 2026).