Что такое доверительный интервал в маркетинговых исследованиях

Опрос показал, что бренд знают 45% аудитории. Замер сделали не по всей аудитории, а по выборке из нескольких сотен человек, поэтому 45% — это оценка, а не точное значение. Доверительный интервал говорит, насколько эта оценка точна: вместо одной цифры он даёт диапазон, в котором с заданной уверенностью лежит настоящий показатель. Без него легко принять случайный разброс выборки за реальную картину рынка.

Что показывает доверительный интервал

Любое маркетинговое исследование измеряет не всю аудиторию, а её часть. Вы опросили 500 человек из миллиона, посчитали конверсию на тысяче визитов, замерили средний чек по выборке заказов. Итоговая цифра описывает выборку, а настоящее значение по всей аудитории остаётся неизвестным — его можно только оценить.

Одна цифра эту оценку огрубляет. Когда отчёт сообщает «узнаваемость бренда 45%», возникает ощущение точного факта. По другой выборке из той же аудитории вышло бы 43% или 47% — не потому, что рынок изменился, а потому, что в выборку попали другие люди. Насколько сильно результат гуляет от выборки к выборке, одна цифра не показывает.

Доверительный интервал показывает это прямо. Вместо «45%» он даёт диапазон — например, «от 42 до 48% с доверием 95%». Читается так: настоящая узнаваемость по всей аудитории, скорее всего, лежит где-то в этом коридоре, а 45% — самая вероятная точка внутри него. Ширина коридора — мера того, насколько можно доверять единственной цифре.

Для маркетинга разница принципиальная. Узнаваемость «45%» с интервалом от 42 до 48% — надёжный замер, по нему можно сравнивать периоды и ставить цели. Те же «45%», но с интервалом от 30 до 60% — почти бесполезная цифра: настоящее значение может быть и третью аудитории, и половиной. Внешне обе оценки выглядят одинаково, и только интервал показывает, какая из них чего стоит.

Погрешность и уровень доверия

У доверительного интервала два параметра, и без обоих он не имеет смысла: погрешность и уровень доверия.

Погрешность, или предельная ошибка, — это половина ширины интервала, то самое «плюс-минус». Когда говорят «45% с погрешностью 3 процентных пункта», интервал тянется от 42 до 48%. Погрешность в маркетинговых опросах почти всегда указывают в процентных пунктах, и смешивать их с процентами нельзя: 3 процентных пункта от результата 45% — это коридор 42–48%, а не изменение самого показателя на 3% в относительном смысле.

Уровень доверия — это надёжность метода, с которой построен интервал. Чаще всего берут 95%. Формулировка «интервал 42–48% с доверием 95%» означает не то, что настоящее значение попадает внутрь с вероятностью 95% (этот тонкий момент разберём отдельно), а то, что сам способ построения таких интервалов срабатывает в 95 случаях из 100.

Два параметра связаны. Чем выше уровень доверия, тем шире интервал: чтобы почти наверняка накрыть настоящее значение, коридор приходится расширять. Интервал с доверием 99% всегда шире, чем 95% на тех же данных, а 90% — уже. Более высокое доверие не делает оценку точнее, оно её размывает, поэтому гнаться за 99% ради «надёжности» смысла нет — вы просто получаете более широкий и менее полезный диапазон.

95% стал негласным стандартом не из-за особых свойств, а по договорённости — как рабочий баланс между надёжностью и шириной. В маркетинговых замерах его хватает почти всегда; более строгий уровень берут там, где цена ошибки высока и переделать решение трудно.

От чего зависит ширина интервала

Ширину интервала определяют два фактора: размер выборки и разброс данных. Остальное сводится к ним.

Размер выборки — главный рычаг. Чем больше людей вы опросили или чем больше визитов замерили, тем уже интервал и точнее оценка. На маленькой выборке случайность отдельных ответов сильно двигает результат, на большой — усредняется. Опрос 100 человек даёт грубую оценку с широким интервалом, опрос 1000 — заметно точнее.

Связь размера выборки с шириной интервала нелинейная, и это важно для планирования. Интервал сужается пропорционально корню из размера выборки, а не самому размеру. Чтобы сузить его вдвое, выборку нужно увеличить не в два раза, а вчетверо. Первая тысяча ответов убирает основную неопределённость, а следующая тысяча добавляет уже гораздо меньше точности — поэтому бесконечно наращивать выборку невыгодно.

Второй фактор — разброс данных внутри выборки. Чем сильнее ответы или значения расходятся между собой, тем шире интервал. Если средний чек у клиентов держится около 3 тыс. руб., оценка среднего выйдет точной; если чеки скачут от 500 руб. до 50 тыс. руб., тот же по объёму замер даст интервал шире, потому что данные менее однородны.

У долей разброс максимален около 50%. Оценка «половина аудитории знает бренд» несёт больше неопределённости, чем «5% знают бренд», при одной и той же выборке. Ближе к краям — к 0 или 100% — разброс меньше, и интервал уже. Поэтому расчёт нужной выборки обычно ведут для доли 50%, как для худшего случая: если данных хватает при 50%, хватит и при любой другой доле.

Как из выборки получается погрешность

Погрешность не берётся с потолка — её считают из размера выборки и разброса данных. Разбирать формулу целиком незачем, но понимать, откуда берётся число, полезно: тогда видно, почему одни замеры точнее других на первый взгляд похожих.

В основе лежит стандартная ошибка — величина, которая показывает, насколько сильно результат выборки в среднем отклоняется от настоящего значения. Для доли она тем больше, чем ближе доля к 50%, где разброс максимален, и тем меньше, чем крупнее выборка. Размер выборки входит в расчёт под корнем — отсюда и правило четырёх: чтобы вдвое уменьшить ошибку, выборку учетверяют.

Доверительный интервал строят как оценку плюс-минус примерно две стандартные ошибки — это и даёт привычные 95%. Точный множитель для 95% равен 1,96, но для прикидки в уме двойки достаточно.

Пройдём условный пример. Конверсия 45% на 1000 визитов. Стандартная ошибка для такой доли и выборки — около 1,6 процентного пункта. Умножаем примерно на два и получаем погрешность около 3 пунктов, а интервал — от 42 до 48%. Если бы визитов было 250, стандартная ошибка выросла бы вдвое, до 3,2 пункта, погрешность — до 6 пунктов, а интервал растянулся бы до 39–51%. Доля та же, но вчетверо меньшая выборка удвоила неопределённость. Тот же расчёт объясняет, почему замер редкой конверсии в 1–2% требует особенно много данных: доля мала, но и одна лишняя покупка на малой выборке сильно двигает результат.

Интервал для доли и для среднего

Доверительный интервал считают и для доли, и для среднего — двух самых частых величин в маркетинговых замерах. Логика одна, но данные и расчёт немного разные.

Интервал для доли

Доля — это процент от аудитории: конверсия, узнаваемость бренда, доля дочитавших письмо, процент выбравших вариант ответа. Здесь каждый человек либо попал в нужную группу, либо нет, а результат — их процент. Интервал для доли зависит от размера выборки и от самой доли: у значений около 50% он шире, у крайних — уже.

Именно с долями работают опросы и A/B-тесты, и для них чаще всего приводят готовые ориентиры вроде «выборка 1000 человек даёт погрешность около 3 процентных пунктов». Такие ориентиры всегда считают для доли, близкой к 50%, — то есть для самого широкого случая.

Интервал для среднего

Среднее — это средняя величина по выборке: средний чек, среднее время на сайте, среднее число заказов на клиента. Интервал для среднего зависит от размера выборки и от разброса значений вокруг среднего, который измеряют стандартным отклонением. Чем сильнее значения раскиданы, тем шире интервал.

Разница в данных, а не в идее. Для доли разброс задаётся самой долей и считается сам собой, для среднего его берут из фактического расхождения значений. Средний чек на сотне заказов с близкими суммами оценивается точнее, чем на сотне заказов, где рядом стоят покупки за 500 руб. и за 100 тыс. руб. При сильном разбросе одно крупное значение заметно двигает среднее, и интервал это учитывает.

На практике это меняет вывод. Средний чек «3 200 руб.» с интервалом 3 100–3 300 руб. — опора для планирования выручки; те же «3 200 руб.» с интервалом 2 400–4 000 руб. означают, что по такой выборке чек толком не измерен, и строить на нём прогноз рискованно. Сильно разбросанные величины вроде выручки на клиента почти всегда требуют большей выборки, чем ровные, — при равном числе наблюдений их интервал шире.

Как прочитать замер с погрешностью

Читать результат с интервалом просто, если держать в голове, что перед вами диапазон, а не точка.

Опрос сообщает: узнаваемость бренда 45%, погрешность ±3 процентных пункта, доверие 95%. Это значит, что настоящая узнаваемость по всей аудитории, скорее всего, лежит между 42 и 48%. Само число 45% — не окончательный факт, а центр диапазона. Планировать и сравнивать нужно с оглядкой на весь коридор.

Отсюда практическое правило: если два замера различаются меньше, чем на погрешность, разница ненадёжна. Узнаваемость выросла с 45 до 47% при погрешности ±3 пункта — это не рост, а колебание в пределах интервала. Настоящее значение и в первом, и во втором замере могло быть одним и тем же. Чтобы уверенно говорить о росте, разница должна заметно превышать погрешность обоих замеров.

Тот же счёт работает для конверсии. Лендинг за неделю собрал 300 визитов и 15 заявок — конверсия 5%. Погрешность на такой выборке около ±2,5 процентного пункта, то есть настоящая конверсия лежит примерно между 2,5 и 7,5%. Разброс двукратный, и объявлять «у нас конверсия 5%» как факт рано — по такой выборке она с равным правом и 3%, и 7%. Чтобы сузить интервал до терпимого, визитов нужно набрать в несколько раз больше.

Правило работает для любых замеров с выборкой: динамики узнаваемости от квартала к кварталу, разницы конверсий в тесте, доли сегмента в опросе. Пока разница меньше погрешности, её нельзя объявлять результатом — только поводом собрать больше данных.

Пример: как выборка влияет на точность

Покажем на условном примере, как одна и та же цифра меняет вес в зависимости от выборки. Числа взяты для наглядности, но ведут себя как настоящие.

Бренд-опрос показал узнаваемость 45%. Сначала его провели на выборке 100 человек. При таком размере погрешность для доли около 45% составляет примерно ±10 процентных пунктов при доверии 95%. Доверительный интервал тянется от 35 до 55%. Оценка почти бесполезна: настоящая узнаваемость может быть и чуть больше трети аудитории, и больше половины. Ставить по такому замеру цели или сравнивать его с прошлым кварталом нельзя.

Увеличим выборку до 400 человек. Погрешность падает примерно до ±5 процентных пунктов, интервал сжимается до 40–50%. Оценка стала пригодной для грубых сравнений, но для узнаваемости 40–50% — всё ещё широкий коридор: ближе результат к сорока или к пятидесяти, по нему не сказать.

Тот же опрос на выборке 1000 человек даёт совсем другую точность. Погрешность падает примерно до ±3 процентных пунктов, интервал сжимается до 42–48%. Теперь 45% — рабочая оценка: настоящее значение почти наверняка рядом, по нему можно ставить цели и отслеживать динамику.

Выборка выросла в десять раз, а погрешность упала примерно втрое — это та самая зависимость от корня: точность растёт медленнее, чем размер выборки. Результат «45%» в обоих случаях одинаковый, но на сотне человек это шум, а на тысяче — цифра, на которую можно опереться. Поэтому оценивать замер без учёта размера выборки бессмысленно: одна и та же доля значит разное на разных объёмах данных.

Как интервал связан со значимостью

Доверительный интервал и статистическая значимость отвечают на связанные вопросы, и через интервал значимость видно нагляднее. Когда сравнивают два варианта — две страницы в тесте, два сегмента, два периода, — у каждого есть своя оценка и свой интервал.

Грубый ориентир такой: если интервалы двух вариантов сильно перекрываются, их настоящие значения могут совпадать, и разница ненадёжна. Если интервалы не пересекаются вовсе, разница почти наверняка настоящая. Скажем, конверсия варианта A с интервалом 9–11% и варианта B с интервалом 13–15% не пересекается — преимущество B реально.

Точнее работает интервал самой разницы. Тест оценивает диапазоном не каждый вариант по отдельности, а разрыв между ними — например, «прирост от −1 до +7 процентных пунктов». Если этот интервал захватывает ноль, разница может оказаться и нулевой, и результат ненадёжен. Если весь интервал лежит выше нуля, разница есть, и по его границам видно, насколько крупной она может быть. Это тот же вывод, что даёт проверка значимости через p-value, только с наглядными числами вместо одного порогового.

В отчёте A/B-платформы это выглядит как строка вроде «прирост конверсии +2,1%, интервал от +0,3 до +3,9%». Раз обе границы положительные, ноль в интервал не попал — вариант выиграл, а на прирост меньше 0,3 пункта рассчитывать не стоит, это нижняя граница правдоподобного. Ушла бы нижняя граница в минус — и результат остался бы неопределённым, какой бы обнадёживающей ни выглядела центральная цифра.

Частые ошибки трактовки

Даже с калькулятором под рукой интервал легко прочитать неправильно, и большинство ошибок сводится к одному: диапазон принимают за точную гарантию, которой он не даёт. Разберём те, что стоят реальных денег.

«95%» — это про метод, а не про конкретный интервал

Самая тонкая ошибка — читать «доверие 95%» как «настоящее значение лежит внутри этого интервала с вероятностью 95%». Для конкретного посчитанного интервала это неверно: настоящее значение либо внутри него, либо снаружи, третьего нет, и никакой вероятности здесь уже не осталось.

95% относится к методу, а не к одному интервалу. Если много раз повторить замер на новых выборках и каждый раз строить интервал, примерно 95% таких интервалов накроют настоящее значение, а 5% промахнутся. Ваш единственный интервал — один из этой массы, и вы не знаете, попал он в удачные 95% или в неудачные 5%. На практике диапазон читают как ориентир, где значение вероятнее всего находится, но помнят, что железной гарантии на конкретный интервал он не даёт.

Перекрытие интервалов — слишком строгий признак

Сравнить два варианта по перекрытию их интервалов можно на глаз, но приём часто ошибается в одну сторону. Если интервалы не пересекаются, разница точно значима. Обратное неверно: интервалы могут немного перекрываться, а разница всё равно быть настоящей.

Причина в том, что интервал разницы уже, чем расстояние между краями двух отдельных интервалов. Поэтому лёгкое перекрытие ещё не означает отсутствие разницы. Когда интервалы задевают друг друга краями, вывод по ним делать нельзя — нужно смотреть на интервал самой разницы или на p-value. Отбрасывать различие только потому, что интервалы чуть пересеклись, — значит терять реальные эффекты.

Узкий интервал не спасает от смещённой выборки

Доверительный интервал учитывает только случайную ошибку выборки — разброс из-за того, что в неё попали конкретные люди. Он ничего не знает о смещении: если выборка собрана криво, интервал всё равно посчитается и может выйти узким, но вокруг неправильного центра.

Опрос только действующих клиентов о качестве сервиса даст высокую оценку с узким интервалом, но она не описывает всех, кто с брендом сталкивался, — недовольные уже ушли и в выборку не попали. Наводящие вопросы, низкий отклик, набор аудитории из одного канала тоже смещают результат, и никакой интервал этого не покажет. Узкий интервал говорит о точности, но не о правильности: сначала проверяют, что выборка репрезентативна, и только потом смотрят на погрешность.

Реакция на дневной шум как на тренд

Дашборды показывают точечные значения без интервалов, и это провоцирует реагировать на случайные колебания. Конверсия в понедельник 4,2%, во вторник 3,8% — и уже вопрос, что сломалось, хотя оба числа сидят внутри одного интервала и разошлись только из-за случайности маленькой дневной выборки. Реальный сдвиг виден лишь на данных, накопленных за срок, где визитов достаточно. Дневные и недельные скачки в пределах погрешности разбирать бесполезно — это тот же случайный разброс, ради отсева которого и нужен интервал.

Какая выборка нужна и чем её считать

Размер выборки под нужную погрешность считают заранее, а не подгоняют после замера. Для долей есть устойчивые ориентиры при доверии 95% и худшем случае — доле около 50%.

Числа условные, для доли около 50% и доверия 95%; у долей ближе к краям погрешность будет меньше при том же размере выборки.

В таблице видно правило корня: чтобы уменьшить погрешность вдвое — с 10 до 5 или с 4 до 2 пунктов, — выборку увеличивают вчетверо. Погрешности ±3 процентных пункта хватает для большинства маркетинговых опросов, и достигается она примерно на тысяче ответов. Гнаться за ±1 пунктом обычно невыгодно: выборку пришлось бы поднять почти до десяти тысяч ответов ради точности, которая на решения не влияет.

Порядок расчёта простой: выбираете уровень доверия, обычно 95%, задаёте допустимую погрешность исходя из того, какие различия вам нужно ловить, и получаете размер выборки. Если хотите уверенно замечать сдвиг узнаваемости в 3 пункта, погрешность должна быть заметно меньше — иначе реальный сдвиг утонет в интервале.

Отдельно считают выборку, когда результат режут на сегменты. Опрос на 1000 человек даёт погрешность ±3 пункта для всей аудитории, но разбейте его на пять групп по 200 человек, и в каждой погрешность подскочит примерно до ±7 пунктов. Поэтому выводы по мелким срезам — «в этом городе узнаваемость выше» — нередко держатся на паре десятков ответов и ничего не значат. Если сегменты для вас важны, выборку планируют так, чтобы данных хватало в каждом, а не только в сумме.

Считать интервал вручную не нужно. Формула для доли несложная, но в работе хватает готовых инструментов. Онлайн-калькуляторы доверительного интервала и размера выборки бесплатны: вводите размер выборки и наблюдаемую долю — получаете погрешность и границы интервала; или наоборот, задаёте нужную погрешность и получаете размер выборки. Специализированные платформы для A/B-тестов показывают доверительные интервалы вариантов и разницы прямо в отчёте.

В стандартной веб-аналитике готовых интервалов обычно нет. «Яндекс Метрика» и Google Analytics 4 показывают сами доли и средние — конверсию, среднее время, глубину просмотра, — а вот погрешность этих цифр приходится прикидывать отдельно, через калькулятор или по таблице выше. Помнить об этом стоит каждый раз, когда сегмент за неделю набрал мало визитов: доля в отчёте выглядит точной, но за ней прячется широкий интервал.

Вывод

Доверительный интервал превращает одну цифру замера в честный диапазон и показывает, насколько ей можно верить. Без него легко принять случайный разброс выборки за реальный сдвиг — и поставить цель или отменить кампанию по цифре, которая на деле ничего не значит. Ширину диапазона задают размер выборки и разброс данных, а сам интервал остаётся ориентиром: он подсказывает, где вероятнее всего настоящее значение, но не заменяет проверку того, что выборка вообще собрана правильно.