Цей калькулятор використовує Z-тест для двох пропорцій, щоб визначити, чи є різниця між коефіцієнтами конверсії у вашому A/B тесті статистично значущою.

Нульова Гіпотеза

У A/B тестуванні ми починаємо з нульової гіпотези (H0): немає різниці між коефіцієнтами конверсії контролю (A) та варіанту (B). Альтернативна гіпотеза (H1): різниця Є.

Статистична Значущість

Ми обчислюємо p-значення, яке представляє ймовірність спостереження різниці, якщо нульова гіпотеза була б істинною. Типові рівні достовірності:

• 90% достовірності (α = 0.10): Менш суворий, корисний для розвідувальних тестів
• 95% достовірності (α = 0.05): Галузевий стандарт для більшості тестів
• 99% достовірності (α = 0.01): Дуже суворий, використовується для важливих рішень

Проблема Передчасної Перевірки

Одна з найкритичніших проблем в A/B тестуванні - це 'підглядання' - перевірка результатів до досягнення заздалегідь визначеного розміру вибірки. Це різко збільшує частку хибнопозитивних результатів. Завжди визначайте розмір вибірки перед початком тесту.

Розмір Вибірки Важливий

Тест зі 100 відвідувачами на варіант навряд чи виявить невеликі різниці. Для виявлення відносного покращення на 5% з достовірністю 95% зазвичай потрібно понад 10 000 відвідувачів на варіант.