Потужність тесту гіпотези - це ймовірність того, що тест правильно відхиляє нульову гіпотезу. На потужність тесту гіпотези впливають обсяг вибірки, різниця, мінливість даних та рівень значимості тесту.
Якщо тест недостатньо потужний, ви можете не виявити ефект і помилково дійти висновку, що його немає. Якщо потужність тесту занадто висока, дуже малі та, можливо, неважливі ефекти можуть виявитися значними.
Жоден тест не є ідеальним, завжди існує можливість того, що результати тесту призводять до відхилення нульової гіпотези (H 0), коли вона насправді відповідає дійсності (помилка типу I), або не відхилення H 0, коли вона дійсно хибна (помилка тип II). Це пояснюється тим, що для того, щоб оцінити середні сукупності, ви повинні використовувати випадкові вибірки, і випадкові вибірки є саме такими, випадковими. Отже, завжди можна, щоб середнє значення вибірки сильно відрізнялося від середнього за сукупністю.
Наприклад, припустимо, що певна нормально розподілена сукупність має середнє значення (μ) 10 і стандартне відхилення (σ) 2. Цей розподіл вказує, що 95,44% значень у цій сукупності знаходяться між 6 і 14. Однак, завжди Ви можете навмання вибрати 10 спостережень і в кінцевому підсумку отримати середнє значення вибірки 4. З такою вибіркою ви не могли зробити висновок, що середнє значення сукупності насправді 10!
Звичайно, шанси отримати такий зразок неймовірно малі, хоча це все ще можливо. Помилка вибірки іноді може призвести до неправильного висновку. Хоча ви не можете знати, коли це відбудеться, ви можете оцінити, як часто це відбуватиметься. Ось тут сила вступає в силу.
Наприклад, припустимо, ви проводите 1-зразок t-тесту, щоб визначити, чи відрізняється середній обсяг продукту, розлитого у флакони з шампунем на вашому заводі, від цільового обсягу 8 унцій. Ви вирішили взяти випадкову вибірку з 10 пляшок. Якщо μ дійсно дорівнює 7,5 унції. (пляшки наповнюються на 0,5 унції менше, ніж очікувалося), а σ насправді 0,43 унції, тому тест має потужність 0,9039.
Значення потужності 0,9039 означає, що якщо ви вирішите повторити експеримент багато разів (з новою випадковою вибіркою кожного разу), приблизно 90,39% випадків, ви в кінцевому підсумку правильно відхилите нульову гіпотезу. У решту 9,61% випадків помилка вибірки призведе до того, що ви не відкинете H 0, хоча вона насправді хибна. Звичайно, навряд чи ви будете тестувати більше одного разу, але добре знати, що шанси отримати оманливий зразок відносно низькі.