LДовільні рівні значущості визначаються перед обчисленням статистики контрасту, а необов'язкові рівні значущості залежать від значення, яке приймає статистика контрасту, і те, і інше залежить від розподілу, що супроводжується даними.
Іншими словами, довільні рівні значущості завжди будуть однаковими для різних значень тестової статистики, а необов'язкові рівні значущості будуть різними для різних значень тестової статистики.
Не довільний
Коли вказується на поняття, характеристика довільності означає, що цінність цієї концепції обирається дослідником. апріорі (до) проведення експерименту, не покладаючись на будь-яку пов’язану інформацію.
Значення Р та слони
Наприклад, припустимо, ми хочемо перевірити кількість слонів на лузі.
Перед тим, як побачити луг та слонів, які насправді існують, ми припускаємо апріорі кількість слонів. Ми говоримо, що тут може бути 10 слонів. Отже, ми йдемо на луг і підраховуємо кількість слонів, яку бачимо: 1, 2, 3, 4, 5, 6 і 7.
Наша нульова гіпотеза полягала в тому, що кількість слонів на лузі дорівнювала 10, а наша альтернативна гіпотеза полягала в тому, що їх було менше 10. Отже, враховуючи наявність слонів, ми б відкинули нульову гіпотезу. Але … Що, якщо на лузі є ще 3 слона, але вони заховані за деревами? Ми б відкинули нашу нульову гіпотезу, коли це могло б бути правдою, якби замість підрахунку слонів ми розрахували максимальну кількість слонів, яку може вмістити пасовище.
Аналіз
10 слонів, обраних на початку, були абсолютно довільними, тому що ми не бачили розміру лугу, а отже, ми не знаємо, багато чи мало 10 слонів.
З іншого боку, якщо, враховуючи розмір галявини, ми розрахуємо максимальну кількість слонів, яку вона вмістить, ми будемо знати, яке максимальне значення, щоб не відкинути нульової гіпотези. Тож знайти реальне число буде набагато простіше.
Порівняння
Те саме стосується рівнів значущості 1%, 5% та 10% порівняно з р-значенням. У багатьох контрастах ми вибираємо рівень значущості, не беручи до уваги будь-яку інформацію, крім розповсюдження. Зазвичай 5% використовується як рівень значущості (альфа), залишаючи 95% вибірки в межах довірчого інтервалу.
Проблема довільного присвоєння рівня значущості - та сама проблема, що і у нас із прикладом слона. Якщо ми вважаємо, що правильно застосовувати 5% (рівень значущості), ми можемо відхилити нульову гіпотезу, коли мінімум, який потрібно відхилити, становить 2% (значення p). Ми отримали б помилкові результати, просто встановивши 5% замість мінімального значення, яке буде відхилено (2%).
Іншими словами, ми робимо висновок, що на лузі менше 10 слонів, але насправді є ще 3 слона, але вони приховані. Отже, набагато швидше розрахувати, який максимальний чи мінімальний рівень значущості, для якого ми б не відкинули або відкинули б нульову гіпотезу.
Правило відхилення
Якщо значення - с < рівень значущості => відхилення H0.
Якщо значення - с > рівень значущості => Немає відхилення H0.