Дослідження, опитування громадської думки та опитування покладаються на людей, які запитують щось, що намагається отримати модель поведінки або передбачити результат.

повинно

Але скільки людей потрібно запитати, щоб виявити, що вони мають якесь переконливе значення?

Перед кожними виборами ви завжди будете чути, як деякі політики, які ставлять під сумнів опитування, говорять: "Важливий лише один голос". зареєстрований для голосування.

Детальніше: Сім смертних гріхів статистичної неправильної інтерпретації та як їх уникнути

Однак опитування громадської думки корисні, оскільки вони можуть дати швидкий огляд намірів людей.

Використання малих вибірок з великих груп населення є дійсним статистичним методом для отримання точної інформації про ширшу популяцію за частку часу та вартості.

Це справедливо скрізь, де ми маємо велику чи важку для вимірювання популяцію.

Прикладами є контроль якості на виробничій лінії, підрахунок ягуарів у Перу та навіть опитування читачів розмов.

Наскільки великою повинна бути вибірка, щоб її результати були надійними? Це залежить.

Помилка помилки

Усі оцінки вибірки мають похибку, яка компенсує недоліки вибірки щодо сукупності. Наприклад, нещодавнє опитування новин дало лейбористам випередження коаліції на 2% на основі двопартійних переваг.

Інформаційне опитування стверджує, що 1728 людей брали участь у роботі з максимальною помилкою вибірки ± 2,4%. Це означає, що найбільшою достовірною перемогою лейбористів буде 4, 4% (2% плюс 2, 4%, рівень помилок), але також прийнятно, що він може програти 0, 4% (2% мінус 2, 4%).

На цій жорсткій установці ми хотіли б зменшити рівень помилок за рахунок збільшення обсягу вибірки. Але це буде дорого, тому що приріст точності зменшується для більших цифр. Для зменшення відхилення похибки до ± 2% знадобиться вибірка приблизно з 2400 осіб, а для зменшення до ± 1% - масова вибірка 9600.

Питання якості, а також кількості

Оцінки опитування та їх помилки є дійсними лише в тому випадку, якщо вибірка проведена правильно. Якщо вибірка є перекосною, то більші розміри вибірки, швидше за все, дадуть нам високу надійність щодо неточних оцінок.

Детальніше: Парадокси ймовірності та інші статистичні особливості

Зразки обстежень часто є перекошеними, оскільки вони суттєво відрізняються від сукупності. З 12,6 мільйона респондентів одностатеве опитування подружжя є гарним прикладом у 2017 році, оскільки воно явно перевершило людей старшого віку, які частіше поверталися до поштового опитування.

На щастя, у цьому випадку упередженість не підриває результату, який проголосував за рівність подружжя. Але оцінка 61, 6% на користь рівності подружжя, з невеликою помилкою 0, 03%, може не точно відображати думку австралійського населення.

Нерепрезентативні зразки також присутні в клінічних випробуваннях, оскільки пацієнти з високим ризиком часто виключаються з випробувань з міркувань безпеки.

Одне дослідження показало, що 94% людей з астмою будуть виключені з 17 основних клінічних випробувань, які використовувались для розробки рекомендацій для лікарів щодо лікування цього стану.

Це серйозна проблема, оскільки лікарі повинні давати поради всім своїм пацієнтам, але найкращі докази - результати досліджень, які використовували загалом здорових пацієнтів.

Подібним чином, уявіть, що ви намагаєтеся передбачити, як учасники Netflix або Stan оцінюватимуть фільми на основі рейтингів інших подібних підписників. Ці рейтинги, швидше за все, будуть спотворені, оскільки лише люди, яким подобається чи не подобається фільм, можуть йому заважати.

Це важливе питання, яке потрібно вирішити для розповсюджувачів онлайн-вмісту, щоб надати клієнтам точні рекомендації щодо фільмів.

Оскільки громадськість вважає хорошу вибірку?

Не існує простих правил для визначення правильного розміру вибірки. Більший, як правило, краще, але лише в тому випадку, якщо опитування було проведено добре.

Деякі дуже великі вибірки можуть використовувати недорогі інструменти збору даних, такі як Facebook, і тому можуть бути дуже перекошеними. Невеликі опитування, в яких брали участь лише 25 осіб, можуть бути розумними, особливо там, де докладено зусиль, щоб надати репрезентативну вибірку та переслідувати людей, які спочатку не реагують.

Австралійська рада з питань преси має керівні принципи щодо звітування про опитування громадської думки.

Де були знайдені учасники? Типовими є інтереси всього населення?

Скільки учасників відмовились відповісти? Якщо лише 10% людей відповіли, то це, мабуть, нетипова вибірка, яка має сильні почуття щодо предмета опитування. (Подумайте, на які опитування ви найімовірніше будете відповідати.)

Чи платили респонденти опитування? Оплата збільшить рівень відповіді, але також може вплинути на відповіді респондентів.

На жаль, ці дані часто відсутні у звітах ЗМІ та новинах про захоплюючі результати опитування, а також часто в опублікованих статтях.

Респондентів опитування також можна спрямувати на бажані відповіді. Наприклад, в опитуванні Nature, проведеному 1576 дослідниками щодо кризи відтворюваності, було задано питання:

Які з наведених тверджень про "кризу відтворюваності" в науковому співтоваристві погоджуються з ким ви погоджуєтесь?

i) Існує значна криза відтворюваності

ii) Існує легка криза відтворюваності

iii) Відсутність кризи відтворюваності

(iv) Я не знаю.

Більшість (52%) людей сказали велику кризу "так", 7% сказали "я не знаю" і лише 3% сказали "ні".

Детальніше: Регресія до середнього, або чому досконалість рідко триває

Це залишає питання про те, що мається на увазі під "легкою кризою", вироком 38% людей. Вони відповіли злегка, тому що їм близькі категорії "ні" чи "я не знаю", чи вони близькі до того, щоб вважати це значною кризою? Ми не можемо цього сказати.

Сенс тут полягає в тому, щоб дати людям два варіанти "так" і лише один варіант "ні". Однак це дослідження - і досі - повідомляється як вагоме свідчення кризи в науці.

Загалом, найкраще читати результати будь-якого опитування зі здоровим скептицизмом. Наше опитування двох статистиків, які написали цю статтю, показало 100% згоду з цим твердженням.