останні тижні

Google (буде) новим Gallup?

Згідно з блогом The New York Times, Google може бути новим Gallup. У міру того, як в Америці змінюються методи спілкування, змінюються і методи найточніших прогнозів виборів.

У випадку минулорічних виборів низка виборців, які працювали за допомогою онлайн-методів, досягла точних показників прогнозування. Деякі телефонні дослідження також дали хороші результати. Однак інші методи, особливо стаціонарні телефонні прийоми, забезпечували низьку ефективність та передбачали більше республіканської електроенергії, ніж було фактично виконано.

Аналіз The New York Times використовував метод оцінки виборчих фірм, який враховував не лише найсвіжіші показники передвиборчих виборів, але і попередні три повних тижні. Це пов’язано з тим, що деякі учасники опитування можуть намагатися показати результати, подібні до інших, до кінця кампанії, і з цією метою вони, як правило, змінюють свої методи та припущення в останню хвилину.

Приблизно два десятки компаній взяли участь в останніх 3 тижнях кампанії протягом приблизно п'ять у своєму дослідженні, включаючи опитування громадської думки штату та федерального рівня.

TIPP також був одним з найбільш результативних опитувальників, проводячи опитування на федеральному рівні для Investor’s Business Daily. Порівняно з іншими дослідженнями на федеральному рівні, результати прогнозували значне переважання демократів. Врешті-решт виявилось, що більшість опитувальників значно занизили шанси Обами, тому TIPP виявився дуже близьким до істини.

Відповідно до цього дослідження, які передбачають перевагу республіканців, пройшли довгий шлях.

Серед опитувань на базі телефону, які проводили значну кількість державних вимірювань, найкращі результати отримали CNN, Mellman та Grove Insight. Останні двоє провели дослідження від імені організацій, які зазнали ліберального впливу. Однак загалом дослідження недооцінило шанси Обами, тому заяви про демократичну перевагу були найближчими до істини.

Кілька хороших опитувальників дали особливо погані результати. Вдруге поспіль, після виборів 2010 року, звіти Расмуссена досягли поганих результатів та статистичної помилки у голосуванні республіканців, переоцінивши результати Ромні в середньому на чотири відсоткові пункти. Американська дослідницька група та Мейсон-Діксон також допустили значні помилки. Мейсон-Діксон може заслужити виправдання за те, що їхні довгострокові прогнози завжди точні, але Американська дослідницька група вже давно є ненадійним опитувальником.

Результати дослідницької групи Pharos не використовувались для оцінки опитувальних компаній, оскільки вони були визнані поверхневими, а перший чоловік компанії Стівен Лойхтман не зміг відповісти на скринінгові запитання, наприклад, про те, в якому кол-центрі компанія проводила дослідження. Результати Фароса виявилися неточними і показали статистичні помилки в голосуванні демократів.

І все-таки найгірші результати існування дав один з найбільш названих опитувальників. Наприкінці жовтня Галлап послідовно прогнозував перевагу Ромні на шість процентних пунктів серед виборців, яка значно відрізнялася від усіх інших досліджень. Остаточні результати Галлапа показали лише один відсотковий бал переваги Ромні, який уже був ближче до реальності, але все ж визначив переможеного на виборах. Для Галлапа цей поганий показник на виборах вже третій поспіль. Шанси Обами були завищені в 2008 році, тоді як ви завищили результати діяльності республіканців на виборах до Палати парламенту 2010 року.

На відміну від великих опитувальників, найбільш точних результатів досягли компанії, що працюють в Інтернеті.

Останній аналіз Google Consumer Surveys на федеральному рівні показав перемогу Обами на 2,3 процентних пункти, що було дуже близько до реальності, а реальний результат - 2,6 процентного пункту.

Ipsos, який проводив онлайн-дослідження для Reuters, також наблизився до реальних результатів, як і канадський дослідник Інтернету Ангус Рід. Інтернет-компанія YouGov також провела надійні дослідження.

Дослідження, проведене JZ Analytics, не було частиною оцінки, оскільки воно не вважалося доцільним, оскільки метод манив учасників до дослідження, а не випадково тестував їх. Відповідно, результати є більш неточними, ніж для більшості інтернет-компаній, проте в середньому можна вважати хорошими порівняно з іншими видами досліджень.

Аналіз був розширений до 90 виборців, які провели принаймні одне опитування, яке вимірювало певних виборців за останні три тижні кампанії. Можливо, не надто багато слід пояснювати у висновках дослідників, які провели лише одне чи два дослідження, які не підходять для вимірювання тенденцій. Проте огляд більш широкого кола дослідників, вивчення їх методів може допомогти нам з'ясувати, які методи є найбільш ефективними.

Дев'ять опитувальників, які провели деякі або всі свої вимірювання в Інтернеті, показали коефіцієнт помилок 2,1 в результаті виборів. Для порівняння, коефіцієнт помилок для компаній, що використовують телефонні методи, становить 3,5, а для так званих „роботопитань” - або 5,0 для автоматизованих сценаріїв. Традиційні методи голосової телефонної телефонії показали незначну перевагу республіканців, тоді як автоматизований метод продемонстрував значне праве домінування. (Навіть автоматизований метод опитування державної політики, який часто працює для ліберальних і демократичних клієнтів, часто виявляв незначну перевагу Ромні - більшу, ніж те, що насправді досяг політик). Цікаво, що онлайн-методи також передбачали незначну більшість республіканців.

Можливо, різниця між результатами телефонного зв'язку в реальному часі та автоматизованими методами полягає в тому, що технічні засоби прямого телефонного зв'язку націлені на мобільні телефони, окрім стаціонарних, на відміну від автоматизованих методів, до яких дуже мало хто може вдатися до цього (закони забороняють автоматичні дзвінки США на мобільні телефони).

Результати опитувань громадської думки та інших наукових досліджень свідчать про те, що методи, які не досягають мобільних телефонів, значно занизили результати діяльності демократичних кандидатів.

Приблизно третина виборців у США користуються лише стільниковими телефонами, і вони, як правило, молоді, міські, фінансово неблагополучні, часто чорні або латиноамериканці - ці характеристики ідеально підходять для пересічного демократичного виборця. Хоча зважування опитувань за демографічними характеристиками може збільшити репрезентативність вибірки, є все більше доказів того, що ці методи виправлення не усувають всі упередженості, оскільки в вибірці бракує такої кількості виборців.

Можливо, помилкою досліджень, що передбачають перевагу республіканців, може бути те, що Обама в останні тижні кампанії - напр. за часів урагану "Сенді" - зібрав значного прихильника, і дослідження вже не могли це врахувати.

Тим не менше, більшість досліджень, проведених за останні три тижні кампанії, вказували на 2 відсоткові пункти республіканської переваги, що більше, ніж можна пояснити. Більше того, дослідження кількості замовлених виборців показали ще більше домінування республіканців, ніж у 2010 році.

Якісні телефонні опитування завжди відіграватимуть важливу роль, включаючи дослідження New York Times чи інших провідних газет, які зможуть охопити якомога більше потенційних виборців, зробивши якомога більше дзвінків на стільникові телефони. Безсумнівно, збільшився попит на методи в Інтернеті, придатні для передачі легенд, яких телефон не робить (наприклад, молоді виборці). Деякі автоматизовані методи, що придумали інноваційні стратегії, також завершили успішний рік. Наприклад, SurveyUSA, який доповнив свої автоматизовані дзвінки на стаціонарні телефони реальними дзвінками на стільникові телефони в декількох штатах. Опитування за державною політикою використовує списки зареєстрованих виборців для підготовки його зразків, що може бути корисним у тому випадку, якщо важче дістатися до певних виборчих округів.

Окрім автоматичних дзвінків, Rasmussen Reports також використовує онлайн-панель. Погана робота компанії цього року свідчить про те, що їй потрібно переглянути свої методи. Принаймні вони мали уявлення про те, як процвітати в сучасному світі опитування. На відміну від цього, дослідники, які працюють лише із випадковими дзвінками на стаціонарні телефони або покладаються на методи, які існують десятки років, у сучасному світі вже не мають великих шансів.

Можливо, недалеко той день, коли Галлапа замінить Google як найвірогідніше ім'я в опитуванні.