Видавець найбільш читаних у світі наукових журналів JAMA зняв шість досліджень, опублікованих дієтологом Брайаном Вансінком. Будучи директором лабораторії харчових продуктів та брендів Корнельського університету, Вансінк опублікував ряд публікацій, які зробили його несподівано популярним.

відомий

Рада наглядачів університету Корнелла оголосила минулого четверга, що Wansink допустив наукові методологічні помилки і що його співпраця з Корнеллом закінчиться 30 червня 2019 року; він витратить свій залишковий термін на перегляд існуючих проектів.

Шахрайства не було, ми не подавали свідомо сфальсифікований звіт, не копіювали нікого, і не через необережність все склалося саме так. Я вірю, що мої висновки з часом будуть підтримані, розширені або змінені іншими дослідницькими групами.

Вансінк розповів Vox про інцидент.

Хто такий Брайан Вансінк?

Відміна досліджень Wansink стала скандалом, оскільки Wansink є всесвітньо відомим експертом у галузі харчування. Можливо, він ще не чув про це, але, мабуть, зустрів свої ідеї. Wansink опублікував сотні досліджень, процитованих понад двадцять тисяч разів. Від імені Білого дому він також брав участь у розробці Американських дієтичних рекомендацій між 2007 і 2009 роками. Його дві книги - «Бездумне харчування» і «Тонкий за дизайном» - стали бестселерами, і він був зірковим спікером на дієтичних конференціях. Оскільки він також брав участь у розробці рекомендацій USDA, його дослідження з питань харчування також мали соціально-політичний вплив - американські харчові компанії, наприклад, почали продавати солодощі та чіпси в менших упаковках під його впливом. Більше того, не лише уряд США, а й Google та американські військові закликали розробити правильні рекомендації щодо харчування.

Довіра до Вансінка була похитнута, коли дослідник опублікував допис у блозі в 2016 році (все ще видалений, але все ще доступний в заархівованій версії) під назвою The Student Student, який ніколи не говорив ні. Завдання викликало багато пилу завдяки професійним порадам та сумнівним методам дослідження.

Троє експертів - Нік Браун, Джордан Аная та Тім ван дер Зее - звернулися до Вансінка незабаром після публікації публікації, виявивши кілька помилок та невідповідностей у його чотирьох дослідженнях, цитованих у цій публікації. Спочатку Wansink також відповідав на їх електронні листи; він навіть підняв можливість дослідження у співавторстві. Після того, як дослідники дали зрозуміти, що хочуть переглянути дані, використані для цитованих досліджень, що могло призвести до помилкових висновків, Вансінк більше не відповідав на електронні листи.

Потім дослідники вирішили оприлюднити виявлені помилки. Досьє Wansink (яке з тих пір набуло поважних розмірів) містить деталі, в ході дослідження яких дослідник допускав професійні помилки і які твердження можуть бути необґрунтованими. Преса почала розглядати методологічні недоліки Wansink у лютому минулого року. Нарешті, слідча робота репортера Buzzfeed Стефані Лі дала остаточний поштовх до виявлення цих вад. Під час візиту до Food and Brand Lab Лі оглянув дослідження Wansink і виявив, що в результаті кількох випадків дослідження використовували ці дані.

Після цього професійного огляду вже не можна було уникнути. Врешті-решт було знято 13 досліджень Wansink, а також ті, про скасування яких було оголошено JAMA минулої середи. Серед них був і той, хто цим займався

У прес-релізі про скасування досліджень JAMA коротко зазначив, що Корнелл не міг надати достатньо матеріалів для забезпечення наукової обгрунтованості шести згадуваних досліджень, оскільки вони не мали доступу до даних, з яких працював Wansink. Це також означає, що

Теорії Вансінка можуть бути не безпідставними, але він не має достатньо наукових доказів, щоб підтвердити їх.

Однак представник Корнелла вважає, що Wansink робить кілька професійних помилок. Помилково повідомлені результати досліджень; були проблеми зі статистичною методологією; неправильно документував та зберігав дані досліджень; склав помилкові звіти про дані досліджень; і статистична методологія також була заперечуваною.

Але ця історія висвітлила недоліки не лише Wansink, але й академічної видавничої системи.

Wansink часто обирав галузі досліджень, з яких підозрювали, що ЗМІ також отримають дослідження з цього приводу. У дослідженні 2009 року він дійшов висновку, що легендарна кулінарна книга «Радість кулінарії» відповідальна за ожиріння Америки. Вансінк стверджував, що в останніх виданнях книги, яка виходила кількома виданнями з 1936 року і продана 18 мільйонами примірників, деякі рецепти містять більше калорій, ніж старіші версії. Для 18 класичних обраних рецептів Wansink спостерігав збільшення калорій на 35 відсотків. Але з ім’ям Вансінка також пов’язана відома теорія нижньої тарілки, яка передбачає, що люди ковтатимуть суп із автоматично наповненої тарілки без шийки.

Усі ці дослідження вкладаються в загальну картину, яку Вансінк думав про науку про харчування: фактори навколишнього середовища впливають на те, що, скільки і як ми їмо. Однак Вансінк обрав напрямки досліджень і працював із методологією, яка підтримувала його основні припущення.

Вансінк та двоє його колег Коллін. Р. Пейн та Девід Р. Просто опублікували у 2012 р. Спільне дослідження (Чи може брендинг покращити шкільний обід?) У 2012 р., В якому розглядалося питання реформування шкільного харчування. Згідно з їх дослідженнями, школярів можна звикнути до здорового харчування простими способами - наприклад, школяр вибере яблуко замість печива, якщо на нього наклеїть зображення Ельмо, відомого з вулиці Сезам.

Перші дослідження були проведені в 2008 році, але результати на той час були на волосся нижче статистичної межі похибки, що дало б наукову основу для висновку. Потім Wansink обернув-скрутив-відсортував дані, щоб отримати результат, який підтримує вихідний вираз. Це було досягнуто, беручи до уваги, крім школярів віком 8-11 років, маленьких дітей у дослідженні, які, очевидно, були більш електризовані наклейками Elmo, ніж нижчі студенти.

Вансінк використовував цей метод не раз, але саме тому надійність його досліджень почала ставити під сумнів.

Але що могло переконати одного з найвідоміших дієтологів у світі вдатися до таких сумнівних методів? Одна з причин полягає в тому, що багато людей намагаються зарекомендувати себе в науковому житті, обходячи систему наукових публікацій - як доводить приклад Вансінка, з успіхом.

Р-хакерство - саме таку назву отримали зловживання системою публікацій у науковому житті. З того факту, що він має окрему назву, вони могли здогадатися, що випадок Вансінка аж ніяк не унікальний - не стільки, що PLOS також опублікував дослідження про масштаби та наслідки p-хакінгу в науці.

У науковому житті "цінність" окремих дослідників визначається кількістю їх публікацій. Щоб вважатися визнаним вченим, потрібно багато публікувати в найпрестижніших наукових журналах світу. Однак публікація вимагає статистично значущих результатів. В назві p-злом p (як імовірність) позначає p-значення; це одиниця так званої статистичної значущості. Якщо сказати дуже просто, справа в тому

якщо р менше, ніж 0,05, результат є статистично значущим; чим менше значення р, тим більша ймовірність початкової гіпотези правильної.

Мета p-хакінгу - завжди мати значення p менше, ніж 0,05. Це також зараховується до P-злому, якщо дослідник зупиняє дослідження, якщо воно досягає межі .05. Дослідники, що працюють з великими обсягами даних, завжди ризикують перекрутити наявний набір даних, поки не помітять у них закономірності, яка могла б підтвердити гіпотезу. Але вам також не потрібно спотворювати дані так цілеспрямовано. Якщо ми маємо достатньо даних і проводимо достатньо аналізу, знайти питання кореляції - це лише питання часу.

Лі, який також мав доступ до електронних листів Вансінка, у своїй статті на цю тему писав, що Вансінк, замість того, щоб перевірити свої гіпотези та повідомити те, що він встановив, часто заохочував своїх підлеглих аналізувати дані, поки він не натрапить на, здавалося б, цікавий результат. Тобто він не займався жодною дослідницькою роботою, а перевів p-хакінг в режим бітурбо.

Лі сказав, що це було свідомо з боку дослідників. У період з 2008 по 2016 рік Вансінк та його команда дотримувались стратегії публікації хороших результатів, що представляють суспільний інтерес, у наукових журналах з менш суворими критеріями огляду, які потім були підібрані основними ЗМІ. Нана: Усі займаються дієтологією, зрештою, всі звикли їсти, і якщо вчений зі світовим ім’ям скаже, що наш раціон визначається цими та цими параметрами, всі звернуть на це увагу. Проблема з цим, однак, полягає в тому

ДОСЛІДЖЕННЯ, ЩО БУДУТЬ НА Р-ХАКІНГІ, МОЖЕ ЗНАТИ ВЧЕНОГО, АЛЕ МОЖЕ ЗНИЩИТИ ЦІЛУ НАУКУ.

Індивідуальні дослідження вважаються надійними, якщо їх результати відтворювані. Їх надійність важлива, оскільки в науковому житті важливі не тільки окремі дослідження, але й метааналіз на основі даних тисяч досліджень. Складні явища, такі як аналіз кліматичних змін, часто базуються на обробці тисяч досліджень, і якщо між ними існує лише один хак, це вже може спотворити всю картину.

У науковому житті існує метод самозахисту від таких публікацій: рецензування, тобто інститут рецензування. У цьому випадку результати дослідження будуть переглянуті іншими експертами в цій галузі, які можуть вирішити, чи можна опублікувати дослідження; чи потрібно вносити до нього певні виправлення чи зміни перед публікацією; або вам доведеться смітити все, як є. Не випадково вони почали організовувати рух, який хоче вигнати з наукового життя специфічні для Вансінка методи дослідження. Є кілька способів зробити це:

Остаточним рішенням було б, мабуть, лише змінити систему академічних видань. Якби наукове життя не винагороджувало кількість публікацій, можливо, могла б виникнути культура, в якій винагороджуються популярні дослідження, а не ті, що зроблені за неправильною методологією, але цінуються також експерименти, що проводяться по сліпому шляху. Наукове життя може створити менше зірок таким чином, але тисяча помилкових гіпотез все одно наблизить вас до істини, ніж одна публікація з неправильною методологією.

(Зображення обкладинки: Корнельська університетська лабораторія харчових продуктів та брендів)