Сьогодні вранці я подавився сніданком твітом від Луїса Гарікано, який вказує на цю статтю. В основному журналіст досягнув універсального впливу на ЗМІ, здійснивши RCT (рандомізоване контрольоване дослідження, тип методології, для використання якого вони щойно дали нагороду Принцеси Астурійської Естер Дуфло), який дійшов висновку, що вживання шоколаду прискорює наслідки схуднення з дієти з низьким вмістом вуглеводів.

науки-видовища

А вчора відбулося відкликання статті Science, в якій один із авторів, можливо, вигадав дані рандомізованого дослідження про вплив пропагандистів від дверей до дверей на підтримку позитивного голосування на референдумі про шлюби гомосексуалістів у Каліфорнії. . Есе стверджувало, що показує, що лише використання гомосексуальних пропагандистів може змінити думку співрозмовників у довгостроковій перспективі (більше трьох тижнів).

Це два різні випадки, але вони добре ілюструють, як працюють наука та засоби масової інформації, які існують небезпеки та як з ними можна боротися. Справа журналіста та шоколаду дуже цікава, тому що пастка витончена. Експеримент був фактично зроблений. Є дві групи лікування, які відповідно дотримуються дієти з низьким вмістом вуглеводів та дієти з низьким вмістом вуглеводів, де учасники також беруть плитку чорного шоколаду. І, звичайно, є контрольна група, яка не діє. Групи ефективно вибираються випадковим чином, і учасники тестують, щоб виключити діабет та інші небезпечні стани. Статистичний аналіз показав, що дві оброблені групи схудли (близько двох кілограм в обох випадках). Але той, хто зробив це з шоколадом, зробив це на 10% швидше і в кінці експерименту мав кращі дані про холестерин і самопочуття.

Хтось подумає, ну що трапиться, це наука, правда? Те, що журналіст хотів нас обдурити, нічого не доводить, результат такий, який він є. Ну ні, як він сам каже, він використав старий статистичний фокус. Якщо ви перевірите достатньо велику кількість гіпотез і поставите себе умовою, щоб підтримати гіпотезу, що вона є значною на рівні 5%, навряд чи існує істинних, якщо вони не є дещо незалежними (це змушує вас бути мінімально креативним у пошуку речей, які можна виміряти, але небагато іншого). Все інше було легко, він надіслав статтю до хижацького журналу (про який ми вже тут довго говорили), і, звісно, ​​вона була негайно опублікована. На що автор не розраховував, це те, що стільки журналістів отримало новину та надало їй значного відлуння, не витримавши достатньої кількості контрастів.

Уроки цієї справи зрозумілі. Перший - ви повинні бути набагато обережнішими з хижими журналами. Вони явно становлять ризик для науки. По-друге, нам потрібно бути більш ретельними у розробці рандомізованих досліджень. Ініціатива, якої все частіше дотримуються в медицині, і з того, що, як мені каже Маркос Віра, починає слідувати в економіці та психології, полягає в тому, що перед тим, як робити їх, зручно реєструвати тести, включаючи гіпотези, які потрібно перевірити, щоб максимально уникайте «лову результатів». І логічно, що журналісти повинні краще виконувати свою роботу. Якщо вони спеціалізуються на науці, вони повинні знати про це, і перед тим, як повідомити про відкриття, вони повинні звернутися до джерела.

Тут уроки також зрозумілі. Просто недопустимо, щоб дані будь-якої наукової статті були недоступні для спільноти для критичного вивчення. Усі серйозні економічні асоціації (іспанські, американські, британські, європейські, економетричні) вже мають суворі правила щодо доступу до даних.

Крім того, тиражування (або нереплікація) аналізів інших вчених повинно мати важливий професійний приз. Асоціація економічних наук, яка об'єднує експериментаторів в галузі економіки, створила другий журнал, крім свого успішного "Експериментальної економіки", який називається "Журнал Економічної наукової асоціації" з чіткою метою публікації "типів статей, які є важливими але вони все ще недостатньо представлені в експериментальній літературі (тобто репліки, незначні розширення, перевірка стійкості, мета-аналіз та хороші експериментальні конструкції, навіть із нульовими результатами ".