THEz у попередньому розділі ми вивчили основи найважливішого методу лікування випадкових коливань, що впливають на результат усіх медичних досліджень. Ми побачили, що він використовує якусь зворотну логіку: він не дає відповіді, наскільки ймовірно, що препарат насправді неефективний у світлі результатів наших досліджень, але що якби він був насправді неефективним, ми, швидше за все, отримали б такий результат, який ми насправді отримали. Однак ця інверсія може спричинити серйозні непорозуміння - і ця помилкова думка тут далеко не знайдена.
Попередній розділ можна прочитати тут
Ми ніколи не можемо прийняти чіткого рішення через випадкові коливання: навіть якщо препарат виявляється ефективним у дослідженнях, завжди існує ймовірність того, що він насправді не діє, нам просто не пощастило через випадкові коливання (як звичайна монета може мати 10 - ми викидаємо з нього 10 голів - щонайбільше малоймовірно). Для того, щоб узагалі прийняти рішення, ми повинні десь провести межу: якщо ця ймовірність дуже мала, тоді (припускаючи, що ми можемо з нею помилитися) ми говоримо, що «препарат, безумовно, діє» - хоча сказана мала ймовірність просто належить насправді Отже, не варто. Проте ми говоримо, що він діє: отже, ця невелика ймовірність буде ймовірністю того, що неефективний препарат називається ефективним. Там нещодавно ми перестали коригувати це значення до 5% відповідно до загальновживаної сьогодні норми: ми коригуємо свою жорсткість, кажучи, що він ефективний у випадку неефективного препарату. (Це може бути знижено, але це збільшить ймовірність того, що ефективні ліки не будуть зареєстровані.)
Після цього короткого повторення, давайте тепер побачимо, яка найпоширеніша помилка думки згадується у зв'язку з цим.!
Почнемо з, здавалося б, абсолютно нерозрізаної загадки! (Справжнє запитання: шановний читачу, теж сміливо здогадуйся! Насправді цікавим є те, що виходить, коли хтось не “науково” виводить, а відповідає, не замислюючись, з кишечника.) Уявіть собі місто, в якому живе 1 мільйон людей, у тому числі 100 розшукуваних злочинців (більш драматична версія: терористична). Місто встановить систему камер, засновану на базі даних, що кружляє, з автоматичним розпізнаванням облич для пошуку терористів. Ця система розпізнавання обличчя працює дуже добре: якщо терорист потрапляє в картину, вони на 99% можуть сказати, що вони терористи, а якщо невинний входить в картину, вони на 99% можуть сказати, що вони невинні. Питання в тому, що він заходить у камеру в образі людини і з’являється під написом, що він терорист. Яка ймовірність того, що наша система камер з точністю 99% добре вгадується, тобто те, про кого йде мова, насправді є терористом?
А тепер, пані та панове, будь ласка, зробіть ставку!
Більшість людей здогадуються про цифри 90-95% і більше; найпоширеніший - 99% - тож ми сказали, що камера настільки точна, у чому тут питання? Однак ця відповідь абсолютно помилкова. Насправді ймовірність того, що людина справді є терористом, коли машина оголошена терористичною, насправді становить менше 1%!
Багато забувають, що з 1 мільйона населення є лише 100 терористів. «Основна частота» терористів невелика, це означає ймовірність того, що особа, що стоїть перед камерою, стане терористом безпосередньо перед тим, як ми навіть подивимося, що виписала машина. У технічному плані апріорна ймовірність того, що людина є терористом, дуже мала, лише 100/1 мільйон. (Приор на латинській мові робить це: попередньо; це, у значенні „попередня ймовірність“, - це ймовірність того, що особа є терористом до збору інформації, в даному випадку переглядаючи посвідчення, надруковані машиною.)
Проблема полягає в тому, що коли машина вказує на те, що вона бачить терориста, у переважній більшості випадків це буде не тому, що справжній терорист увійшов і правильно визначив програмне забезпечення, а тому, що невинний увійшов у картину і допустив помилку. його як терориста. Це правда, що останній має ймовірність лише 1 відсоток, але перед камерою буде ходити стільки, багато, багато, багато невинних, що навіть 1% з них означатиме набагато більше людей, ніж просто 100 терористів.% - . Ми також можемо оцінити річ кількісно. Уявіть, що ви відправляєте кожного мешканця перед камерою: 1% з 999 900 невинних подають 9999 (помилкових) терористичних сигналів, 99% із 100 терористів подають 99 (правильних) сигналів, тобто люди, класифіковані як терористи, лише 99/(99 + 9999 ) = 0,98% насправді будуть терористами - це відповідь на питання! Логіка цього розрахунку називається теоремою Байєса в математиці.
У чому причина зовсім іншої реакції серед 99%? Що ми перевернули питання! Ми не запитували, зважаючи на те, що хтось є терористом, наскільки ймовірним є його класифікація (це 99%), але з огляду на те, що вони визнали когось терористом, наскільки вони справді є. Що, в свою чергу, вже не на 99%! Таким чином, теорема Байєса дозволяє нам змінити такі умовні ймовірності - але для цього також потрібна попередня ймовірність.
Варто зазначити, що 0,98% зазвичай називають задньою ймовірністю бути терористом: 100/1 мільйон - це ймовірність до вивчення інформації про систему розпізнавання обличчя, а 0,98% - після неї. Якщо ми подивимось на це так, то застосування теореми Байєса дозволило включити інформацію до ймовірності: ми змогли точно визначити, як інформація, яку машина виписала як терорист, змінює ймовірність бути терористом. Звичайно, на цьому справа не повинна закінчуватися: можна використовувати, скажімо, сканер для виявлення бомби після розпізнавання зображення, з цієї точки зору 0,98% буде попередньою ймовірністю! Потім, у світлі результату пошуку бомби, він буде збільшуватися або зменшуватися тощо. Таким чином, процедура Байєса дозволяє постійно оновлювати ймовірність на основі наявної інформації.
Той, хто вгадав 99% або подібне значення, таким чином по суті ігнорував попередню ймовірність, тобто базову частоту. Це загальна помилка думки, на яку є незліченна кількість інших прикладів, подібних наведеному вище. Перш ніж ми перейдемо до нашої поточної теми, апарату для боротьби з випадковими коливаннями, згадаємо ще один із цих прикладів, оскільки він одночасно і медичний, і захоплюючий - це не що інше, як діагностика.!
Якщо хтось подивиться на колишній приклад таким оком, то, мабуть, дуже скоро побачить зв’язки. Мешканці - це люди, терористи - це хворі люди, камера є нашим діагностичним методом, і нарешті терористи, тобто вихідна частота пацієнтів серед населення - 100/1 мільйони - хоча це не більше ніж Поширеність захворювання, лікарі називають це поширеністю. Ймовірність того, що камера повідомляє терористу, що він терорист, є не що інше, як імовірність того, що наш діагностичний тест виявить хворобу у хворої людини, яку лікарі часто називають чутливістю або чутливістю тесту. Інші 99% - це те, наскільки ймовірно, що камера скаже невинному, що він чи вона невинна (ймовірність того, що за результатами тесту здорову людину класифікують як здорову), хоча специфічність або специфічність.
То що нам говорить попередній приклад, коли ми дивимось на нього таким оком? Той факт, що якщо хвороба є рідкісною, навіть за допомогою дуже чудового тесту - з 99% чутливістю та 99% специфічністю, це правда, що позитивний висновок означає лише те, що ми менше 1%, ймовірно, справді хворі!
Це, мабуть, має далекосяжні наслідки при розробці скринінгових програм охорони здоров'я, наприклад: якщо ми спробуємо обстежити таку рідкісну хворобу, навіть використовуючи інакше відмінний тест, буде правдою, що більше 99% людей, класифікованих як хворі, не є насправді хворий! (Це слід враховувати при розробці скринінгів, оскільки класифікація пацієнта, як правило, передбачає додаткові, іноді більш небезпечні або дорогі обстеження та створює психічне навантаження на обстежуваного.)
Звичайно, включення нової інформації спрацьовує і тут - низка тестів може постійно уточнювати ймовірність, наприклад, якщо лабораторія дівчинки стане позитивною, це може катапультувати діагноз інфаркту на перше місце у списку потенційних діагнозів . Але можна придумати не лише ці тести: це ще й своєрідний діагностичний метод для того, щоб лікар оглянув пацієнта або навіть просто запитав у неї щось - наприклад, виявляється, що в сім’ї дівчинки було кілька недоношених серцевих захворювань смерті. Лікар поставить діагноз, дотримуючись цих кроків, навіть якщо він не визначений кількісно у вашому мозку (хоча багато разів це було б надзвичайно корисно!).
У цей момент ідея приходить до себе: чому б нам не автоматизувати все це? Зрештою, це цілком можливо на машині, тут вам навіть не потрібен лікар! У величезній базі даних ми зберігаємо, з одного боку, ймовірність того, що кожна хвороба може спричинити даний симптом або результат тесту (це в основному медична, біологічна проблема, тому вона цілком стабільна), а з іншого боку, як часто кожна хвороба є попередня ймовірність (це час і кількість населення може відрізнятися) і все. Звідси комп’ютер виконує множення, друкує результат, вибирає найбільш вірогідний діагноз як найкращий, і ми закінчили!
Ідея не така пригнічена, як це звучить спочатку; вони також експериментували з такими системами приблизно з 1970-х років. Основна проблема полягає в тому, що насправді нам не потрібно розглядати жоден симптом. Наприклад, якщо може боліти не тільки голова пацієнта, але і живіт, то нам потрібно зберігати вже не одну ймовірність, а три. Якщо у нас є три симптоми, нам потрібно зберігати сім ймовірностей тощо, тоді як насправді можливі сотні чи навіть тисячі симптомів, особливо якщо це включає історію хвороби, дані тестів, результати тестів. Кількість ймовірностей для лікування вже становить тисячу квадрильйонів (описується як тридцять одна цифра) для 100 симптомів, і тоді ми навіть припустили, що всі наші симптоми були двійковими.
Якщо ми не усвідомлюємо, наскільки все це зрозуміліше, якщо ми це сфотографуємо! Намалюйте точки, вони повинні позначати хвороби, симптоми, фактори ризику (для простоти нехай усі вони зараз будуть двійковими: існувати чи ні), і проведіть між ними стрілки, щоб показати, що на що безпосередньо впливає. Будуть точки, куди не біжить жодна стрілка - вони ні від чого не залежать, ми просто повинні записати, наскільки ймовірно, що вони встануть. У якій точці біжить стрілка або стрілки, ймовірність існування залежить від точок, звідки стрілки надходять (називаються батьками), тому там нам потрібно написати невелику таблицю, що дає можливу ймовірність точки для всіх можливих комбінацій батьківського вузли, якщо батьки мають певне значення. Це зазвичай називають байєсовою сіткою, і на малюнку 1 наведено приклад.
Рисунок 1: Байєсова мережа простої системи дихальної діагностики (приклад Вігерінка, Бургера та Каппена). Забарвлення не має обчислювального значення, воно лише групує точки: блідо-блакитний для симптомів, зелений для хвороб, червоний для факторів ризику. У таблицях слово перед вертикальним рядком показує, яка дана ймовірність, а після рядка - за якої умови.
Кислий перець байєсівських сіток дається відступами стрілок для опису умов незалежності. Більш конкретно, слід виконати, що вузол може залежати лише від своїх батьків та точок, до яких можна отримати доступ із нього за допомогою стрілок - але не від інших. Що фантастичне в цьому, так це те, що якщо ми це зробимо, усі ймовірності можна обчислити з кількох ймовірностей поруч з балами! Наприклад, у випадку, показаному на малюнку, для повного опису потрібно буде ввести більше 2000 ймовірностей, тоді як у байєсівській сітці є лише 33. І все ж із цих 33 всі 2000 є обчислюваними - для цього потрібна була незалежність, що байєсівська мережа надає дуже корисне подання.
Але яка користь від усього цього? Початкові системи медичних експертів були діагностичними: вони містили правила, що ведуть від спостережень до причин, «якщо пацієнт кашляє, у нього така ймовірність бронхіту». Цікаво, що хоча це здається очевидним, незабаром стало ясно, що це було неправильно. Хороша експертна система повинна встановити причинно-наслідкові правила, які призводять до спостережень з причин: «якщо у пацієнта бронхіт, у нього така ймовірність кашляти». Їх зазвичай називають експертними системами, заснованими на моделях - байєсівська сітка відповідає цій філософії. Діагностичні правила менш стабільні (якщо спалахне епідемія, цілий набір правил трансформується), зазвичай потрібно більше діагностичних правил, і їхні ймовірності часто визначаються менш легко, а у великих системах ймовірності іноді присвоюються неприродним залежностям.
Так, але “напрямок” причинно-наслідкових правил зворотний, як ми можемо використовувати це для діагностики? Коротка відповідь полягає в тому, що без зайвих сумнівів! Зворотне не є проблемою: як тільки ми створимо байєсівську мережу, ми зможемо обчислити з неї всі ймовірності - і це включає визначення ймовірності захворювань на основі симптомів! Тож байєсівській мережі байдуже, який «напрямок» ми з неї робимо. Найголовніше - описати реальність (а це те, що означають причинно-наслідкові правила!). Якщо вона у нас є, то ми можемо її вивести звідти у всіх напрямках. Доступні ефективні алгоритми для байєсівських сіток, які «проводять» цей висновок через сітку та визначають необхідні ймовірності.
На малюнку 2 ми бачимо приклади цього: ми передали сітці те, що знали про пацієнта (тобто певні вузли не були ймовірними, але встановили його конкретне значення), а потім попросили його запустити через сітку, використовуючи умовні ймовірності введений для інших точок, і ми запитували кінцевий результат по вузлах, які нас цікавлять. (Якщо читач хоче спробувати подібну діагностичну систему сам, він може пограти з цим прикладом із додатком, доступним за адресою http://research.physcon.uni-obuda.hu/, або навіть створити власну систему.)
Справжні медичні експертні системи можуть, звичайно, мати сотні або навіть тисячі вузлів.
Після цього величезного обходу повернімось до нашої конкретної теми, тому що вся історія має більш прямий зв’язок із нашим поточним питанням. Напевно, багато людей вже бачать, про що йдеться: візерунок абсолютно однаковий. Опрацювання ефекту випадкових коливань вищезазначеним способом також дає відповідь на протилежне запитання порівняно із природним питанням, як ми вже встановили при впровадженні методу. Врешті-решт, закономірне запитання: «за умови, що ми отримали цей і цей результат у дослідженні, яка ймовірність того, що препарат насправді не діє?», Але ми відповідаємо за допомогою нашого апарату, який «за умови, що він насправді не працює? препарат діє, яка ймовірність того, що ми отримаємо те і те в наших дослідженнях? ". Багато людей, роблячи ту саму помилку, думають, що якщо ефект препарату значний на рівні 5%, це означає, що існує 5% ймовірності помилки, так що препарат насправді не діє.
Уявіть, що в 1000 паралельних всесвітах доступні дослідники для тестування нового препарату. З цих світів препарат, як очікується, буде ефективнішим у 100 разів, у 900 разів ні - саме тут з’являється попередня ймовірність. У перших випадках, коли препарат дійсно діє, ми можемо виявити його із 80% ймовірністю (силою), тобто класифікуємо препарат - правильно - у 80 разів. В останніх випадках, тому коли препарат насправді не діє, ми вводимо в оману з 5% ймовірністю (рівень значущості), тобто ми класифікуємо препарат 45 разів - неправильно - як ефективний. Загалом, у 80 + 45 = 125 випадках рейтинг буде "ефективним". Звичайно, ми не знаємо, чи належимо ми до 80 чи 45, тому можемо сказати, що з позначкою „ефективний” 45/125 = 36% ймовірності того, що препарат насправді не діє! Що насправді не 5%! На очевидне і безпосередньо актуальне запитання ("наскільки ймовірний ефект препарату буде неефективним на основі результатів дослідження?") Відповідає не рівень значимості, а вищезазначене - байєсівське - розрахунок.
Тоді виникає запитання: якщо це так, і метод Байєса відповідає на природне - і що важливіше - питання для нас, то чому ми не завжди цим користуємось? Чому ми взагалі його використовуємо, особливо чому вирішальним є принцип, заснований на «зворотній логіці»? На додаток до того, що для цього існують певні історичні причини (наприклад, процедури Байєса, як правило, обчислювально інтенсивні, що є серйозною проблемою до останніх десятиліть), можливо, найважливішою причиною є необхідність попередніх ймовірностей. Багато людей неохоче дають це, оскільки відчувають суб'єктивним, яким є попередня ймовірність ефективності препарату, вони вважають, що це необгрунтований параметр, який можна встановити на будь-яке значення, і таким чином насправді отримати що-небудь із дослідження. Насправді, більшість дослідників з цього приводу погоджуються з тим, що в процедурі, яка використовується сьогодні, є не менш суб’єктивні варіанти прийняття рішень, принаймні вони менш розумні, менш явні, але насправді це не є перевагою. Швидше за все, інерція, що стоїть за цим, є важливим фактором - так ми дізналися, всі інші роблять це так, весь попередній аналіз робився таким чином - що особливо актуально в такій консервативній галузі, як медицина.
Після нашого поточного від'їзду до району Байєса ми повертаємось до звичного методу боротьби з випадковими коливаннями. Зараз ми добре знаємо цей метод, тому можемо відповісти на одне з найбільш очевидних питань: все ж, що ми можемо зробити щодо випадкових коливань? Ми бачили, що усунення ніколи не може бути усунене, але як ми можемо зменшити його вплив? Не в останню чергу, як врахувати цей ефект при розробці медичних досліджень?