рандомізованих

Для прийняття розумних рішень на роботі нам потрібні дані. Звідки беруться ці дані і як ми їх аналізуємо, залежить від багатьох факторів, таких як те, що ми намагаємось зробити з результатами, наскільки точними нам потрібні результати та скільки у нас бюджету. Існує цілий спектр експериментів, які менеджери можуть проводити від швидких та неформальних до пілотних досліджень, польових експериментів та лабораторних досліджень. Одним з найбільш структурованих експериментів є рандомізований контрольований експеримент.

Щоб краще зрозуміти, що таке рандомізований контрольований експеримент і як його використовують компанії, я поспілкувався з Томом Редменом, автором книги "Керовані даними: прибуток від вашого найважливішого ділового активу". Він також консультує організації щодо якості даних та програм обробки даних.

Що таке рандомізований контрольований експеримент?

Коли люди чують цей термін, більшу частину часу вони замислюються про клінічні випробування, коли одна група отримує лікування, а інша плацебо, але фармацевтичні компанії та вчені-медики не єдині, хто використовує такі типи експериментів. Всі види компаній можуть проводити ці експерименти, і вони не обов'язково повинні бути дорогими або трудомісткими; їх потрібно лише "контролювати" і включати елемент "рандомізації".

Почнемо зі слова експеримент. "Експеримент - це запланована діяльність, мета якої - дізнатися щось про світ", - пояснює Редмен. Наведіть приклад дворічних дітей, які постійно експериментують: «Вони думають:« Якщо я кричу, мама прибіжить. "Вони збирають дані про світ, і хоча це не контролюється, вони роблять це навмисно".

Ось ще один приклад, пов’язаний з бізнесом. Скажімо, ви займаєтеся бурінням нафтових свердловин, і у вас є нова долото, що управляється програмою штучного інтелекту, яка регулює тиск і швидкість, з якою долото обертається. Ви хочете знати, як цей новий більш дорогий біт порівнюється з тим, який ви використовуєте зараз, тому ви проводите експеримент, порівнюючи свій існуючий біт з новим. Виберіть 30 отворів і просвердліть 15 із них старим долотом, а 15 - новим. Це ваш експеримент, і вашою змінною інтересу може бути те, наскільки ефективно ви пробурили свердловину.

Зверніть увагу, що кількість свердловин тут досить мала порівняно з експериментом, наприклад, де ви показуєте 1000 потенційним клієнтам нову маркетингову кампанію. Чим більший обсяг вибірки, тим більше шансів отримати статистично значущі результати. Але ви також повинні бути реалістичними щодо вартості свого експерименту, і оскільки буріння нафтової свердловини коштує мільйони доларів, ви, швидше за все, проведете цей експеримент на меншій кількості свердловин.

В експерименті змінна, що цікавить, називається своєю залежна змінна(зауважте, що ви можете мати кілька залежних змінних, але для простоти тут я буду посилатися на одну залежну змінну.) Але їх теж багато незалежні змінні - фактори, які, як ви підозрюєте, впливають на вашу залежну змінну. "Зазвичай в експерименті ви намагаєтесь дізнатися щось про одну, або, щонайбільше, про деякі незалежні змінні, але багато інших факторів можуть завадити", - говорить Редман. Ви хочете знати, який свердло краще, але інші фактори, такі як розмір отвору, його глибина та те, що ви копаєте, також вплинуть на ефективність свердління отвору та ускладнять оцінку нового свердла. Подібним чином, у клінічному дослідженні існує багато інших факторів, таких як вік пацієнтів, загальний стан здоров'я, режими фізичних вправ та артеріальний тиск, що може ускладнити з'ясування того, чи результати експерименту насправді можна віднести до ліків а не якийсь інший фактор.

Тут з’являється слово «контрольований». Цей термін може заплутати, оскільки статистики використовують його для опису більш ніж одного поняття. Як жартує Редмен, "нехай статистики затьмарюють абсолютно просте поняття!" Перше значення - "ізолювати вплив однієї (або деяких) змінних", пояснює Редман. "Контрольований" у цьому сенсі означає встановлення обмежень, щоб певні змінні не впливали на результат вашого експерименту. Отже, під час клінічного випробування препарату ви можете бути стурбовані тим, що дієта учасників вплине на ефективність препарату. Ви "контролюєте" це, ставлячи всіх пацієнтів на одну дієту на час експерименту. Подібним чином, у своєму експерименті з буріння ви можете переконатися, що враховуєте «очікувану твердість гірських порід», щоб ви могли створити 15 пар свердловин, виходячи з того, наскільки складними ви очікуєте їх буріння. Це дозволило б контролювати очікувану твердість. Ви також можете забезпечити використання бурових установок та обладнання для контролю впливу цих факторів на експеримент.

Подальше читання


Не відстаючи від квантів

    Томас Х. Девенпорт і Дзінью Кім

Багато рандомізованих контрольованих експериментів проводяться в лабораторії, оскільки "простіше контролювати речі в лабораторних умовах", говорить Редман. Але, наскільки відомо Редмену, не існує "лабораторії буріння", тому ви робите все, що можете. Наприклад, ви, мабуть, можете краще контролювати твердість гірських порід, встановивши дві платформи на відстані 50 футів в одному місці та копаючи сухі колодязі. Це дасть вам більш надійний результат з точки зору того, як працюють нові та старі біти за подібних обставин, але це також коштуватиме вам чималих грошей, і ви при цьому не заробляєте. Тож ви повинні вирішити, скільки контролю вартує витрат.

Друге значення "контроль" відноситься до груп, які ви вивчаєте: контрольної групи та групи лікування. Тут контроль означає поточний спосіб виконання речей (наприклад, старий біт), а лікування означає новий спосіб здійснення речей (наприклад, новий біт). Це важливо, оскільки для оцінки результатів вашого експерименту ви повинні запитати "порівняно з чим?" Ви не починаєте буріння з нового долота і вирішуєте, "що краще". Ви повинні порівняти це з контрольною групою, в даному випадку 15 отворів, які ви копаєте зі старим долотом, який є вашим базовим рівнем.

Подібним чином, випробовуючи новий препарат, ви повинні знати про "ефект плацебо", коли люди стають кращими просто тому, що вони думають, що отримують лікування, тому ви ставитеся до своєї контрольної групи точно так само, як і до групи лікування. група лікування відносно контрольної групи.

Але які лунки чи люди входять до контрольної групи, а які - до експериментальної? І хто вступає в експеримент в першу чергу? Тут виникає рандомізація. Щоб заперечити вплив змінних, яких ви не знаєте (скажімо, режим сну пацієнта в клінічному дослідженні), ви випадковим чином призначаєте випробовуваних до контрольної групи або групи лікування. Коли ваші пари свердловин підняті, ви навмання вибираєте, можливо, навіть гортаючи монету, яка отримує нове свердло в кожній парі. Це те, що Редмен називає "виведенням прихованого упередження з експерименту". Зрештою, якщо всі здорові пацієнти отримують лікування, а потім покращуються, ви нічого не показали. Або якщо ви випадково просвердлите 15 найпростіших отворів для копання новим долотом, ви справді не знаєте, чи це краще.

Рандомізація (у поєднанні з більшим обсягом вибірки) робить вас впевненішими в тому, що будь-які результати, які ви отримуєте, насправді спричинені незалежною змінною, що представляє інтерес - у фармацевтичному випадку, дією препарату - і, отже, є "узагальненим поза експериментом", за словами Редмена.

Якщо ця класифікація учасників звучить як тестування A/B, це тому, що вони схожі. A/B може бути рандомізованим контрольованим експериментом, припускаючи, що ви контролювали випадкові випадки та фактори, але не всі рандомізовані контрольовані експерименти є тестами PARTIALURLPLACEHOLDER.

Тож давайте все це складемо. За словами Редмена: «Ідея полягає у виділенні незалежних змінних, які вас цікавлять. Рандомізований контрольований експеримент - це експеримент, в якому ви контролюєте фактори, які вам відомі, а потім рандомізуєте для врахування тих, кого ви не знаєте ».

Які основні кроки для проведення рандомізованого контрольованого експерименту?

"Не залишайте експериментальний дизайн аналітикам даних", - говорить Редман. Важливо, щоб менеджер знав і розумів процес, щоб він міг краще співпрацювати, надаючи знання та досвід бізнесу та аналітику, вносячи досвід у збір та аналіз даних.

Це основні кроки:

Після того, як ви проаналізували результати (і, можливо, перевірили, чи вони статистично значущі), ви застосовуєте результати на практиці. Звичайно, тут гума виходить на дорогу. Те, що виявляється в лабораторному експерименті, не завжди може зберігатися в полі. Як говорить Редман, “Ви не заробляєте гроші в лабораторії. Заробляйте гроші в реальному світі. Тож швидко виходьте з лабораторії ».

Які помилки роблять люди, проводячи рандомізовані контрольовані експерименти?

Редман каже, що однією з найбільших помилок, які роблять компанії, є просто недостатня кількість експериментів - не просто рандомізованих контрольованих експериментів, а ще більш неформальних, які є менш дорогими та трудомісткими. “Очікується, що менеджери знатимуть відповіді. Щоб менеджер сказав: "Я не впевнений, що знаю, давайте проведемо експеримент", потрібна певна вишуканість і розуміння того, як керувати цими справами ". Але без експериментів ви не можете бути впевнені, що ваші уявлення правильні.

Навіть менеджери, які готові вимагати експериментів, часто недостатньо ретельно планують експеримент. Редмен каже, що важливо виконати всі вищезазначені кроки, але більшу частину часу менеджери роблять перші кроки - з’ясовуючи змінну, що цікавить, і, можливо, чисельність населення, - а потім переходять наперед, щоб провести експеримент. "Вони про це не думали", - говорить Редмен. "Повертайте людей до тих уроків природознавства, які їм не сподобались", але це не робить кроки менш критичними.

Це призводить до ще однієї помилки: ви не встановили достатньо елементів керування, щоб ізолювати змінні, які вас цікавлять. Це легко зіпсувати. Для проведення цих експериментів потрібно знати багато про експериментальний дизайн. Як саме ви виділяєте фактори, які намагаєтесь вивчити? Але якщо цього не робити, ви можете віднести результати до неправильних факторів.

Останню помилку, на яку вказує Редман, легко вирішити: не залучаючи аналітика. "Багато менеджерів вважають, що можуть передавати дані вченому," - говорить він, - але "кожен поважний аналітик даних захоче брати участь у підготовці експерименту та написанні протоколу". І це добре для всіх. Чим раніше в процесі ви співпрацюєте, тим більша ймовірність того, що ви зможете скористатися досвідом один одного.