машинне навчання або машинне навчання в основному складається з автоматизації, з використанням різних алгоритмів, виявлення закономірностей або тенденцій, які «приховані» в даних. З цієї причини дуже важливо не тільки вибрати найбільш підходящий алгоритм (і подальшу його параметризацію для кожної конкретної проблеми), але також мати великий обсяг даних достатньої якості.

навчання

В останні роки машинне навчання стало дуже важливим у діловому світі, оскільки розумне використання аналітичних даних є ключовим фактором успіху бізнесу. Прогнози Гартнера на 2020 рік показують, що, окрім переваг у таких сферах, як інтелектуальне прийняття рішень, робототехніка, автономні транспортні засоби та гіпер-автоматизація, сфера безпеки виникає з великою силою. Зокрема, програми штучного інтелекту для захисту підключених до IoT систем.

У цьому пості ми розповімо, з чого складається машинне навчання, які типи навчання існують, як вони працюють і для чого вони використовуються.

Дійсно, що таке машинне навчання?

Це галузь штучного інтелекту, яка почала набувати значення у 80-х рр. Це тип ШІ, який вже не залежить від правил і програміста, а навпаки, комп’ютер може встановлювати власні правила і вчитися сам по собі.

Машинне навчання відбувається через алгоритми. Алгоритм - це не що інше, як ряд упорядкованих кроків, виконаних для виконання завдання.

Мета машинне навчання полягає у створенні модель що дозволяє нам вирішити задане завдання. Тоді я знаю поїзд модель з використанням великих обсягів даних. Модель дізнатися з цих даних і здатний це зробити прогнози. Залежно від завдання, яке ви хочете виконати, доцільніше буде працювати з тим чи іншим алгоритмом.

Вибір алгоритму непростий. Якщо ми шукаємо інформацію в Інтернеті, ми можемо знайти справжню лавину дуже детальних статей, які іноді замість того, щоб допомогти нам, бентежать нас. Тому ми спробуємо дати кілька основних вказівок для початку роботи.

Є два основні питання, які ми повинні задати собі. Перший:

Що ми хочемо робити?

Справа в тому, що справа чітко визначити мету. Тож для вирішення нашої проблеми ми запитаємо себе, яке саме це завдання нам доведеться виконати. Це може бути, наприклад,:

  • Проблеми з класифікацією, такі як виявлення спаму чи небажаної пошти.
  • Проблеми кластеризації, такі як рекомендування книги користувачеві на основі попередніх покупок (система рекомендацій) f
  • Проблеми регресії, наприклад, з’ясування того, скільки певний клієнт буде користуватися послугою (визначення вартості)

Якщо розглянути класичну проблему утримання клієнта, Ми бачимо, що можемо підійти до цього з різних підходів. Так, ми хочемо провести сегментацію клієнтів, але яка стратегія є найбільш підходящою? Чи краще трактувати це як проблему класифікації, кластеризації чи навіть регресії? Ключовий підказка буде дана, задавши собі друге питання.

Яку інформацію я маю для досягнення своєї мети?

Якщо я запитую себе: "Мої клієнти, чи вони згруповані якимось чином, природно?", Я не визначив жодної мети (цілі) для групування.

Однак, якщо я задаю питання в інший спосіб: чи можемо ми визначити групи клієнтів з великою ймовірністю вимагати припинення послуги, як тільки закінчується їхній контракт? ціль чітко визначено: чи буде відмовлено клієнта?, і ми хочемо вжити заходів відповідно до отриманої відповіді.

У першому випадку ми стикаємось із прикладом навчання без нагляду, тоді як другий - від навчання під наглядом.

На початкових етапах процесу Data Data дуже важливо вирішити, чи буде "стратегія атаки" контролюватися чи не контролюватися, а в останньому випадку точно визначити, якою буде стратегія атаки. цільова змінна. Коли ми вирішимо, ми будемо працювати з одним сімейством алгоритмів або з іншим.

Після того, як вищезазначене буде визначено, будуть використані попередньо встановлені алгоритми, щоб ви могли вибрати, з яким працювати. Серед найвідоміших: наука про науку в стилі скіт, машинне навчання алгоритм чит див., серед інших.

Типи машинного навчання

Типи реалізації машинне навчання Їх можна класифікувати на три різні категорії:

  • Навчання під контролем
  • Навчання без нагляду
  • Підкріплення навчання відповідно до характеру даних, які ви отримуєте.

Навчання під контролем

В навчання під наглядом, алгоритми працюють із «позначеними» даними (позначеними даними), намагаючись знайти функцію, яка з урахуванням вхідних змінних (вхідних даних) присвоює їм відповідну вихідну мітку. Алгоритм тренується з "історією" даних і, таким чином, "вчиться" призначати відповідну вихідну мітку новому значенню, тобто, прогнозує вихідне значення. (Сімеоне, 2018)

Наприклад, детектор спаму аналізує історію повідомлень, бачачи, яку функцію він може представляти, відповідно до вхідних параметрів, які визначені (відправник, якщо одержувач є особою або частиною списку, якщо тема містить певні терміни тощо). .), присвоєння мітки "спам" або "не спам". Як тільки ця функція визначена, при введенні нового повідомлення без тегів, алгоритм може призначити йому правильну мітку.

навчання під наглядом Зазвичай він використовується в:

  • Проблеми з класифікацією (ідентифікація цифр, діагностика або виявлення шахрайства).
  • Проблеми регресії (прогнози погоди, тривалість життя, зростання тощо).

Ці два основні типи контрольованого навчання, класифікація та регресія, розрізняються за типом цільова змінна. У випадках класифікації це категорично, тоді як у випадках регресії цільова змінна є числовою.

Найпоширенішими алгоритмами, які застосовуються до навчання під контролем, є:

  1. Дерева рішень.
  2. Класифікація наївського Байєса.
  3. Регресія найменших квадратів.
  4. Логістична регресія.
  5. Підтримка векторних машин (SVM).
  6. Ансамблеві методи (набори класифікаторів).

Навчання без нагляду

Навчання без нагляду відбувається, коли дані з тегами недоступні для навчання. Ми знаємо лише вхідні дані, але немає вихідних даних, які відповідають певному вводу. Тому ми можемо лише описати структуру даних, спробувати знайти якусь організацію, яка спрощує аналіз. Тому вони мають характер пошуковий.

Наприклад, завдання кластеризації шукають групування на основі подібностей, але ніщо не гарантує, що вони мають якесь значення або корисність. Іноді, досліджуючи дані без визначеної мети, ви можете знайти цікаві, але непрактичні помилкові співвідношення.

Навчання без нагляду часто використовується в:

  • Проблеми кластеризації
  • Групування спільних випадків
  • Профілювання або профілювання.

Однак проблеми, які пов’язані з пошуком подібності, передбаченням зв’язків або зменшенням даних, можуть контролюватися, а можуть і не відстежуватися.

Найбільш типовими типами алгоритму при некерованому навчанні є:
1. Алгоритми кластеризації
2. Аналіз основних компонентів
3. Декомпозиція однинного значення
4. Аналіз основних компонентів (незалежний аналіз компонентів)

Отже, що таке навчання для підкріплення?

Не всі алгоритми ML можна класифікувати як керовані або неконтрольовані алгоритми навчання. Існує "нічия земля", де є прийоми підкріплення навчання.

Цей тип навчання базується на покращити реакцію моделі за допомогою процесу зворотного зв'язку. Алгоритм дізнається, спостерігаючи за навколишнім світом. Ваша вхідна інформація - це відгуки, які ви отримуєте від зовнішнього світу у відповідь на ваші дії. Тому система навчається на основі спроба-помилка.

Це не тип контрольованого навчання, оскільки воно не строго базується на наборі маркованих даних, а на моніторингу реакції на вжиті дії. Це також не нагляд під контролем, оскільки, коли ми моделюємо свого “учня”, ми заздалегідь знаємо, яка очікувана винагорода.

Якщо ви хочете дізнатись більше про типи навчання, не пропустіть цю іншу публікацію, де ми пояснимо, про що трансферне навчання.

Практичне використання машинного навчання

На завершення розглянемо деякі найпоширеніші практичні способи машинного навчання.

  • Комп’ютерна безпека, діагностика нападів, запобігання шахрайству в Інтернеті, виявлення аномалій тощо.
  • Розпізнавання зображень або візерунків (обличчя, відбитків пальців, предметів, голосу тощо)
  • Автономне водіння, використовуючи алгоритми глибокого навчання: ідентифікація зображень у режимі реального часу, виявлення перешкод та дорожніх знаків, запобігання аваріям ...
  • Здоров’я: автоматична оцінка діагностичних тестів, медичної робототехніки тощо.
  • Аналіз фондового ринку (фінансові прогнози, розвиток ринку тощо)
  • Рекомендаційні двигуни

Важливо завжди бути чіткими цілей, яких прагне компанія, використовуючи ці методи, щоб мати можливість задавати відповідні запитання щодо даних. І, звичайно, завжди працюйте з якісними даними.

Щоб бути в курсі LUCA, відвідайте наш веб-сайт, підпишіться на LUCA Data Speaks або підписуйтесь на нас у Twitter, LinkedIn та YouTube.