Навчання в ансамблі, пояснене найпростішими можливими термінами

| | 0 Comments| 5:49 AM
Categories:

Ансамблеве навчання може допомогти вам приймати кращі рішення та вирішувати багато проблем у реальному житті, поєднуючи рішення з кількох моделей.

Машинне навчання (ML) продовжує поширюватися в багатьох секторах і галузях, будь то фінанси, медицина, розробка додатків або безпека.

Належне навчання моделям ML допоможе вам досягти більшого успіху у вашому бізнесі чи на посаді, і існують різні методи для досягнення цього.

У цій статті я обговорю ансамблеве навчання, його важливість, випадки використання та техніки.

Залишайтеся на зв’язку!

Що таке ансамблеве навчання?

У машинному навчанні та статистиці «ансамбль» відноситься до методів, які генерують різні гіпотези з використанням загальної бази учня.

А ансамблеве навчання — це підхід до машинного навчання, коли кілька моделей (наприклад, експертів або класифікаторів) стратегічно створюються та об’єднуються з метою вирішення обчислювальної проблеми або створення кращих прогнозів.

Цей підхід має на меті покращити прогнозування, апроксимацію функцій, класифікацію тощо продуктивність даної моделі. Він також використовується для усунення можливості вибору поганої або менш цінної моделі з багатьох. Для досягнення покращеної ефективності прогнозування використовується кілька алгоритмів навчання.

Важливість ансамблевого навчання в ML

У моделях машинного навчання є деякі джерела, як-от зміщення, дисперсія та шум, які можуть викликати помилки. Ансамбль навчання може допомогти зменшити ці джерела помилок і забезпечити стабільність і точність ваших алгоритмів ML.

Ось чому ансамблеве навчання використовується в різних сценаріях:

Вибір правильного класифікатора

Ансамбль навчання допомагає вибрати кращу модель або класифікатор, одночасно зменшуючи ризик, який може виникнути через неправильний вибір моделі.

Існують різні типи класифікаторів, які використовуються для різних задач, наприклад машини опорних векторів (SVM), багатошаровий персептрон (MLP), наївні класифікатори Байєса, дерева рішень тощо. Крім того, існують різні реалізації алгоритмів класифікації, які вам потрібно вибрати . Продуктивність різних навчальних даних також може бути різною.

Але замість вибору лише однієї моделі, якщо ви використовуєте сукупність усіх цих моделей і об’єднуєте їхні окремі результати, ви можете уникнути вибору гірших моделей.

Обсяг даних

Багато методів і моделей ML не є ефективними у своїх результатах, якщо ви подаєте їм неадекватні дані або великий обсяг даних.

З іншого боку, ансамблеве навчання може працювати в обох сценаріях, навіть якщо обсяг даних занадто малий або занадто великий.

  • Якщо є неадекватні дані, ви можете використовувати початкове завантаження для навчання різних класифікаторів за допомогою різних зразків даних початкового завантаження.
  • Якщо існує великий обсяг даних, який може ускладнити навчання окремого класифікатора, можна стратегічно розділити дані на менші підмножини.

Складність

Один класифікатор може бути не в змозі вирішити деякі дуже складні проблеми. Їх межі рішень, що розділяють дані різних класів, можуть бути дуже складними. Отже, якщо ви застосуєте лінійний класифікатор до нелінійної складної межі, він не зможе її вивчити.

Однак, належним чином поєднавши ансамбль відповідних лінійних класифікаторів, ви можете змусити його вивчати дану нелінійну межу. Класифікатор розділить дані на багато легких для вивчення та менших розділів, і кожен класифікатор вивчатиме лише один простіший розділ. Далі різні класифікатори будуть об’єднані, щоб отримати прибл. межа рішення.

Оцінка впевненості

У ансамблевому навчанні голос довіри призначається рішенням, прийнятим системою. Припустімо, що у вас є набір різних класифікаторів, навчених на дану проблему. Якщо більшість класифікаторів погоджуються з прийнятим рішенням, його результат можна розглядати як ансамбль із рішенням з високою впевненістю.

  6 найкращих безкоштовних програм для відеоконференцій

З іншого боку, якщо половина класифікаторів не погоджується з прийнятим рішенням, це вважається групою з низьким рівнем впевненості.

Однак низька або висока впевненість не завжди є правильним рішенням. Але існує велика ймовірність того, що рішення з високою впевненістю буде правильним, якщо ансамбль правильно натренований.

Точність із Data Fusion

Дані, зібрані з багатьох джерел, при стратегічному об’єднанні можуть підвищити точність класифікаційних рішень. Ця точність вища, ніж точність, отримана за допомогою одного джерела даних.

Як працює ансамблеве навчання?

Ансамблеве навчання використовує кілька функцій відображення, які вивчали різні класифікатори, а потім об’єднує їх для створення єдиної функції відображення.

Ось приклад того, як працює ансамблеве навчання.

Приклад: ви створюєте програму на основі харчових продуктів для кінцевих користувачів. Щоб запропонувати високоякісну взаємодію з користувачами, ви хочете зібрати їхні відгуки щодо проблем, з якими вони стикаються, помітних лазівок, помилок, помилок тощо.

Для цього ви можете поцікавитися думкою вашої родини, друзів, колег та інших людей, з якими ви часто спілкуєтеся, щодо їхнього вибору їжі та досвіду замовлення їжі онлайн. Ви також можете випустити свою програму в бета-версії, щоб збирати відгуки в реальному часі без упередженості чи шуму.

Отже, ви фактично розглядаєте численні ідеї та думки різних людей, щоб покращити взаємодію з користувачем.

Ансамблеве навчання та його моделі працюють подібним чином. Він використовує набір моделей і комбінує їх для отримання остаточного результату для підвищення точності прогнозування та продуктивності.

Основні прийоми вивчення ансамблю

#1. Режим

«Режим» — це значення, яке з’являється в наборі даних. Під час ансамблевого навчання професіонали ML використовують кілька моделей для створення прогнозів щодо кожної точки даних. Ці прогнози вважаються окремими голосуваннями, а прогноз, зроблений більшістю моделей, вважається остаточним прогнозом. Здебільшого використовується в задачах класифікації.

Приклад: чотири людини оцінили вашу програму на 4, тоді як один з них оцінив її на 3, тоді режим буде 4, оскільки більшість проголосувала 4.

#2. Середнє/середнє

Використовуючи цю техніку, професіонали беруть до уваги всі прогнози моделі та обчислюють їхнє середнє, щоб отримати остаточний прогноз. Здебільшого він використовується для створення прогнозів для задач регресії, обчислення ймовірностей у задачах класифікації тощо.

Приклад: у наведеному вище прикладі, де чотири людини оцінили ваш додаток 4, а один — 3, середнє значення буде (4+4+4+4+3)/5=3,8

#3. Середнє зважене

У цьому методі ансамблевого навчання професіонали надають різні ваги різним моделям для прогнозування. Тут виділена вага описує релевантність кожної моделі.

Приклад: припустімо, що 5 осіб надали відгук про вашу заявку. З них 3 є розробниками додатків, а 2 не мають досвіду розробки додатків. Таким чином, відгуки цих 3 людей матимуть більшу вагу, ніж решти 2.

Поглиблені методи ансамблевого навчання

#1. Укладання в мішки

Bagging (Bootstrap AGGregatING) — це інтуїтивно зрозуміла та проста техніка ансамблевого навчання з хорошою ефективністю. Як випливає з назви, він створений шляхом поєднання двох термінів «Bootstrap» і «aggregation».

Бутстрапінг — це ще один метод вибірки, коли вам потрібно буде створити підмножини кількох спостережень, взятих із вихідного набору даних із заміною. Тут розмір підмножини буде таким самим, як і вихідний набір даних.

Джерело: Buggy programmer

Таким чином, у пакетуванні підмножини або пакети використовуються для розуміння розподілу повного набору. Однак підмножини можуть бути меншими за вихідний набір даних у упаковці. Цей метод включає єдиний алгоритм ML. Метою поєднання результатів різних моделей є отримання узагальненого результату.

  Як знайти свій старий музичний обліковий запис

Ось як працює пакетування:

  • Кілька підмножин генеруються з вихідного набору, а спостереження вибираються із замінами. Підмножини використовуються при навчанні моделей або дерев рішень.
  • Для кожної підмножини створюється слабка або базова модель. Моделі будуть незалежні одна від одної та працюватимуть паралельно.
  • Остаточний прогноз буде зроблено шляхом поєднання кожного прогнозу з кожної моделі з використанням статистики, як-от усереднення, голосування тощо.

Популярні алгоритми, які використовуються в цій техніці ансамблю:

  • Випадковий ліс
  • Дерева рішень у мішках

Перевага цього методу полягає в тому, що він допомагає звести до мінімуму помилки дисперсії в деревах рішень.

#2. Укладання

Джерело зображення: OpenGenus IQ

У стекуванні або стекованому узагальненні передбачення з різних моделей, як-от дерево рішень, використовуються для створення нової моделі для прогнозування цього тестового набору.

Стекування передбачає створення завантажувальних підмножин даних для моделей навчання, подібно до пакетування. Але тут вихідні дані моделей приймаються як вхідні дані, які передаються в інший класифікатор, відомий як метакласифікатор для остаточного прогнозування вибірок.

Причина, чому використовуються два шари класифікатора, полягає в тому, щоб визначити, чи навчальні набори даних вивчаються належним чином. Хоча двошаровий підхід поширений, можна використовувати й більше шарів.

Наприклад, ви можете використовувати 3-5 моделей на першому рівні або рівні 1 і одну модель на рівні 2 або рівні 2. Останній об’єднає прогнози, отримані на рівні 1, щоб зробити остаточний прогноз.

Крім того, ви можете використовувати будь-яку модель навчання ML для агрегування прогнозів; Лінійна модель, така як лінійна регресія, логістична регресія тощо, є загальноприйнятою.

Популярні алгоритми ML, які використовуються в стекуванні:

  • Змішування
  • Супер ансамбль
  • Багатошарові моделі

Примітка. Змішування використовує перевірку або набір затримок із навчального набору даних для створення прогнозів. На відміну від укладання, змішування передбачає передбачення, які мають бути зроблені лише з утримуваного місця.

#3. Підсилення

Підвищення — це ітеративний метод ансамблевого навчання, який регулює вагу конкретного спостереження залежно від його останньої чи попередньої класифікації. Це означає, що кожна наступна модель спрямована на виправлення помилок, знайдених у попередній моделі.

Якщо спостереження неправильно класифіковано, то посилення збільшує вагу спостереження.

Під час бустингу професіонали тренують перший алгоритм для бустингу на повному наборі даних. Далі вони будують наступні алгоритми ML, використовуючи залишки, отримані з попереднього алгоритму посилення. Таким чином, більша вага надається неправильним спостереженням, передбаченим попередньою моделлю.

Ось як це працює поетапно:

  • Підмножину буде згенеровано з вихідного набору даних. Кожна точка даних спочатку матиме однакові ваги.
  • Створення базової моделі відбувається на підмножині.
  • Прогноз буде зроблено на повному наборі даних.
  • Використовуючи фактичні та прогнозовані значення, будуть розраховані похибки.
  • Неправильно передбачені спостереження матимуть більшу вагу
  • Буде створено нову модель, і на цьому наборі даних буде зроблено остаточний прогноз, а модель намагатиметься виправити раніше зроблені помилки. Подібним чином буде створено кілька моделей, кожна з яких виправлятиме попередні помилки
  • Остаточний прогноз буде зроблено на основі кінцевої моделі, яка є середньозваженим значенням усіх моделей.

Популярні алгоритми підвищення:

  • CatBoost
  • Світло GBM
  • AdaBoost

Перевага посилення полягає в тому, що воно генерує кращі прогнози та зменшує помилки через упередження.

Інші ансамблеві прийоми

Суміш експертів: він використовується для навчання кількох класифікаторів, а їхні результати є ансамблем із загальним лінійним правилом. Тут ваги, надані комбінаціям, визначаються моделлю, яку можна навчити.

  10 простих кроків до покращення безпеки iPhone та iPad

Мажоритарне голосування: воно передбачає вибір непарного класифікатора, і прогнози обчислюються для кожної вибірки. Клас, який отримає максимальний клас із пулу класифікаторів, буде прогнозованим класом ансамблю. Він використовується для розв’язання таких завдань, як двійкова класифікація.

Максимальне правило: воно використовує розподіли ймовірностей кожного класифікатора та використовує впевненість у створенні прогнозів. Він використовується для задач багатокласової класифікації.

Реальні приклади використання ансамблевого навчання

#1. Розпізнавання обличчя та емоцій

Ансамблеве навчання використовує такі методи, як аналіз незалежних компонентів (ICA) для визначення обличчя.

Крім того, ансамблеве навчання використовується для виявлення емоцій людини за допомогою виявлення мовлення. Крім того, його можливості допомагають користувачам виконувати розпізнавання емоцій на обличчі.

#2. Безпека

Виявлення шахрайства: комплексне навчання допомагає підвищити потужність моделювання нормальної поведінки. Ось чому він вважається ефективним у виявленні шахрайських дій, наприклад, у системі кредитних карток і банківських системах, телекомунікаційному шахрайстві, відмиванні грошей тощо.

DDoS: розподілена відмова в обслуговуванні (DDoS) — це смертельна атака на інтернет-провайдера. Класифікатори ансамблю можуть зменшити виявлення помилок, а також відрізнити атаки від справжнього трафіку.

Виявлення вторгнень: ансамблеве навчання можна використовувати в системах моніторингу, як-от засоби виявлення вторгнень, для виявлення кодів зловмисників шляхом моніторингу мереж або систем, пошуку аномалій тощо.

Виявлення зловмисного програмного забезпечення. Комплексне навчання є досить ефективним у виявленні та класифікації коду шкідливого програмного забезпечення, наприклад комп’ютерних вірусів і черв’яків, програм-вимагачів, троянських програм, шпигунського програмного забезпечення тощо за допомогою методів машинного навчання.

#3. Поступове навчання

У поетапному навчанні алгоритм ML вивчає новий набір даних, зберігаючи попередні знання, але без доступу до попередніх даних, які він бачив. Системи ансамблів використовуються в поетапному навчанні, змушуючи їх вивчати доданий класифікатор для кожного набору даних, щойно він стає доступним.

#4. Ліки

Ансамблеві класифікатори корисні в галузі медичної діагностики, наприклад для виявлення нейрокогнітивних розладів (наприклад, хвороби Альцгеймера). Він виконує виявлення, використовуючи набори даних МРТ як вхідні дані та класифікуючи цервікальну цитологію. Крім того, він використовується в протеоміці (дослідження білків), нейронауці та інших областях.

#5. Дистанційне зондування

Виявлення змін: ансамблеві класифікатори використовуються для виявлення змін за допомогою таких методів, як байєсівське середнє та мажоритарне голосування.

Картографування ґрунтового покриву: для ефективного виявлення та картографування ґрунтового покриву використовуються методи ансамблевого навчання, такі як посилення, дерева рішень, аналіз основних компонентів ядра (KPCA) тощо.

#6. Фінанси

Точність є критично важливим аспектом фінансів, будь то розрахунки чи прогнози. Це сильно впливає на результат рішень, які ви приймаєте. Вони також можуть аналізувати зміни в даних фондового ринку, виявляти маніпуляції курсами акцій тощо.

Додаткові навчальні ресурси

#1. Ансамблеві методи машинного навчання

Ця книга допоможе вам вивчити та застосувати важливі методи навчання ансамблю з нуля.

#2. Ансамблеві методи: основи та алгоритми

У цій книзі містяться основи ансамблевого навчання та його алгоритми. Він також описує, як він використовується в реальному світі.

#3. Навчання в ансамблі

Він пропонує ознайомлення з уніфікованим методом ансамблю, завданнями, застосуваннями тощо.

#4. Методи та застосування ансамблевого машинного навчання:

Він забезпечує широкий охоплення передових методів ансамблевого навчання.

Висновок

Сподіваюся, тепер ви маєте певне уявлення про ансамблеве навчання, його методи, випадки використання та чому це може бути корисним для вашого випадку використання. Він має потенціал для вирішення багатьох проблем реального життя, від сфери безпеки та розробки додатків до фінансів, медицини тощо. Його використання розширюється, тому, ймовірно, у найближчому майбутньому ця концепція буде вдосконалена.

Ви також можете дослідити деякі інструменти для створення синтетичних даних для навчання моделей машинного навчання