Ансамблеві методи - огляд, категорії, основні типи

Ансамблеві методи - це методи, спрямовані на підвищення точності результатів у моделях шляхом комбінування декількох моделей замість використання однієї моделі. Комбіновані моделі значно підвищують точність результатів. Це підвищило популярність ансамблевих методів у машинному навчанні.

Ансамблеві методи

Короткий зміст

  • Ансамблеві методи спрямовані на поліпшення передбачуваності в моделях шляхом комбінування декількох моделей для створення однієї дуже надійної моделі.
  • Найпопулярнішими методами ансамблю є підсилення, мішки та укладання.
  • Ансамблеві методи ідеально підходять для регресії та класифікації, де вони зменшують зміщення та відхилення для підвищення точності моделей.

Категорії ансамблевих методів

Ансамблеві методи поділяються на дві широкі категорії, тобто послідовні ансамблеві прийоми та паралельні ансамблеві прийоми. Методи послідовного ансамблю генерують базових учнів у послідовності, наприклад, Адаптивне посилення (AdaBoost). Послідовне формування базових учнів сприяє залежності між базовими учнями. Потім ефективність моделі покращується шляхом присвоєння більш високих ваг попередньо невірно представленим учням.

При паралельних ансамблевих техніках базові учні формуються у паралельному форматі, наприклад, випадковий ліс Випадковий ліс Випадковий ліс - це техніка, яка використовується для моделювання прогнозів та аналізу поведінки і побудована на деревах рішень. Випадковий ліс містить багато дерев рішень. Паралельні методи використовують паралельне покоління базових учнів, щоб заохотити незалежність між базовими учнями. Незалежність базових учнів значно зменшує похибки завдяки застосуванню середніх показників.

Більшість технік ансамблю застосовують єдиний алгоритм базового навчання, що призводить до однорідності всіх базових учнів. Однорідні базові учні стосуються базових учнів того самого типу, що мають подібні якості. Інші методи застосовують неоднорідних базових учнів, що породжують різнорідні ансамблі. Гетерогенні базові учні - це учні різних типів.

Основні типи ансамблевих методів

1. Мішок

Баггінг, коротка форма для агрегування початкового завантаження, в основному застосовується при класифікації та регресії. Він може бути використаний для оцінки міцності взаємозв'язку між змінними та для моделювання майбутнього зв'язку між ними. . Це підвищує точність моделей завдяки використанню дерев рішень, що значною мірою зменшує дисперсію. Зменшення дисперсії збільшує точність, отже, усуваючи переобладнання, що є проблемою для багатьох прогнозних моделей.

Мішки класифікуються на два типи, тобто завантаження та агрегування. Bootstrapping - це техніка вибірки, коли зразки отримують із усієї сукупності (набору) за допомогою процедури заміни. Відбір з використанням методу заміни допомагає зробити процедуру відбору рандомізованою. Базовий алгоритм навчання запускається на зразках для завершення процедури.

Агрегація в мішках робиться для включення всіх можливих результатів прогнозу та рандомізації результатів. Без агрегування прогнози не будуть точними, оскільки всі результати не враховуються. Таким чином, агрегування базується на процедурах завантаження ймовірностей або на основі всіх результатів прогнозних моделей.

Покладання мішків є вигідним, оскільки ті, хто навчається із слабкою базою, утворюють єдиного сильного учня, який є більш стабільним, ніж одинаки. Це також усуває будь-які розбіжності, тим самим зменшуючи переобладнання моделей. Одне обмеження мішків - це обчислювально дорого. Таким чином, це може призвести до більшої упередженості моделей, якщо ігнорувати належну процедуру розфасовки.

2. Підсилення

Підсилення - це ансамблева техніка, яка вчиться на попередніх помилках прогнозування, щоб робити кращі прогнози в майбутньому. Методика поєднує декількох учнів з слабкою базою, щоб сформувати одного сильного учня, що значно покращує передбачуваність моделей. Посилення працює шляхом розміщення слабких учнів у послідовності, так що слабкі учні навчаються у наступного учня в послідовності, щоб створити кращі моделі прогнозування.

Підсилення приймає багато форм, що включає посилення градієнта, адаптивне підсилення (AdaBoost) та XGBoost (екстремальне посилення градієнта). AdaBoost використовує слабких учнів, які мають форму дерев рішень, які здебільшого включають один розкол, який в народі називають пнями прийняття рішень. Основний пень AdaBoost включає спостереження з однаковими вагами.

Посилення градієнта Посилення градієнта Посилення градієнта - це техніка, що використовується при створенні моделей для прогнозування. Ця методика в основному використовується в процедурах регресії та класифікації. послідовно додає предиктори до ансамблю, де попередні предиктори коригують своїх наступників, збільшуючи тим самим точність моделі. Нові провісники придатні протидіяти наслідкам помилок попередніх прогностичних показників. Градієнт спуску допомагає посиленню градієнта у виявленні проблем у передбаченнях учнів та протидії їм відповідно.

XGBoost використовує дерева рішень із посиленим градієнтом, забезпечуючи покращену швидкість та продуктивність. Це значною мірою залежить від обчислювальної швидкості та продуктивності цільової моделі. Навчання моделі повинно слідувати послідовності, тим самим уповільнюючи реалізацію машин з градієнтним посиленням.

3. Укладання

Укладання, інший метод ансамблю, часто називають узагальненим узагальненням. Цей прийом працює, дозволяючи навчальному алгоритму поєднати кілька інших подібних прогнозів алгоритму навчання. Укладання успішно застосовано в регресії, оцінці щільності, дистанційному навчанні та класифікаціях. Він також може бути використаний для вимірювання рівня помилок, що виникають під час розфасовки.

Зменшення дисперсії

Ансамблеві методи ідеально підходять для зменшення дисперсії в моделях, підвищуючи тим самим точність прогнозів. Дисперсія усувається, коли декілька моделей поєднуються, щоб сформувати єдиний прогноз, який вибирається з усіх інших можливих прогнозів із комбінованих моделей. Ансамбль моделей - це комбінування різних моделей для забезпечення найкращого можливого прогнозування на основі врахування всіх прогнозів.

Додаткові ресурси

Фінанси є офіційним постачальником глобальних сертифікованих банківських та кредитних аналітиків (CBCA) ™. Сертифікація CBCA ™. , моделювання угод, повернення позик тощо. програма сертифікації, призначена допомогти кожному стати фінансовим аналітиком світового класу. Щоб продовжувати прогресувати вашу кар’єру, корисними будуть додаткові фінансові ресурси нижче:

  • Еластична сітка Еластична сітка Еластична сітка лінійно використовує покарання як з ласо, так і з хребетних методів для регуляції регресійних моделей. Техніка поєднує в собі як ласо, так і
  • Overfitting Overfitting Overfitting - це термін, що використовується в статистиці, що стосується помилки моделювання, яка виникає, коли функція занадто тісно відповідає певному набору даних
  • Масштабованість Масштабованість Масштабованість може впадати як у контексті фінансової, так і бізнес-стратегії. В обох випадках це означає здатність суб'єкта господарювання протистояти тиску
  • Спуфінг Підробка Підробка - це руйнівна алгоритмічна практика торгівлі, яка передбачає розміщення заявок на покупку або пропозицію продажу ф’ючерсних контрактів та скасування заявок або пропозицій до виконання угоди. Практика має на меті створити хибну картину попиту чи хибного песимізму на ринку.

Останні повідомлення