Градієнтний бустінг як інструмент для вирішення задач класифікації в умовах обмежених даних

Анотація

У сучасному машинному навчанні поставало питання ефективної побудови класифікаційних моделей при недостатньому обсязі навчальної інформації. Мета дослідження – проаналізувати можливості використання градієнтного бустінгу для розв’язання задач класифікації в умовах обмежених даних. Методологія дослідження базувалася на комплексному аналізі провідних реалізацій градієнтного бустінгу: XGBoost, LightGBM та HistGradientBoosting. Основну увагу було зосереджено на вивченні механізмів регуляризації, стратегій оптимізації гіперпараметрів та адаптивних технік навчання в умовах малих вибірок. Дослідження спрямовувалося на виявлення архітектурних особливостей алгоритмів, здатних забезпечити високу точність класифікації при мінімальному обсязі даних. Встановлено, що запропоновані алгоритми продемонстрували значний потенціал для ефективного розв’язання класифікаційних задач. Виявлено, що механізми shrinkage та subsampling дозволили суттєво підвищити узагальнюючу здатність моделей. Результати дослідження розширили теоретичні уявлення про ансамблеві методи машинного навчання та окреслили перспективні напрямки адаптації алгоритмів до специфічних умов обмежених інформаційних ресурсів. Досліджено, що XGBoost, LightGBM та HistGradientBoosting мають унікальні архітектурні особливості, які дозволяють ефективно працювати з різними типами даних. Встановлено, що механізми внутрішньої регуляризації цих алгоритмів забезпечили стійкість до перенавчання та високу точність прогнозування. Показано потенціал градієнтного бустінгу для вирішення складних класифікаційних задач у медицині, фінансах та інших галузях з обмеженими інформаційними ресурсами. Практичне значення роботи полягало в розробці методологічних рекомендацій щодо вибору та налаштування алгоритмів градієнтного бустінгу для різних типів класифікаційних задач. Отримані результати будуть корисні для подальшого розвитку методів машинного навчання