ОПТИМІЗАЦІЯ РЕЗУЛЬТАТІВ МОДЕЛЮВАННЯ ШЛЯХОМ РОЗБИТТЯ ВИБІРОК ЗА КРИТЕРІЄМ ПОДІБНОСТІ ВІДСТАНІ МАХАЛАНОБІСА

Анотація

Методи створення класифікаційних, апроксимаційних та прогностичних моделей включають процедури розділення робочого набору даних на технологічні частини, які  використовуються для розрахунку параметрів, верифікації структури та завершальної оцінки якості моделей. Саме універсальність застосування даних процедур визначає виняткову актуальність вирішення завдання забезпечення ефективності  розділення робочого набору даних на технологічні частини з точки зору якості результатів моделювання. Існуючі підходи до розбиття даних не забезпечують стійкої ефективності при побудові моделей (метод простого випадкового відбору, метод проб і помилок, тощо), або є ефективними, однак обмеженими використанням певних типів набору даних (зручний і систематичний відбори, тощо). В роботі для вирішення проблеми пропонується застосувати процедури розподілу даних на основі критерію подібності відстані Махаланобіса, що забезпечує  збереження властивості відхилень об’єктів основної робочої вибірки для всіх технологічних підвибірок в умовах нерівних дисперсій змінних та корельованості  простору ознак. Оскільки універсальним і найчастіше застосованим методом розбиття даних в даний час є метод випадкового відбору, у роботі саме з ним порівнюється ефективність пропонованого підходу. Аналіз підходів здійснений на даних для прогнозування рівня смертності від раку в округах США, що взяті з ресурсу data.world, та класифікації серцевої недостатності - з ресурсу Kaggle. Порівняння проведено для методів  k-найближчих сусідів, логістичної регресії, методу групового урахування аргументів в завданні класифікації та методів k-найближчих сусідів, екстремального градієнтного підсилення (XGB), підвищення градієнта на основі алгоритму дерева рішень (LGBM) в задачі апроксимації. Результати аналізу показали перевагу пропонованого у роботі підходу розбиття даних відповідно до критерію подібності відстані Махаланобіса.