НОВА ОРГАНІЗАЦІЯ ПРОЦЕСУ ВИБОРУ ОЗНАК ЗА ДОПОМОГОЮ ФІЛЬТРА НА ОСНОВІ КОРЕЛЯЦІЇ

Анотація

Предметом статті є методи вибору ознак, які використовуються на етапі попередньої обробки даних перед побудовою моделей машинного навчання. У цьому документі увага приділяється методу фільтра, коли він використовує вибір ознак на основі кореляції (далі CFS) та метод симетричної невизначеності (далі CFS-SU) або кореляцію Пірсона (далі PearCorr). Метою роботи є підвищення ефективності вибору ознак за допомогою фільтра з CFS шляхом нової організації процесу вибору ознак. Завдання, які вирішуються в статті: огляд та аналіз існуючої організації процесу виділення ознак фільтром з CFS; визначення причин, що спричинюють погіршення якості моделі; розробка нового підходу; оцінка запропонованого підходу. Для реалізації поставлених завдань використовувалися такі методи: теорія інформації, теорія процесів, теорія алгоритмів, теорія статистики, методи вибірки, теорія моделювання даних, наукові експерименти. Результати. На основі отриманих результатів доведено: 1) функція оцінки вибраної підмножини ознак не може базуватися лише на CFS оцінці, оскільки це спричиняє погіршення результатів алгоритму навчання; 2) точність алгоритмів навчання класифікації покращилася, а значення коефіцієнта детермінації алгоритмів регресії зросли, коли ознаки вибираються відповідно до запропонованого процесу. Висновки. Новий процес організації для вибору ознак, який пропонується в даній роботі, поєднує властивості фільтра та алгоритму навчання в стратегію оцінювання, яка допомагає вибрати оптимальну підмножину ознак для попередньо визначеного алгоритму навчання. Обчислювальна складність запропонованого підходу не залежить від розмірів набору даних, що робить його стійким до різних різновидів даних; також запропонований процес дає змогу економити час, необхідний для пошуку підмножин функцій, оскільки підмножини вибираються випадковим чином. Проведені експерименти довели, що продуктивність алгоритмів класифікації та регресії покращилась, порівняно із продуктивністю тих самих алгоритмів навчання але без застосування запропонованого процесу на етапі попередньої обробки даних.