Исследователи Лаборатории искусственного интеллекта Сбербанка при поддержке учёных факультета компьютерных наук ВШЭ смогли увеличить скорость работы градиентного бустинга — одного из самых эффективных алгоритмов для решения задач машинного обучения. Предложенный подход позволит быстрее решать задачи классификации и регрессии машинного обучения. Результаты их работы были представлены на конференции NeurIPS.
Большинство задач в области анализа данных сводятся к прогнозированию на основе имеющихся данных. Это может быть задача классификации, когда нужно определить принадлежность объекта к определённому классу, или регрессии, когда нужно предсказать числовое значение. В практической работе часто возникают ситуации, где количество классов или размерность регрессии может быть очень большой.
В таких ситуациях исследователи прибегают к градиентному бустингу — продвинутому алгоритму машинного обучения, который решает задачи классификации и регрессии. Он строит предсказание в виде ансамбля слабых моделей. Из нескольких слабых моделей в итоге получается одна, но эффективная.
Глеб Гусев, директор Лаборатории искусственного интеллекта Сбербанка:
Наши исследователи разработали уникальный фреймворк, который позволяет расширить границы применимости градиентного бустинга. Новый алгоритм способен показывать лучшие результаты в целом ряде задач, где ранее применялись только нейросетевые подходы. Предложенный подход строится на сжимании данных перед самым времязатратным этапом — поиском оптимальной структуры дерева. Это решение откроет новые возможности для исследования моделей в области машинного обучения с целью совершенствования технологий с использованием искусственного интеллекта.
Леонид Иосипой, эксперт Центра непрерывного образования факультета компьютерных наук НИУ ВШЭ:
Работа алгоритма градиентного бустинга похожа на гольф: чтобы загнать мяч в лунĸу, гольфист ударяет клюшкой по мячу, каждый раз исходя из предыдущего удара. Перед новым ударом гольфист смотрит на расстояние между мячом и лунĸой и стремится его сократить. Бустинг строится примерно так же: каждая новая модель стремится сократить ошибку уже построенного ансамбля моделей.
У градиентного бустинга есть проблема: в классификации с очень большим количеством классов может потребоваться практически бесконечное время на обучение модели.
Решая задачу классификации, алгоритм не просто определяет классы, которые соответствуют каждому объекту, он определяет вероятность принадлежности каждого объекта к каждому возможному классу. Таким образом, чем больше классов, на которые делятся объекты, тем больше результатов выдаёт алгоритм. Как следствие, растёт вычислительная сложность этого алгоритма.
