Исследователи Microsoft предложили низкоточный алгоритм обучения GBDT, основанный на градиентном квантовании.

Градиентная оптимизация для деревьев решений — это передовая технология машинного обучения, которая часто используется в реальных приложениях, таких как электронная реклама, поисковое ранжирование, прогнозирование временных рядов и т. д. Одним из недостатков GBDT является то, что для обучения требуется высокоточная целочисленная арифметика с плавающей запятой и обработка больших наборов данных, что ограничивает масштабируемость в распределенных средах.

В исследовательской статье «Количественное обучение деревьев решений с улучшенным градиентом» исследовательская группа из Microsoft Research, DP Technology и Университета Цинхуа продемонстрировала, что GBDT могут извлечь выгоду из обучения с низкой точностью, указав количественную методологию с вычислением целочисленных значений с низкой разрядностью для низкоточных вычислений. обучение эффективности ГБДТ мука.

Исследователи предложили использовать метод количественного кросс-градиентного обучения, чтобы снизить требования к высокой точности GBDT. Они масштабируют градиенты до целых чисел невероятно низкой точности, позволяя заменить арифметику с плавающей запятой целочисленной арифметикой, снижая общие затраты на вычисления.

Авторы также представили два важных подхода к поддержанию точности количественного обучения, а именно оценку случайных градиентов и перефразирование ценности статей. Они не только представили, но и продемонстрировали свою эффективность, как практическую, так и теоретическую, чтобы убедиться, что предложенный метод позволяет GBDT использовать низкоточные вычислительные ресурсы для ускорения обучения без ущерба для производительности.

Исследователи использовали как процессоры, так и графические процессоры для создания предложенной системы в своих экспериментальных оценках. По сравнению с новейшей технологией GBDT как на ЦП, так и на ГП, исследователи получили двукратное ускорение с помощью квантового обучения. Результаты исследования показали, что эта технология может ускорить обучение GBDT в таких условиях, как один процесс на ЦП, один процесс на ГП и распределенное обучение между ЦП, демонстрируя свою адаптируемость к различным вычислительным ресурсам.

Команда утверждает, что это будет первый низкоточный метод обучения, описанный для GBDT, и их работа показывает, что двух- или трехбитные градиенты подходят для обучения с эквивалентной точностью. Они ожидают, что эти результаты приведут к лучшему пониманию и улучшению традиционного алгоритма GBDT.

This Article is written as a summary article by Marktechpost Staff based on the research paper 'Quantized Training of Gradient Boosting
Decision Trees'. All Credit For This Research Goes To Researchers on This Project. Checkout the paper and github link.

Please Don't Forget To Join Our ML Subreddit