Новый подход помогает уменьшить время синхронизации в распределённых системах и снизить затраты на обучение моделей искусственного интеллекта.
Команда Центра практического искусственного интеллекта Сбербанка совместно с учёными из МФТИ представила исследование, направленное на повышение эффективности обучения распределённых и федеративных моделей. Работа под названием «Accelerated Methods with Compressed Communications for Homogeneous Tasks in Distributed Optimization» была принята к публикации на международной конференции AAAI’25 — одном из ведущих мероприятий в сфере искусственного интеллекта.
Современные нейросетевые модели могут включать миллиарды параметров, что требует масштабного обучения на распределённых кластерах. Однако значительная часть времени при таком подходе уходит не на сами вычисления, а на обмен данными между машинами. При неэффективной коммуникации обучение может не только замедлиться, но и уступать по скорости централизованным решениям.
Предложенный метод позволяет сократить объём передаваемых данных и снизить частоту синхронизаций между устройствами за счёт двух ключевых факторов: однородности локальных выборок и сжатия коммуникаций. Это особенно актуально в условиях ограниченной пропускной способности сетей и высоких задержек, типичных для многих распределённых систем.
Разработка может применяться в самых разных отраслях — от финансов и телекоммуникаций до промышленности — везде, где используется обучение на распределённых вычислительных мощностях. Метод позволяет существенно уменьшить потребление ресурсов и ускорить внедрение ИИ-моделей, открывая возможности для создания более производительных и доступных AI-решений.
Команда Центра практического искусственного интеллекта Сбербанка совместно с учёными из МФТИ представила исследование, направленное на повышение эффективности обучения распределённых и федеративных моделей. Работа под названием «Accelerated Methods with Compressed Communications for Homogeneous Tasks in Distributed Optimization» была принята к публикации на международной конференции AAAI’25 — одном из ведущих мероприятий в сфере искусственного интеллекта.
Современные нейросетевые модели могут включать миллиарды параметров, что требует масштабного обучения на распределённых кластерах. Однако значительная часть времени при таком подходе уходит не на сами вычисления, а на обмен данными между машинами. При неэффективной коммуникации обучение может не только замедлиться, но и уступать по скорости централизованным решениям.
Предложенный метод позволяет сократить объём передаваемых данных и снизить частоту синхронизаций между устройствами за счёт двух ключевых факторов: однородности локальных выборок и сжатия коммуникаций. Это особенно актуально в условиях ограниченной пропускной способности сетей и высоких задержек, типичных для многих распределённых систем.
Разработка может применяться в самых разных отраслях — от финансов и телекоммуникаций до промышленности — везде, где используется обучение на распределённых вычислительных мощностях. Метод позволяет существенно уменьшить потребление ресурсов и ускорить внедрение ИИ-моделей, открывая возможности для создания более производительных и доступных AI-решений.
