Зміна парадигми в ШІ та машинному навчанні

Федеративне навчання – це революційний підхід до збору даних та навчання моделей машинного навчання, що відрізняється від традиційних методів.

Інтегроване навчання відкриває нові можливості для розвитку машинного навчання, пропонуючи більш економічне навчання зі збереженням конфіденційності даних. У цій статті ми розглянемо, що таке федеративне навчання, як воно функціонує, його застосування та відповідні інфраструктури.

Що таке федеративне навчання?

Джерело: Вікіпедія

Федеративне навчання – це нова парадигма в галузі машинного навчання. На відміну від традиційного підходу, де дані від різних клієнтів збираються в централізованому сховищі, федеративне навчання передбачає навчання моделей без прямої передачі даних. Кожен клієнт навчає модель на своїх локальних даних, забезпечуючи збереження їхньої конфіденційності.

Рекомендуємо також ознайомитися: Роз’яснення щодо провідних моделей машинного навчання

Як працює федеративне навчання?

Процес інтегрованого навчання складається з послідовності ітераційних кроків, які формують модель. Ці кроки, відомі як раунди навчання, повторюються для поступового вдосконалення моделі. Кожен раунд включає такі етапи:

Типовий навчальний раунд

На початковому етапі сервер визначає модель, гіперпараметри, такі як кількість раундів, кількість клієнтських вузлів і частку вузлів, що беруть участь у навчанні. Модель ініціалізується початковими параметрами, створюючи базову версію.

Потім клієнти отримують копію базової моделі для локального навчання. Цими клієнтами можуть бути мобільні пристрої, персональні комп’ютери або сервери. Вони навчають модель на своїх власних даних, уникаючи обміну конфіденційними відомостями з сервером.

Після навчання на локальних даних клієнти надсилають оновлені моделі на сервер. Сервер усереднює ці оновлення, створюючи нову базову модель. Враховуючи, що клієнти можуть бути ненадійними, можливі випадки, коли деякі клієнти не надсилають свої оновлення. Сервер обробляє всі помилки, що виникають на цьому етапі.

Перед повторним застосуванням базову модель тестують. Оскільки сервер не зберігає дані, тестування відбувається на локальних даних клієнтів. Якщо нова модель показує кращі результати, її приймають і використовують надалі.

Ось корисний посібник від команди Google AI про те, як працює федеративне навчання.

Централізований, федеративний та гетерогенний підходи

У налаштуванні, де центральний сервер контролює навчання, ми маємо справу з централізованим федеративним навчанням.

На противагу цьому, децентралізоване федеративне навчання передбачає рівноправну координацію між клієнтами.

Інший підхід – гетерогенне навчання, де клієнти можуть мати різну архітектуру глобальної моделі.

Переваги федеративного навчання

  • Головна перевага федеративного навчання – збереження конфіденційності даних. Клієнти діляться результатами навчання, а не самими даними. Також можна застосовувати протоколи для агрегування результатів, що унеможливлює їх ідентифікацію з конкретним клієнтом.
  • Зменшення навантаження на мережу є ще однією перевагою, оскільки передаються моделі, а не дані.
  • Федеративне навчання робить навчання моделей більш доступним, використовуючи апаратні ресурси клієнтів замість дорогого обладнання. Невеликий обсяг даних, що використовуються для навчання, не створює значного навантаження на пристрої клієнтів.

Недоліки федеративного навчання

  • Залежність від багатьох різних вузлів, деякі з яких не контролюються розробником, створює ризик ненадійності навчального процесу.
  • Обчислювальна потужність клієнтських пристроїв (телефони) обмежена в порівнянні з кластерами GPU.
  • Федеративне навчання покладається на доброчесність клієнтів. Зловмисні клієнти можуть надсилати помилкові оновлення, що призведе до погіршення якості моделі.

Застосування інтегрованого навчання

Федеративне навчання забезпечує конфіденційне навчання і є корисним у різних галузях:

  • Прогнозування наступного слова на клавіатурі смартфона.
  • Пристрої IoT, що можуть навчати моделі локально, адаптуючись до конкретних умов.
  • Фармацевтика та охорона здоров’я.
  • Оборонна промисловість, що потребує навчання без обміну конфіденційною інформацією.

Структури для інтегрованого навчання

Існує багато фреймворків для реалізації федеративного навчання. Серед популярних: NVFlare, FATE, Flower та PySft. Рекомендуємо ознайомитись з детальним порівнянням різних фреймворків.

Висновок

Ця стаття надала вступ до федеративного навчання, описала його принцип роботи, переваги та недоліки. Крім того, ми розглянули популярні застосування та фреймворки для впровадження федеративного навчання в реальних проектах.

Далі радимо ознайомитись зі статтею про найкращі MLOps платформи для навчання моделей машинного навчання.