Основні тези
- Узагальнення знань є ключовим для ефективного глибокого навчання, забезпечуючи точні прогнози на основі нових даних. Навчання з нульовим прикладом сприяє цьому, дозволяючи штучному інтелекту застосовувати наявні знання для точного передбачення нових або незнайомих категорій без використання розмічених даних.
- Метод навчання з нульовим прикладом імітує процес навчання та обробки інформації людьми. Надаючи додаткові семантичні відомості, попередньо навчена модель здатна точно ідентифікувати нові категорії, подібно до того, як людина може навчитися розпізнавати гітару з порожнистим корпусом, розуміючи її характерні особливості.
- Навчання з нульовим прикладом покращує можливості штучного інтелекту, забезпечуючи краще узагальнення, масштабованість, зменшення перенавчання та економічну ефективність. Це дозволяє навчати моделі на більших обсягах даних, отримувати глибші знання через трансферне навчання, краще розуміти контекст та зменшувати залежність від великих обсягів розмічених даних. З розвитком штучного інтелекту, навчання з нульовим прикладом стане ще важливішим для вирішення складних завдань у різноманітних сферах.
Однією з головних цілей глибокого навчання є розробка моделей, які можуть узагальнювати отримані знання. Здатність до узагальнення є критично важливою, оскільки вона гарантує, що модель розуміє основні закономірності та може робити точні прогнози або приймати рішення при роботі з новими або невідомими даними. Зазвичай, для навчання таких моделей потрібна велика кількість розмічених даних, що може бути дорого, трудомістко, а іноді й просто неможливо.
Для вирішення цієї проблеми було розроблено навчання з нульовим прикладом, що дозволяє штучному інтелекту використовувати вже існуючі знання для створення досить точних прогнозів навіть за відсутності розмічених даних.
Що таке навчання з нульовим прикладом?
Навчання з нульовим прикладом – це особливий вид трансферного навчання. Його основна мета – використовувати попередньо навчену модель для розпізнавання нових або раніше невідомих категорій, надаючи лише додаткову інформацію, що описує особливості нової категорії.
Використовуючи загальні знання моделі про певні теми та надаючи їй додаткові семантичні дані про те, на що слід звернути увагу, вона зможе досить точно визначити, який об’єкт їй потрібно ідентифікувати.
Розглянемо приклад: нам потрібно розпізнати зебру, але у нас немає моделі, яка б спеціалізувалася на ідентифікації цих тварин. У цьому випадку, ми беремо вже існуючу модель, навчену розпізнавати коней, і повідомляємо їй, що коні з чорно-білими смугами є зебрами. Коли ми починаємо тестувати модель, надаючи зображення зебр і коней, є велика ймовірність, що модель правильно ідентифікує кожну тварину.
Подібно до багатьох інших методів глибокого навчання, навчання з нульовим прикладом імітує спосіб навчання та обробки інформації людьми. Люди, як відомо, здатні вчитися на льоту. Наприклад, якщо вас попросять знайти гітару з порожнистим корпусом у музичному магазині, ви можете спочатку розгубитися. Однак, якщо вам скажуть, що гітара з порожнистим корпусом – це гітара з f-подібним отвором з одного або обох боків, ви, швидше за все, відразу знайдете потрібний інструмент.
Для наочного прикладу розглянемо програму класифікації з нульовим прикладом на веб-сайті Hugging Face, яка використовує модель clip-vit-large.
На цьому зображенні показано хліб у пакеті з продуктами, прикріплений до дитячого стільця. Оскільки модель навчалася на великому наборі зображень, вона, ймовірно, здатна розпізнати кожен елемент на фотографії, як-от хліб, продукти, стільці та ремені безпеки.
Тепер ми хочемо, щоб модель класифікувала зображення, використовуючи раніше невідомі категорії. У цьому випадку новими категоріями будуть “Розслаблений хліб”, “Безпечний хліб”, “Сидячий хліб”, “Їде в продуктовому магазині” та “Безпечні покупки”.
Важливо зазначити, що ми навмисно обрали незвичайні невидимі категорії та зображення, щоб показати ефективність класифікації з нульовим прикладом.
Після обробки зображення, модель з точністю близько 80% визначила, що найбільш підходящою класифікацією для нього є “Безпечний хліб”. Ймовірно, це тому, що модель вважає дитячий стільчик скоріше елементом безпеки, ніж місцем для сидіння, відпочинку або їзди.
Чудово! Я особисто згоден з результатами моделі. Але як саме модель дійшла до такого висновку? Ось загальний огляд того, як працює навчання з нульовим прикладом.
Як працює навчання з нульовим прикладом
Навчання з нульовим прикладом дозволяє попередньо навченій моделі розпізнавати нові категорії без необхідності розмічених даних. У найпростішій формі цей процес відбувається у три етапи:
1. Підготовка
Навчання з нульовим прикладом починається з підготовки трьох типів даних:
- Вивчені категорії: дані, які використовувалися для навчання попередньої моделі. Модель вже має досвід розпізнавання цих категорій. Найкращі моделі для навчання з нульовим прикладом – це ті, що навчалися на категоріях, тісно пов’язаних з новими, які потрібно ідентифікувати.
- Невидимі/нові категорії: дані, які ніколи не використовувалися під час навчання моделі. Ці дані потрібно зібрати самостійно, оскільки їх немає у моделі.
- Семантичні/допоміжні дані: додаткові дані, які допомагають моделі визначити нову категорію. Це можуть бути слова, фрази, векторні представлення слів або назви категорій.
2. Семантичне відображення
Наступний крок – відображення характеристик невидимої категорії. Це досягається шляхом створення векторних представлень слів і розробки семантичної карти, яка пов’язує атрибути або характеристики невидимої категорії з наданими допоміжними даними. Трансферне навчання значно прискорює цей процес, оскільки багато атрибутів, пов’язаних з невидимою категорією, вже відомі.
3. Висновки
На етапі висновків модель використовується для створення прогнозів або виведення результатів. У класифікації зображень з нульовим прикладом, векторні представлення слів генеруються на основі вхідного зображення, потім вони відображаються на графіку і порівнюються з допоміжними даними. Рівень достовірності залежить від подібності між вхідними та наданими допоміжними даними.
Як навчання з нульовим прикладом покращує ШІ
Навчання з нульовим прикладом покращує моделі ШІ, вирішуючи ряд проблем машинного навчання, зокрема:
- Покращене узагальнення: Зменшення залежності від розмічених даних дозволяє навчати моделі на більших обсягах інформації, покращуючи узагальнення та роблячи модель більш надійною. Поступово, моделі стають більш досвідченими та здатними до узагальнення, вони навіть можуть навчитися здоровому глузду, а не лише типового способу аналізу інформації.
- Масштабованість: моделі можна постійно навчати та поглиблювати їх знання через трансферне навчання. Компанії та незалежні дослідники можуть безперервно вдосконалювати свої моделі, підвищуючи їх ефективність у майбутньому.
- Зменшена ймовірність перенавчання: перенавчання може виникати, коли модель навчається на малому наборі даних, який не містить достатньо різноманітної інформації для представлення всіх можливих вхідних даних. Навчання моделі за допомогою методу з нульовим прикладом знижує ймовірність перенавчання, надаючи моделі глибше розуміння контексту об’єктів.
- Економічна ефективність: надання великих обсягів розмічених даних може вимагати значних витрат часу та ресурсів. Завдяки використанню навчання з нульовим прикладом, навчання надійної моделі можна здійснити швидше та з меншою кількістю розмічених даних.
З розвитком штучного інтелекту, такі методи, як навчання з нульовим прикладом, ставатимуть дедалі важливішими.
Майбутнє навчання з нульовим прикладом
Навчання з нульовим прикладом вже стало невід’ємною частиною машинного навчання. Воно дозволяє моделям розпізнавати та класифікувати нові категорії без необхідності явного навчання. З постійним удосконаленням архітектури моделей, підходів на основі атрибутів та мультимодальної інтеграції, навчання з нульовим прикладом може значно сприяти створенню більш адаптованих моделей для вирішення складних завдань у робототехніці, охороні здоров’я та комп’ютерному зорі.