Ключові висновки
- Узагальнення має важливе значення для глибокого навчання, щоб забезпечити точні прогнози з новими даними. Навчання з нульовим ударом допомагає досягти цього, дозволяючи штучному інтелекту використовувати наявні знання для точного прогнозування нових або невідомих класів без позначених даних.
- Zero-shot Learning імітує те, як люди вивчають і обробляють дані. Надаючи додаткову семантичну інформацію, попередньо навчена модель може точно ідентифікувати нові класи, так само як людина може навчитися ідентифікувати гітару з порожнистим корпусом, розуміючи її характеристики.
- Навчання з нульовим ударом покращує штучний інтелект, покращуючи узагальнення, масштабованість, зменшуючи переобладнання та будучи економічно ефективним. Це дає змогу тренувати моделі на більших наборах даних, отримувати більше знань шляхом передачі навчання, краще розуміти контекст і зменшувати потребу у великій кількості позначених даних. У міру розвитку штучного інтелекту навчання з нульовим ударом стане ще більш важливим для вирішення складних завдань у різних сферах.
Однією з найбільших цілей глибокого навчання є навчання моделей, які отримали узагальнені знання. Узагальнення має важливе значення, оскільки воно гарантує, що модель засвоїла значущі закономірності та може робити точні прогнози чи рішення, коли стикається з новими чи невідомими даними. Навчання таких моделей часто вимагає значного обсягу позначених даних. Однак такі дані можуть бути дорогими, трудомісткими, а іноді й неможливими.
Щоб подолати цю прогалину, реалізовано нульове навчання, дозволяючи штучному інтелекту використовувати наявні знання для створення досить точних прогнозів, незважаючи на відсутність позначених даних.
Що таке Zero-Shot Learning?
Навчання з нульовим ударом – це особливий тип техніки трансферного навчання. Він зосереджений на використанні попередньо навченої моделі для визначення нових або ніколи раніше не бачених класів, просто надаючи додаткову інформацію, яка описує деталі нового класу.
Використовуючи загальні знання моделі про певні теми та надаючи їй додаткову семантику щодо того, на що слід звернути увагу, вона повинна мати можливість досить точно визначити, який предмет їй доручено ідентифікувати.
Скажімо, нам потрібно впізнати зебру. Однак у нас немає моделі, яка б могла ідентифікувати таких тварин. Отже, ми отримуємо вже існуючу модель, навчену ідентифікувати коней, і повідомляємо моделі, що коні з чорно-білими смугами є зебрами. Коли ми починаємо робити висновок про модель, надаючи зображення зебр і коней, є хороший шанс, що модель правильно ідентифікує кожну тварину.
Як і багато інших методів глибокого навчання, безпосереднє навчання імітує те, як люди вивчають і обробляють дані. Відомо, що люди вчаться з нуля. Якщо вам доручили знайти гітару з порожнистим корпусом у музичному магазині, у вас можуть виникнути проблеми з її пошуком. Але як тільки я скажу вам, що порожнистий корпус — це в основному гітара з f-подібним отвором з одного або обох боків, ви, ймовірно, відразу знайдете його.
Для реального прикладу скористаємося програмою класифікації з нульовим кодом, розміщеною на веб-сайті Hugging Face з відкритим вихідним кодом, який використовує модель clip-vit-large.
На цій фотографії зображено хліб у пакеті з продуктами, прив’язаному до високого стільця. Оскільки модель навчалася на великому наборі даних зображень, вона, ймовірно, зможе ідентифікувати кожен предмет на фотографії, наприклад хліб, продукти, стільці та ремені безпеки.
Тепер ми хочемо, щоб модель класифікувала зображення за допомогою раніше невидимих класів. У цьому випадку новими або невидимими класами будуть «Розслаблений хліб», «Безпечний хліб», «Сидячий хліб», «Водіння в продуктовому магазині» та «Безпечний продуктовий магазин».
Зауважте, що ми навмисно використовували незвичайні невидимі класи та зображення, щоб продемонструвати ефективність класифікації нульового кадру на зображенні.
Після визначення моделі вона змогла з упевненістю близько 80% визначити, що найбільш підходящою класифікацією для зображення є «Безпечний хліб». Ймовірно, це тому, що модель вважає, що дитячий стільчик більше для безпеки, ніж для сидіння, відпочинку чи водіння.
Чудово! Особисто я б погодився з результатами моделі. Але як саме модель прийшла до такого результату? Ось загальний погляд на те, як працює нульове навчання.
Як працює Zero-Shot Learning
Безпосереднє навчання може допомогти попередньо навченій моделі ідентифікувати нові класи, не надаючи позначені дані. У своїй найпростішій формі нульове навчання здійснюється в три етапи:
1. Підготовка
Безпосереднє навчання починається з підготовки трьох типів даних
- Виділений клас: дані, які використовуються для навчання попередньо навченої моделі. Модель вже надає переглядані класи. Найкращі моделі для нульового навчання — це моделі, навчені на заняттях, тісно пов’язаних із новим класом, який ви хочете ідентифікувати в моделі.
- Невидимий/новий клас: дані, які ніколи не використовувалися під час навчання моделі. Вам доведеться самостійно підбирати ці дані, оскільки ви не можете отримати їх із моделі.
- Семантичні/допоміжні дані: додаткові біти даних, які можуть допомогти моделі визначити новий клас. Це можуть бути слова, фрази, вбудовані слова або назви класів.
2. Семантичне відображення
Наступний крок — нанести на карту особливості класу unseen. Це робиться шляхом створення вбудованих слів і створення семантичної карти, яка пов’язує атрибути або характеристики невидимого класу з наданими допоміжними даними. Навчання передачі штучного інтелекту робить процес набагато швидшим, оскільки багато атрибутів, пов’язаних з невидимим класом, уже відображено.
3. Висновки
Висновок — це використання моделі для створення прогнозів або виведення. У нульовій класифікації зображень вбудовані слова генеруються на заданому вхідному зображенні, а потім наносяться на графік і порівнюються з допоміжними даними. Рівень достовірності залежатиме від подібності між вхідними та наданими допоміжними даними.
Як Zero-Shot Learning покращує ШІ
Zero-shot learning покращує моделі ШІ, вирішуючи кілька проблем машинного навчання, зокрема:
- Покращене узагальнення: Зменшення залежності від позначених даних дозволяє навчати моделі на більших наборах даних, покращуючи узагальнення та роблячи модель надійнішою та надійнішою. У міру того, як моделі стають більш досвідченими та узагальненими, моделі навіть можуть навчитися здорового глузду, а не типового способу аналізу інформації.
- Масштабованість: моделі можна безперервно навчати та отримувати більше знань за допомогою передавання. Компанії та незалежні дослідники можуть постійно вдосконалювати свої моделі, щоб бути ефективнішими в майбутньому.
- Зменшена ймовірність переобладнання: переобладнання може статися через те, що модель навчається на невеликому наборі даних, який не містить достатньо різноманітних даних для представлення всіх можливих вхідних даних. Навчання моделі за допомогою нульового навчання зменшує ймовірність переобладнання, навчаючи модель краще контекстуальне розуміння об’єктів.
- Рентабельність: надання великої кількості позначених даних може зайняти час і ресурси. Використовуючи навчання з нульовим перенесенням, навчання надійної моделі може бути виконано з набагато меншим часом і позначеними даними.
У міру розвитку штучного інтелекту такі методи, як безпосереднє навчання, ставатимуть ще важливішими.
Майбутнє Zero-Shot Learning
Навчання з нульовим ударом стало невід’ємною частиною машинного навчання. Це дозволяє моделям розпізнавати та класифікувати нові класи без явного навчання. Завдяки постійному вдосконаленню архітектури моделей, підходів на основі атрибутів і мультимодальної інтеграції, навчання з нуля може значно допомогти зробити моделі набагато більш адаптованими для вирішення складних завдань у робототехніці, охороні здоров’я та комп’ютерному зорі.
