Хочете створювати власні генеративні програми ШІ? Ось список моделей ШІ, які допоможуть вам почати роботу.
Моделі штучного інтелекту — це архітектури нейронних мереж, які надзвичайно добре виконують конкретні завдання. До них належать архітектури згорткової нейронної мережі для класифікації та сегментації зображень, генеративні попередньо підготовлені великі мовні моделі, дифузійні моделі для завдань створення зображень та
Останнім часом моделі штучного інтелекту для генеративних додатків ШІ — для зображень, мови, тексту тощо — стали надзвичайно популярними. Це завдяки прогресу в дослідженнях і доступу до високопродуктивних обчислень.
Ось короткий опис популярних моделей ШІ, про які я розповім нижче.
Ключові можливості моделіГПТ-4Велику мовну модель із відкритим кодом можна використовувати для створення додатків на базі LLMLlaMAРізноманітність додатків NLP, від чат-ботів до помічників кодуванняСокілВелику мовну модель з відкритим кодом можна використовувати для створення додатків на базі LLMСтабільна дифузіяПеретворення тексту в зображення, замальовування зображення, замальовування та масштабуванняDALL-E 2Генерація тексту в зображенняШепітРозпізнавання мовлення, переклад мови та визначення мовиStableLMЛегка велика мовна модель з відкритим кодомCLIPРізноманітність завдань НЛП, таких як відповіді на питання, резюмування та створення текстуInternLMВелика мовна модель з відкритим кодом; можна використовувати для створення додатків на базі LLMСегмент будь-якої моделіНульове узагальнення для різноманітних завдань сегментації зображенняWaveGANГенерація аудіоCycleGAN і pix2pixПереклад зображення в зображенняBioGPTГенерація та видобуток біомедичного тексту
Від мистецтва штучного інтелекту до створення персоналізованого помічника кодування, ви можете створювати низку генеративних програм штучного інтелекту на основі ваших інтересів. Тут ми перераховуємо кілька цікавих моделей штучного інтелекту, які ви можете дослідити, а також їхні ключові можливості.
Давайте розпочнемо!
ГПТ-4
ChatGPT став частиною наших повсякденних завдань: від створення маршруту для ваших майбутніх планів подорожей до супровідних листів, які відповідають опису роботи. ГПТ-4її наступник, є ще потужнішою моделлю великої мови.
Це найпотужніша система штучного інтелекту OpenAI з кращими можливостями аргументації та продуктивністю, ніж ChatGPT.
Ось технічна розмова про те, як працює GPT-4 і як ви можете створювати програми за його допомогою.
Ви можете отримати доступ до інтерфейсу ChatGPT за допомогою a безкоштовний обліковий запис OpenAI. Щоб отримати доступ до GPT-4, ви повинні мати підписку ChatGPT Plus.
Ось кілька додатків, які можна створити за допомогою цих великих мовних моделей:
- Спеціальні чат-боти
- Удосконалення платформ CRM
- Питання-відповіді на спеціальному корпусі
- Інші завдання, такі як конспектування та створення тексту
Далі ми розглянемо деякі великі мовні моделі з відкритим кодом.
LlaMA
Випущено Meta AI LlaMA, базову модель великої мови з параметрами 65B у лютому 2023 року. Згодом було випущено LLama 2 зі значними покращеннями порівняно з попереднім випуском. Ви можете отримати доступ до наступного:
- Llama Chat: налаштована Llama 2
- Code Llama: створено на основі Llama 2; навчений на більш ніж 500B маркерах коду; підтримує генерацію коду на всіх найпопулярніших мовах програмування
Ви можете завантажити та використовувати моделі Llama запит доступу. Перегляньте цей підручник, щоб дізнатися, як використовувати LLama 2 у своїх програмах Python:
Сокіл
Сокіл це ще одна модель мови з відкритим вихідним кодом Інституту технологічних інновацій (ОАЕ). Усі моделі пакету Falcon LLM є відкритими та доступні для відкритого доступу. Тож ви можете використовувати їх для створення додатків на базі LLM.
На даний момент існує чотири розміри моделей: 1,3B, 7,5B, 40B і 180B. щоб працювати краще, ніж на кількох тестах, модель 180B була навчена на наборі даних із 3,5 тис. токенів. Falcon LLM працює нарівні з іншими провідними LLM з відкритим кодом.
Falcon 180B з відкритим кодом LLM досягає продуктивності, близької до GPT-4. Ознайомтеся з цим підручником, у якому описано Falcon 180B, як його використовувати, вимоги до апаратного забезпечення та порівняння з GPT-4:
Стабільна дифузія
Стабільна дифузія модель перетворення тексту в зображення для створення зображень та інших творчих додатків ШІ. Його також можна використовувати для масштабування та малювання зображення.
Стабільна дифузія XLвипущений у липні 2023 року, пропонує кілька покращень, зокрема:
- створення описових зображень із набагато коротших підказок
- можливість генерувати допоміжний текст у зображеннях
- завдання на малювання та малювання зображень
- взаємодія з вихідним зображенням для створення варіантів
Якщо ви хочете дізнатися, як працюють дифузійні моделі — метод, що лежить в основі магії — перевірте Як працюють моделі дифузіїбезкоштовний курс від DeepLearning.AI.
DALL-E 2
DALL-E 2 від Open AI — ще одна популярна модель генерації тексту в зображення. Ви можете використовувати його для створення реалістичних зображень і мистецтва з тексту — опис природною мовою.
Його можна використовувати для наступних завдань:
- генерація зображення з текстових підказок
- зображення в живописі та поза живописом
- створення варіацій зображення
Ви можете отримати доступ до DALL-E 2 через OpenAI API або Веб-інтерфейс OpenAI labs.
Шепіт
Відкрийте ШІ Шепіт це модель розпізнавання мовлення, яку можна використовувати для багатьох програм, зокрема:
- ідентифікація мови
- завдання розпізнавання мовлення, такі як транскрипція аудіофайлів
- переклад мовлення
Ось підручник про те, як перетворити мовлення на текст за допомогою OpenAI Whisper API:
Щоб випробувати модель, ви можете встановити whisper (openai-whisper) за допомогою pip і отримати доступ до API зі сценарію Python для транскрибування аудіофайлів. Крім того, ви можете використовувати інші великі мовні моделі для узагальнення стенограми та створення аудіофайлу → підсумковий конвеєр.
StableLM
StableLM це пакет LLM з відкритим кодом від Stability AI. Наразі доступні параметри 3B і 7B. Наступні випуски включатимуть більші моделі з параметрами 15B – 65B.
Отже, якщо ви хочете поекспериментувати з легкими LLM з відкритим кодом у своїх програмах, ви можете спробувати StableLM.
CLIP
CLIP означає Contrastive Language-Image Pre-training. Це нейронна мережа, мультимодальна модель, навчена на великому наборі пар даних (текст, зображення). Модель використовує дані природної мови, намагаючись дізнатися — з описів природної мови — семантику зображень. Модель CLIP здатна передбачити найбільш релевантний текст із зображенням.
За допомогою CLIP ви можете виконувати класифікацію зображень з нуля — без дорогого попереднього навчання та тонкого налаштування. Крім того, ви можете використовувати можливості CLIP і векторних баз даних для створення цікавих програм у:
- пошук тексту в зображення та зображення в зображення
- зворотний пошук зображень
Сегмент будь-якої моделі
Сегментація зображення — це завдання ідентифікації пікселів, що належать певному об’єкту на зображенні. Випущено Meta AI Сегмент будь-якої моделі (SAM) за допомогою якого можна сегментувати будь-яке зображення та вирізати з нього об’єкти.
Джерело зображення: Сегмент будь-що
Ви можете використовувати підказки, щоб указати, що сегментувати на зображенні. Наразі SAM підтримує такі підказки: обмежувальні рамки, маски, а також точки переднього плану та фону. Модель також має чудову ефективність узагальнення нульового кадру на раніше невидимих зображеннях. Тому ніякого спеціального навчання не потрібно.
Спробуйте Модель SAM у вашому браузері!
InternLM
InternLM це модель мови з відкритим кодом. Ви можете спробувати базову модель 7B і модель чату з відкритим кодом. Модель підтримує контекстне вікно 8K. Крім того, InternLM підтримує інтерпретатор коду та можливості виклику функцій.
InternLM також доступний у бібліотеці трансформаторів HuggingFace. Ви можете використовувати полегшену структуру попереднього навчання. Він також підтримує створення та розгортання програм за допомогою LMDeploy. Отже, ви можете створювати наскрізні генеративні програми NLP за допомогою InternLM.
WaveGAN
WaveGAN є моделлю для створення аудіо. Це допомагає синтезувати необроблений аудіо із зразків реальних аудіоданих.
Ви можете навчити WaveGAN на наборі даних довільних аудіофайлів і синтезувати аудіо без тривалої попередньої обробки.
CycleGAN і Pix2Pix
Наразі ми розглянули моделі перетворення мови в текст, перетворення тексту в зображення та інші моделі для різних завдань обробки природної мови. Але що, якщо ви хочете виконати переклад із зображення в зображення? Ось, ви можете використовувати CycleGAN щоб дізнатися про відображення вихідного домену в цільовий домен для виконання перекладу зображення в зображення.
Наприклад, враховуючи зображення берега озера взимку, ви можете перекласти те саме зображення, коли сезон літо. У зображенні коня ви можете замінити коня зеброю, зберігаючи той самий фон. CycleGAN добре підходить для таких завдань.
Модель pix2pix можна використовувати для перекладу зображення в зображення; Основні можливості моделі включають:
- реконструкція об’єктів з карт країв і
- розфарбовування зображень
Ви можете знайти PyTorch реалізації CycleGAN і pix2pix на GitHub.
BioGPT
BioGPT від Microsoft — це модель трансформатора, яку можна використовувати для інтелектуального аналізу біомедичних даних і програм для створення тексту. У ньому використовуються моделі послідовності до послідовності, надані fairseq.
Fairseq з дослідження Facebook (тепер Meta AI) — це набір інструментів, який забезпечує впровадження моделей послідовності до послідовності для таких завдань, як:
- мовне моделювання
- переклад
- підведення підсумків
Обидва попередньо підготовлені моделі доступні контрольні точки моделі. Ви можете завантажити модель за URL-адресою або з центру HuggingFace.
Моделі BioGPT також є частиною бібліотеки трансформерів HuggingFace. Отже, якщо ви працюєте в біомедичному просторі, ви можете використовувати BioGPT для створення предметно-спеціальних програм.
Підведенню
Сподіваюся, ви знайшли кілька корисних моделей, за допомогою яких можна створювати генеративні програми ШІ. Хоча цей список не є вичерпним, ми охопили деякі з найпопулярніших моделей, які можна використовувати для створення програм для створення тексту та аудіо, транскрипції мови в текст, пошуку зображень тощо.
Коли ви створюєте програми з використанням великих мовних моделей, ви повинні знати про типові підводні камені, такі як фактично невірна інформація та галюцинації. І ви можете зіткнутися з обмеженнями під час точного налаштування моделей, оскільки процес точного налаштування часто потребує ресурсів.
Отже, якщо ви розробник, настав час приєднатися до революції штучного інтелекту та почати створювати цікаві програми штучного інтелекту! Ви можете випробувати ці моделі в Google Colab або інших блокнотах для спільної роботи з даними.