Ключові висновки
- Менше цензури: місцеві LLM пропонують свободу обговорення тем, що спонукають до роздумів, без обмежень, накладених на публічні чат-боти, що дозволяє вести більш відкриті розмови.
- Краща конфіденційність даних: завдяки використанню локального LLM усі згенеровані дані залишаються на вашому комп’ютері, забезпечуючи конфіденційність і запобігаючи доступу компаній, які керують загальнодоступними LLM.
- Використання в автономному режимі: локальні LLM дозволяють безперервно використовувати у віддалених або ізольованих областях без надійного доступу до Інтернету, надаючи цінний інструмент у таких сценаріях.
З моменту появи ChatGPT у листопаді 2022 року термін велика мовна модель (LLM) швидко перетворився з нішевого терміна для ботанів на штучний інтелект до модного слова на вустах у всіх. Найбільша привабливість місцевого LLM – це можливість відтворити можливості чат-бота, як-от ChatGPT, на вашому комп’ютері без багажу хмарної версії.
Існують аргументи за та проти встановлення локального LLM на вашому комп’ютері. Ми зменшимо ажіотаж і надамо вам факти. Чи варто використовувати місцевий LLM?
Плюси використання місцевих LLM
Чому людей так хвилює створення власних великих мовних моделей на комп’ютерах? Крім ажіотажу та хвастощів, які практичні переваги?
1. Менше цензури
Коли ChatGPT і Bing AI вперше з’явилися в Інтернеті, те, що обидва чат-боти хотіли сказати й зробити, було настільки ж захоплюючим, наскільки й тривожним. Штучний інтелект Bing поводився тепло та мило, наче мав емоції. ChatGPT готовий використати лайки, якщо ви ласкаво попросите. У той час обидва чат-боти навіть допомогли б зробити бомбу, якщо б ви використали правильні підказки. Це може здатися невірним у всіх відтінках, але можливість робити що завгодно була символом необмежених можливостей мовних моделей, які їх використовували.
Сьогодні обидва чат-боти пройшли настільки сувору цензуру, що вони навіть не допоможуть вам написати вигаданий кримінальний роман із сценами насильства. Деякі чат-боти штучного інтелекту навіть не говорять про релігію чи політику. Незважаючи на те, що LLM, які ви можете налаштувати локально, не повністю вільні від цензури, багато з них із задоволенням зроблять те, що спонукає до роздумів, ніж публічні чат-боти. Отже, якщо ви не хочете, щоб робот читав вам лекції про мораль під час обговорення тем, що вас цікавлять, можливо, вам підійде місцевий LLM.
2. Краща конфіденційність даних
Однією з головних причин, чому люди вибирають місцевий LLM, є гарантія того, що все, що відбувається на їх комп’ютері, залишається на їх комп’ютері. Коли ви користуєтеся місцевим LLM, це ніби приватна розмова у вашій вітальні — ніхто ззовні не може підслухати. Незалежно від того, експериментуєте ви з даними своєї кредитної картки чи ведете конфіденційні особисті розмови з LLM, усі отримані дані зберігаються тільки на вашому комп’ютері. Альтернативою є використання загальнодоступних LLM, таких як GPT-4, які надають відповідальним компаніям доступ до вашої інформації в чаті.
3. Використання в автономному режимі
З огляду на те, що Інтернет доступний за ціною, офлайн-доступ може здатися тривіальною причиною використовувати місцевий LLM. Офлайн-доступ може стати особливо критичним у віддалених або ізольованих місцях, де Інтернет-послуги ненадійні або недоступні. У таких сценаріях локальний LLM, що працює незалежно від підключення до Інтернету, стає життєво важливим інструментом. Це дозволяє вам продовжувати робити все, що ви хочете, без перерви.
4. Економія коштів
Середня ціна доступу до потужного LLM, такого як GPT-4 або Claude 2, становить 20 доларів на місяць. Хоча це може здатися не страшною ціною, ви все одно отримуєте кілька неприємних обмежень для цієї суми. Наприклад, з GPT-4, доступ до якого здійснюється через ChatGPT, ви застрягли з 50 повідомленнями на три години. Ви можете подолати ці обмеження, лише перейшовши на план ChatGPT Enterprise, який потенційно може коштувати тисячі доларів. З місцевим LLM, коли ви налаштували програмне забезпечення, ви не потребуєте місячної підписки в розмірі 20 доларів США або повторних витрат. Це як купити автомобіль замість того, щоб покладатися на послуги спільної поїздки. Спочатку це дорого, але з часом ви економите гроші.
5. Краще налаштування
Загальнодоступні чат-боти зі штучним інтелектом обмежені в налаштуваннях через проблеми безпеки та цензури. За допомогою локального помічника AI ви можете повністю налаштувати модель відповідно до ваших потреб. Ви можете навчити помічника приватним даним, адаптованим до ваших випадків використання, підвищуючи релевантність і точність. Наприклад, юрист може оптимізувати свій локальний штучний інтелект для створення точнішої правової інформації. Ключовою перевагою є контроль над налаштуванням відповідно до ваших унікальних вимог.
Мінуси використання місцевих LLM
Перш ніж перейти на іншу програму, варто врахувати деякі недоліки використання локального LLM.
1. Ресурсомісткість
Щоб запустити ефективний локальний LLM, вам знадобиться апаратне забезпечення високого класу. Подумайте про потужні процесори, багато оперативної пам’яті та, можливо, виділений графічний процесор. Не очікуйте, що бюджетний ноутбук за 400 доларів забезпечить хороші враження. Відповіді будуть дуже повільними, особливо з більшими моделями ШІ. Це як грати в передові відеоігри — для оптимальної продуктивності потрібні потужні характеристики. Вам навіть можуть знадобитися спеціальні рішення для охолодження. Суть полягає в тому, що місцеві LLM вимагають інвестицій у апаратне забезпечення найвищого рівня, щоб отримати швидкість і оперативність, які вам подобаються на веб-базованих LLM (або навіть покращити це). Обчислювальні вимоги з вашого боку будуть значними порівняно з використанням веб-служб.
2. Повільніші реакції та нижча продуктивність
Загальним обмеженням локальних LLM є менший час відгуку. Точна швидкість залежить від конкретної моделі штучного інтелекту та використовуваного апаратного забезпечення, але більшість налаштувань відстає від онлайн-сервісів. Отримавши миттєві відповіді від ChatGPT, Bard та інших, місцеві LLM можуть почуватися надзвичайно млявими. Слова повільно витікають, а не швидко повертаються. Це не завжди так, оскільки деякі локальні розгортання досягають високої продуктивності. Але пересічні користувачі стикаються з різким падінням швидкості роботи в Інтернеті. Отже, готуйтеся до «культурного шоку» від швидких онлайн-систем до повільніших локальних еквівалентів.
Коротше кажучи, якщо ви не використовуєте абсолютно найкраще налаштування (ми говоримо про AMD Ryzen 5800X3D з Nvidia RTX 4090 і достатньо оперативної пам’яті, щоб потопити корабель), загальна продуктивність вашого локального LLM не буде. порівняти з онлайн-генеративними чат-ботами ШІ, до яких ви звикли.
3. Комплексне налаштування
Розгортання локального LLM є більш складним, ніж проста реєстрація на веб-службі AI. З підключенням до Інтернету ваш обліковий запис ChatGPT, Bard або Bing AI може бути готовий до початку підказок за лічені хвилини. Налаштування повного локального стеку LLM вимагає завантаження фреймворків, налаштування інфраструктури та інтеграції різних компонентів. Для більших моделей цей складний процес може тривати годинами навіть із інструментами, спрямованими на спрощення встановлення. Деякі новітні системи штучного інтелекту все ще вимагають глибоких технічних знань, щоб працювати локально. Отже, на відміну від веб-моделей штучного інтелекту, що працюють за принципом «підключай і працюй», керування власним штучним інтелектом вимагає значних технічних і часових витрат.
4. Обмежені знання
Багато місцевих LLM застрягли в минулому. Вони мають обмежені знання про поточні події. Пам’ятаєте, коли ChatGPT не міг отримати доступ до Інтернету? Коли він тільки міг дати відповіді на запитання про події, які відбулися до вересня 2021 року? Так? Подібно до ранніх моделей ChatGPT, локально розміщені мовні моделі часто навчаються лише на даних до певної кінцевої дати. Як наслідок, вони не знають останніх подій після цього моменту.
Крім того, місцеві LLM не можуть отримати доступ до живих даних Інтернету. Це обмежує корисність для запитів у реальному часі, таких як ціни на акції чи погода. Щоб насолоджуватися подібністю даних у реальному часі, місцевим LLM зазвичай потрібен додатковий рівень інтеграції з підключеними до Інтернету службами. Доступ до Інтернету є однією з причин, чому ви можете
подумайте про оновлення до ChatGPT Plus
!
Чи варто вам використовувати місцевий LLM?
Локальні великі мовні моделі надають спокусливі переваги, але також мають реальні недоліки, які слід розглянути перед тим, як зважитися. Менше цензури, краща конфіденційність, офлайн-доступ, економія коштів і налаштування є переконливими аргументами для локального налаштування LLM. Однак ці переваги мають свою ціну. З великою кількістю вільно доступних LLM в Інтернеті, стрибок у місцеві LLM може бути схожим на відбити муху кувалдою – можливо, але надмірно. Але пам’ятайте: якщо це безкоштовно, продуктом, швидше за все, є ви та створені вами дані. Отже, сьогодні немає однозначної правильної чи неправильної відповіді. Оцінка ваших пріоритетів визначить, чи зараз правильний час для зміни.