Ключові висновки
- Le Chat, чат-бот зі штучним інтелектом від Mistral AI, багатообіцяючий, але відстає від ChatGPT у креативності та навичках програмування.
- Здібності Le Chat до кодування поступаються ChatGPT, не справляючись із базовими завданнями, але він перевершує міркування здорового глузду.
- Хоча Le Chat може мати потенціал, він потребує подальшого вдосконалення, перш ніж конкурувати з провідними чат-ботами AI, такими як ChatGPT.
Le Chat від Mistral набирає популярності в спільноті чат-ботів штучного інтелекту, і деякі спостерігачі відзначають його як потенційного конкурента ChatGPT.
Але чи справді цей молодий чат-бот зі штучним інтелектом вартий цієї назви? Чи Le Chat від Mistral кращий за ChatGPT?
Що таке Le Chat Mistral AI?
Le Chat — це розмовний чат-бот штучного інтелекту, розроблений французьким стартапом Mistral AI. Він працює на основі кількох великих мовних моделей Mistral, зокрема Mistral Large, Mistral Small і Mistral Next, усі з яких ви можете використовувати під час взаємодії з чат-ботом AI. Незважаючи на те, що це відносно новий учасник у сфері чат-ботів штучного інтелекту, він отримав високі оцінки через продуктивність своїх моделей штучного інтелекту, незважаючи на їхній менший розмір у порівнянні з такими важковаговиками галузі, як Gemini та GPT-4.
Щоб зрозуміти, що це означає, уявіть, що ви граєте з кубиками. Чим більше у вас блоків, тим складніші та детальніші структури ви можете будувати, чи не так? Моделі AI Language трохи схожі на це. Вони мають розміри, зазвичай виражені в кількості параметрів. Отже, ви могли чути такі терміни, як «параметри 7B» або «параметри 70B» у моделях ШІ. Кількість параметрів схожа на кількість будівельних блоків, які модель має зрозуміти та створити відповіді. Отже, якщо мовна модель має більше параметрів, вона може розуміти та генерувати складніші та кращі відповіді.
Тепер, якщо GPT-4 має приблизно 1,76 трильйона параметрів, ШІ Mistral, за оцінками, має від 7 до 56 мільярдів параметрів. Бачите різницю в розмірах? Отже, здатність Mistral AI демонструвати гідну продуктивність є однією з причин ажіотажу.
Незважаючи на те, що Le Chat не користується таким рівнем розголосу, яким користується ChatGPT, ані капіталом бренду, подібного до Gemini, він пробивався в розмову щоразу, коли обговорювалася потенційна конкуренція ChatGPT. Але чи заслуговує він місця на столі?
Мені було те саме цікаво, і, щоб з’ясувати це, я ретельно протестував Le Chat, щоб побачити, як він порівнюється з ChatGPT.
Le Chat проти ChatGPT: креативність
Креативність є одним із найважливіших показників для оцінки продуктивності розмовного чат-бота ШІ. Пам’ятайте, що мета чат-бота зі штучним інтелектом – відтворювати або імітувати розмовні здібності та творчі здібності людей у масштабі. Це робить креативність дуже важливою перевагою будь-якого чат-бота ШІ. Світ експериментує з ChatGPT більше року, і його творчі здібності незаперечні. Але як порівняти Le Chat? Ми поставили обидва чат-боти на серію тестів на креативність.
Я почав із того, що запитав обох чат-ботів: «Як би ви описали себе художнику?» щоб перевірити їхню здатність використовувати творчі та образні слова для концептуалізації себе.
Ось як ChatGPT описав би себе художнику:
І ось як Le Chat описав би себе також:
Обидві відповіді були доречними по-своєму. ChatGPT більше інвестував у використання яскравих образів і метафор для опису себе, демонструючи творчий підхід. З іншого боку, відповідь Le Chat є дуже інформативною та зосереджена на описі його суті як чат-бота ШІ. Хтось може сказати, що йому бракує творчого підходу та художнього підходу, які демонструє відповідь ChatGPT. Однак я не можу сказати, що я віддаю перевагу легшій для уявлення відповіді Le Chat перед абстрактним описом ChatGPT.
Тоді я попросив ChatGPT і Le Chat написати реп-пісню про те, як стати багатим на вирощуванні огірків — хитрий запит, який ми використовували, щоб перевірити креативність інших чат-ботів. Скільки реп пісень про огірки можна знайти в Інтернеті?
Ось відповідь ChatGPT:
А ось відповідь Le Chat:
Це може бути суб’єктивна проблема, але відповідь ChatGPT здається кращим варіантом. Текст Le Chat здавався досить багатослівним і не схожим на репер. Щоб перевірити, як звучатимуть обидва тексти, якби вони були перетворені на музику, ми використали музичний генератор Suno AI для створення музики з текстів. У трьох із трьох випробувань тексти ChatGPT звучали набагато краще. Нижче наведено два зразки з обох чат-ботів штучного інтелекту, ви можете судити, який чат-бот виявився кращим.
Зразки, згенеровані з текстів ChatGPT
Зразок 1:
Зразок 2:
Зразки, створені на основі пісень Mistral Le Chat
Зразок 1:
Зразок 2:
Я спробував виконувати кілька інших творчих завдань, як-от вірші, написання статей і написання складних робочих електронних листів за допомогою чат-ботів ШІ. Незважаючи на велику перспективність, ChatGPT явно перевершив Le Chat у всіх випадках. Важливо зазначити, що Le Chat був особливо сильним у створенні статей, хоча й з деякими складними стилями підказок. Однак у плані всебічної креативності медаль дісталася ChatGPT.
Le Chat проти ChatGPT: Навички програмування
Вміння кодувати стало ключовою вимогою для основних чат-ботів ШІ. Написання гідного коду є базовою навичкою, але щоб по-справжньому виділятися серед еліти, чат-бот ШІ повинен продемонструвати свою майстерність у створенні коду, який може ефективно вирішувати різноманітний спектр складних проблем. Раніше ми створили цілу веб-програму з нуля, використовуючи ChatGPT, який демонструє свої надзвичайні можливості як інструменту програмування. Але наскільки Le Chat добре вміє писати код?
Я доручив обом чатботам написати просту програму зі списком справ за допомогою CSS, HTML і JavaScript. ChatGPT не мав жодних проблем із отриманням хороших результатів. Я скопіював згенерований код і попередньо переглянув його в браузері, і ось що створив ChatGPT:
Щоразу, коли ми повторювали підказку, ChatGPT створював функціональний додаток зі списком справ, використовуючи різні стилі. Жодного випадку згенерований код не спрацював.
Коли я спробував те саме підказку з Le Chat, він згенерував код, який здавався зрозумілим, але коли ми спробували запустити його в браузері, він не працював. Після триразового повторення підказки жоден екземпляр не створив код, який міг би виконати встановлене завдання. Він провалився в одному з найпростіших завдань кодування — червоний прапор!
Звичайно, я не буду судити Le Chat за одним невдалим тестом. Далі я попросив обидва чат-боти згенерувати код JavaScript і PHP для шифрування та дешифрування тексту. У цьому другому тесті і ChatGPT, і Le Chat створили функціональний код, який міг виконати поставлене завдання. Однак версія Le Chat виглядала так, як написав би недосвідчений програміст початкового рівня. З іншого боку, код ChatGPT був повнішим і виглядав так, ніби його написав досвідчений програміст.
Я повторив ще кілька програмних тестів, пов’язаних із пошуком і виправленням помилок, і ChatGPT постійно перевершував Le Chat. У деяких випадках Le Chat навіть не знав, що він мав робити. Є хороші шанси, що Le Chat може зрівнятися з ChatGPT у деяких сферах, але навички програмування, здається, не є однією з них.
Le Chat проти ChatGPT: здоровий глузд і логічне міркування
Цікавою особливістю чат-ботів зі штучним інтелектом є їхня здатність легко вирішувати складні завдання, але не справлятися з простими, для вирішення яких потрібен елементарний здоровий глузд. Багатьом чат-ботам, як відомим, як-от ChatGPT, так і новим учасникам, як-от Le Chat, важко розв’язувати завдання, які вимагають людського здорового глузду та логічного мислення. Отже, як Le Chat і ChatGPT порівнюються на цьому фронті?
Я запитав у обох чат-ботів: «Якщо у вас є 3-літрова пляшка і 5-літрова пляшка. Як можна відміряти 4 літри води, використовуючи 3-літрову та 5-літрову пляшки?»
ChatGPT вирішив проблему з чуттям:
Le Chat спробував виконати те саме завдання та зміг вирішити проблему, хоча використовуючи інший підхід.
Обидва чат-боти продемонстрували порівняльні результати в цьому тесті.
Далі ми поставили обом чат-ботам підступне запитання: «Якщо космічний корабель з Марса розіб’ється на дві частини, одна частина впаде в Атлантичний океан біля Бразилії, а друга — у Тихий океан поблизу Японії, де поховати тих, хто вижив?»
ChatGPT побачив обман і відповів відповідно:
Le Chat також зміг побачити крізь обман і також відповів відповідним чином:
Я пробував більше трюків, і здавалося, що і ChatGPT, і Le Chat досить вправно справляються зі здоровим глуздом і логічними підказками. Однак на складніші логічні запитання лише ChatGPT може дати правильні відповіді.
Незважаючи на те, що Le Chat викликав певний резонанс як потенційний «вбивця ChatGPT», наше тестування показує, що йому ще потрібно попрацювати, перш ніж він зможе по-справжньому зіткнутися з важковаговиками світу чат-ботів ШІ. Хоча Le Chat продемонстрував вражаючі можливості в таких сферах, як міркування здорового глузду, його творчі результати та навички кодування помітно відставали від ChatGPT. Французька вискочка зі штучним інтелектом, безумовно, багатообіцяюча, але машина для реклами, можливо, трохи випереджає себе.
Як і багатьом майбутнім претендентам до нього, Le Chat потребує постійного вдосконалення та навчання, перш ніж він буде готовий до вищої ліги. Наразі такі чат-боти зі штучним інтелектом, як ChatGPT, усе ще є беззаперечними королями світу чат-ботів зі штучним інтелектом. Але поле конкурентів стає тільки тіснішим, тому лідери не можуть дозволити собі спочивати на лаврах.