Основні висновки
- Le Chat, розроблений Mistral AI, демонструє перспективи як чат-бот на основі штучного інтелекту, однак поступається ChatGPT у креативних завданнях та навичках програмування.
- Здібності Le Chat у кодуванні є нижчими за ChatGPT, оскільки він не завжди справляється з базовими задачами, хоча демонструє краще розуміння ситуацій, що вимагають здорового глузду.
- Хоча Le Chat має потенціал, він потребує подальшого розвитку, щоб конкурувати з лідерами ринку чат-ботів ШІ, такими як ChatGPT.
Le Chat від Mistral привертає увагу у спільноті розробників штучного інтелекту. Деякі експерти вважають його потенційним конкурентом ChatGPT.
Але чи виправдовує цей новий чат-бот звання конкурента? Чи справді Le Chat від Mistral перевершує ChatGPT?
Що таке Le Chat від Mistral AI?
Le Chat — це інтерактивний чат-бот, що використовує штучний інтелект, розроблений французьким стартапом Mistral AI. Він функціонує на базі декількох великих мовних моделей Mistral, включаючи Mistral Large, Mistral Small та Mistral Next, які користувач може задіяти під час спілкування з чат-ботом. Попри те, що це відносно новий гравець на ринку, він здобув високу оцінку за продуктивність своїх моделей, особливо враховуючи їх менший розмір у порівнянні з такими гігантами, як Gemini та GPT-4.
Щоб краще зрозуміти принцип, уявіть, що ви граєте з конструктором. Чим більше у вас деталей, тим складніші та деталізованіші споруди ви можете звести, чи не так? Моделі штучного інтелекту працюють за схожим принципом. Їх розмір визначається кількістю параметрів. Ви могли чути про “7B параметри” або “70B параметри” у контексті моделей ШІ. Кількість параметрів аналогічна кількості будівельних блоків, які модель використовує для обробки та генерації відповідей. Тому, що більше параметрів має мовна модель, тим краще вона розуміє та формує складніші та точніші відповіді.
Для порівняння, GPT-4 має близько 1.76 трильйона параметрів, тоді як моделі Mistral AI, за оцінками, мають від 7 до 56 мільярдів параметрів. Різниця в розмірі очевидна. Отже, здатність Mistral AI демонструвати високу продуктивність є однією з причин зростання інтересу до цієї технології.
Хоча Le Chat не отримав такого широкого визнання, як ChatGPT, або репутації Gemini, він постійно згадується в дискусіях про потенційних конкурентів ChatGPT. Але чи дійсно він заслуговує на таку увагу?
Зацікавившись цим питанням, я провів ретельне тестування Le Chat, щоб з’ясувати його можливості у порівнянні з ChatGPT.
Le Chat проти ChatGPT: Креативність
Креативність є важливим критерієм для оцінки розмовних чат-ботів зі штучним інтелектом. Мета чат-ботів – імітувати мовленнєві та творчі здібності людей у великому масштабі. Тому креативність є ключовою перевагою будь-якого чат-бота. ChatGPT вже понад рік експериментують, і його творчі здібності не підлягають сумніву. Але як Le Chat показує себе у цьому плані? Ми провели серію тестів на креативність обох чат-ботів.
Я почав з запиту до обох чат-ботів: “Як би ви описали себе художнику?” Це мало перевірити їх здатність використовувати образну мову для самопредставлення.
Ось як ChatGPT описав би себе художнику:
А ось як Le Chat представив би себе:
Обидві відповіді були доречними, але з різних перспектив. ChatGPT більше використовував метафори та яскраві образи, демонструючи творчий підхід. Le Chat, у свою чергу, надав інформативну відповідь, зосереджуючись на своїй суті як чат-бота. Можна сказати, що йому не вистачає творчого підходу, який продемонстрував ChatGPT. Хоча складно сказати, чи відповідь Le Chat, яка простіше сприймається, є кращою за абстрактне описання від ChatGPT.
Далі я попросив ChatGPT та Le Chat написати реп-пісню про те, як розбагатіти на вирощуванні огірків. Це завдання мало перевірити їхню креативність у незвичайній ситуації. Наскільки часто в Інтернеті можна знайти реп про огірки?
Ось відповідь ChatGPT:
А ось відповідь Le Chat:
Звісно, це суб’єктивна оцінка, але відповідь ChatGPT виявилась кращою. Текст Le Chat був досить багатослівним і не зовсім відповідав жанру реп. Щоб оцінити звучання обох текстів у музичному форматі, ми скористалися генератором музики Suno AI. В результаті, тексти ChatGPT звучали краще у всіх трьох спробах. Нижче наведено кілька зразків, що допоможуть вам визначити, який чат-бот виявився кращим.
Зразки, згенеровані на основі текстів ChatGPT:
Зразок 1:
Зразок 2:
Зразки, створені на основі текстів Le Chat:
Зразок 1:
Зразок 2:
Я також протестував чат-боти у виконанні інших творчих завдань, як написання віршів, статей та складних робочих листів. Попри свій перспективний старт, Le Chat значно поступався ChatGPT у всіх тестах. Варто відзначити, що Le Chat добре справлявся зі створенням статей, особливо за умови складних запитів. Однак, з точки зору загальної креативності, ChatGPT здобув перемогу.
Le Chat проти ChatGPT: Навички Програмування
Вміння кодувати стало ключовою вимогою для сучасних чат-ботів ШІ. Створення якісного коду є базовою навичкою, але щоб дійсно виділитися, чат-бот має демонструвати майстерність у створенні коду для вирішення широкого спектру складних задач. Раніше ми вже створили повноцінний веб-додаток за допомогою ChatGPT, що демонструє його можливості як інструменту для програмування. Але наскільки добре Le Chat справляється з кодуванням?
Я поставив обом чат-ботам задачу написати просту програму для списку справ з використанням CSS, HTML та JavaScript. ChatGPT легко впорався із завданням. Я скопіював згенерований код та переглянув його у браузері. Ось що створив ChatGPT:
Кожного разу, коли ми повторювали запит, ChatGPT створював функціональний додаток для списку справ у різних стилях. Не було жодного випадку, коли б згенерований код не працював.
Коли я спробував те ж саме завдання з Le Chat, він створив код, який виглядав непогано, але не працював у браузері. Після трьох повторних спроб, Le Chat так і не створив працюючого коду. Він не впорався з одним із найпростіших завдань кодування – це тривожний сигнал!
Звісно, не можна судити Le Chat лише за одним невдалим тестом. Далі я попросив обидва чат-боти створити JavaScript та PHP код для шифрування та дешифрування тексту. У цьому тесті і ChatGPT, і Le Chat створили робочий код. Однак, версія Le Chat виглядала так, ніби її написав програміст-початківець. Код ChatGPT, в свою чергу, був більш повним та виглядає так, ніби його створив досвідчений фахівець.
Я провів ще декілька тестів з кодування, пов’язаних із пошуком та виправленням помилок. ChatGPT постійно випереджав Le Chat. У деяких випадках Le Chat навіть не розумів, що від нього вимагається. Можливо, Le Chat може досягти успіху в інших сферах, але навички програмування явно не є його сильною стороною.
Le Chat проти ChatGPT: Здоровий глузд та Логічне Міркування
Цікавою особливістю чат-ботів зі штучним інтелектом є їх здатність легко справлятися зі складними задачами, але мати труднощі з простими, які вимагають здорового глузду. Багатьом чат-ботам, як відомим, як ChatGPT, так і новим, як Le Chat, важко розв’язувати задачі, що вимагають логічного мислення. Тож як Le Chat та ChatGPT виглядають у цьому плані?
Я запитав обох чат-ботів: “Якщо у вас є 3-літрова та 5-літрова пляшки. Як ви можете відміряти 4 літри води, використовуючи ці пляшки?”
ChatGPT вирішив проблему зі знанням справи:
Le Chat спробував виконати те ж саме завдання і також вирішив його, хоч і іншим шляхом.
Обидва чат-боти показали схожі результати у цьому тесті.
Далі ми поставили обом чат-ботам підступне запитання: “Якщо космічний корабель з Марса розіб’ється на дві частини, одна впаде в Атлантичний океан біля Бразилії, а друга – в Тихий океан біля Японії, де поховати тих, хто вижив?”
ChatGPT розпізнав обман і відповів відповідним чином:
Le Chat також розпізнав обман і дав правильну відповідь:
Я застосував ще кілька хитрощів, і, здається, як ChatGPT, так і Le Chat досить добре справлялися з питаннями на здоровий глузд та логіку. Проте, у складніших логічних завданнях ChatGPT демонстрував кращі результати.
Хоча Le Chat викликав певний резонанс як потенційний конкурент ChatGPT, наше тестування показує, що йому ще потрібно працювати над собою, щоб змагатися з лідерами ринку. Хоча Le Chat показав вражаючі результати у таких сферах, як здоровий глузд, його творчі здібності та навички кодування помітно поступаються ChatGPT. Французький стартап, безперечно, перспективний, але, можливо, реклама трохи випереджає події.
Як і багатьом іншим претендентам на лідерство, Le Chat потребує постійного вдосконалення та навчання, щоб вийти на вищий рівень. На даний момент, такі чат-боти, як ChatGPT, все ще залишаються беззаперечними лідерами у сфері штучного інтелекту. Проте, конкуренція постійно зростає, тому лідери не можуть дозволити собі спочивати на лаврах.