Ключові висновки
- Модель Gemini від Google має три варіанти: Ultra, Pro та Nano, орієнтовані на різні завдання та рівні складності.
- Gemini Ultra показує багатообіцяючі результати в ключових тестах AI, але станом на грудень 2023 року недоступний для загального використання. Google каже, що він має бути доступним у січні 2024 року.
- Gemini Pro доступний, і хоча він працює досить добре, наразі йому не вдається скинути GPT-4.
Google постійно обіцяв, що його модель Gemini AI буде кращою, ніж GPT-4 OpenAI, модель, на якій працює ChatGPT Plus. Тепер, коли Google Gemini запущено, ми нарешті можемо протестувати його та побачити порівняння Gemini з GPT-4.
Коли Google запустив Bard у березні 2023 року, було багато причин радіти. Нарешті, монополія OpenAI на ChatGPT буде порушена, і ми отримаємо гідну конкуренцію.
Але Bard ніколи не був титаном штучного інтелекту, на якого сподівалися люди, і GPT-4 залишається домінуючою генеративною платформою чат-ботів штучного інтелекту. Тепер Gemini від Google тут, але чи довгоочікувана модель ШІ краща за ChatGPT?
Що таке модель Google Gemini AI?
Gemini — це найпотужніша генеративна модель штучного інтелекту від Google, здатна розуміти та працювати з різними форматами даних, включаючи текст, аудіо, зображення та відео. Це спроба Google створити уніфіковані можливості малювання моделі штучного інтелекту на основі найпотужніших технологій штучного інтелекту. Gemini буде доступний у трьох варіантах:
У своєму офіційному блозі Ключове словоGoogle каже, що Gemini Ultra перевершує найсучасніші моделі в кількох тестах. Google стверджує, що Gemini Ultra перевершує лідера галузі GPT-4 у кількох ключових тестах.
З безпрецедентним результатом у 90,0% за суворим тестом MMLU, Google стверджує, що Gemini Ultra є першою моделлю, яка перевершила продуктивність людського рівня в цьому багатогранному тесті, що охоплює 57 предметів.
Gemini Ultra також може розуміти, пояснювати та генерувати високоякісний код на деяких із найпопулярніших у світі мов програмування, включаючи Go, JavaScript, Python, Java та C++. На папері це все чудові результати. Але це все еталонні показники, а еталонні показники не завжди розповідають всю історію. Отже, наскільки добре Близнюки справляються з реальними завданнями?
Як використовувати Google Gemini AI
З трьох варіантів моделі Gemini AI ви можете почати використовувати Gemini Pro прямо зараз. Наразі Gemini Pro доступний у чат-боті Google Bard. Щоб використовувати Gemini Pro з Bard, перейдіть до bard.google.com і увійдіть за допомогою свого облікового запису Google.
Google каже, що Gemini Ultra вийде в січні 2024 року, тому поки що ми змушені були погодитись на тестування Gemini Pro проти ChatGPT.
Порівняння Gemini з GPT-3.5 і GPT-4
Коли запускається будь-яка нова модель штучного інтелекту, вона перевіряється на відповідність моделям штучного інтелекту OpenAI GPT, які загальновизнані як найсучасніші моделі, проти яких слід протистояти іншим моделям. Отже, використовуючи Bard і ChatGPT, ми перевірили здібності Gemini в математиці, творчому письмі, створенні коду та точному оброблянні вхідних зображень.
Почавши з найпростішого математичного запитання, яке ми могли придумати, ми попросили розв’язати обидва чат-боти: -1 x -1 x -1.
Бард пішов першим. Ми двічі повторювали запитання, повертаючись із неправильними відповідями. Ми отримали відповідь із третьої спроби, але це не зараховується.
Ми спробували ChatGPT працювати на GPT-3.5. Перше випробування вийшло правильно.
Щоб перевірити здатність Gemini інтерпретувати зображення, ми доручили йому інтерпретувати деякі популярні меми. Він відмовився, сказавши, що не може інтерпретувати зображення людей. ChatGPT, керуючи GPT-4V, захотів і міг зробити це бездоганно.
Ми спробували ще одну спробу змусити його інтерпретувати зображення, одночасно перевіряючи його здатність вирішувати проблеми та кодувати. Ми дали Bard, який запускає Gemini Pro, знімок екрана та попросили його інтерпретувати та написати код HTML і CSS, щоб відтворити знімок екрана.
Ось вихідний скріншот.
Нижче наведено спробу Gemini Pro інтерпретувати та відтворити знімок екрана за допомогою HTML і CSS.
А ось спроба GPT-4 відтворити скріншот. Результат не дивний, враховуючи, що GPT-4 історично був сильним у кодуванні. Раніше ми демонстрували використання GPT-4 для створення веб-програми з нуля.
Ми попросили Gemini Pro створити вірш про Tesla (бренд електромобілів). Він показав незначні покращення порівняно з попередніми тестами, які ми проводили в минулому. Ось результат:
На цьому етапі ми подумали, що порівняння результатів із GPT-3.5, а не з наддувом GPT-4 було б доцільнішим. Тож ми попросили ChatGPT із GPT-3.5 створити подібний вірш.
Це може бути особистий вибір, але погляд Gemini Pro на це здається кращим. Але ми дозволимо вам бути суддею.
Чи Gemini краще, ніж ChatGPT?
Перш ніж Google запустив Bard, ми думали, що це буде конкурс ChatGPT, на який ми чекали, але цього не було. Тепер Gemini тут, і поки що Gemini Pro не здається моделлю, яка б дала ChatGPT нокаутуючий удар.
Google каже, що Gemini Ultra стане набагато кращим. Ми щиро сподіваємося, що це так, і що він відповідає або перевищує твердження, зроблені в оголошенні Gemini Ultra. Але доки ми не побачимо та не протестуємо найкращу версію генеративного інструменту штучного інтелекту від Google, ми не дізнаємося, чи зможе він перевершити інших конкурентів моделі штучного інтелекту. На сьогоднішній день GPT-4 залишається беззаперечним чемпіоном у моделях ШІ.