З кількома чат-ботами, доступними в Інтернеті, може стати надзвичайно важко вибрати той, який відповідає вашим потребам. Хоча ви можете порівняти будь-які два чат-боти вручну, це займе багато часу та зусиль.
Кращий і простіший спосіб — використовувати Chatbot Arena для порівняння різних LLM, які працюють у популярних чат-ботах. Він пропонує кілька режимів для порівняння різних моделей, які ми пояснюємо нижче.
Що таке Chatbot Arena?
Створений LMSYS Org, Chatbot Arena є платформою для порівняльного аналізу різних LLM. Він використовує систему Elo Rating для рейтингу різних моделей.
Chatbot Arena пропонує користувачам кілька способів порівняти та оцінити LLM. На основі надісланих відгуків Chatbot Arena ранжує різні LLM у загальнодоступній таблиці лідерів. Проект спонсорується HuggingFace, альтернативою ChatGPT з відкритим кодом.
Як порівняти анонімні LLM з Chatbot Arena
Бойовий режим Chatbot Arena дозволяє анонімно порівнювати LLM. Наприклад, ви можете порівняти ChatGPT (GPT 3.5) і Claude. Це означає, що Chatbot Arena сама вибирає будь-які дві мовні моделі та, не розкриваючи їхні назви, дозволяє порівняти їх.
Коли ви вводите перше повідомлення, Chatbot Arena отримує відповіді від обох моделей, показуючи їх поруч. Платформа дозволяє повторно генерувати відповіді (для обох LLM) і очищати історію, щоб почати іншу розмову. Ви можете продовжувати задавати додаткові запитання, доки не виберете явного переможця.
Потім ви можете вибрати, яка модель краща, чи модель B. Після вибору переможця Chatbot Arena відкриває імена обох ботів. Цей режим чудово працює, оскільки на ваше рішення не впливає ваше попереднє сприйняття чи популярність моделей. Chatbot Arena також дозволяє регулювати такі параметри, як температура, Top P і максимальні вихідні токени.
Як порівняти вибрані LLM з Chatbot Arena
Якщо ви хочете порівняти будь-які два конкретні LLM, ви можете переключитися на паралельний режим Chatbot Arena. За винятком того факту, що ви можете самостійно вибрати LLM, цей режим працює майже так само, як режим бою. Ви можете налаштувати параметри, повторно створити відповіді, очистити історію та вибрати переможця в кінці.
Однак кількість LLM, доступних у цьому режимі, обмежена. Ви можете вибрати різні версії Llama 2, Vicuna та ChatGLM. Хоча такі популярні LLM, як GPT-4, GPT-3.5, Claude 1, Claude 2 тощо, наразі недоступні в цьому режимі, Chatbot Arena планує їх додати.
Порівняйте LLM за допомогою Chatbot Arena
Незалежно від того, чи хочете ви знайти відповідного чат-бота для своїх потреб чи просто хочете протестувати різні магістерські програми, Chatbot Arena — чудова платформа.
Він забезпечує спрощений спосіб порівняння різних мовних моделей поруч. А оскільки він підтримує таблицю лідерів на основі відгуків користувачів, ви можете безпосередньо переглядати рейтинги різних моделей, не запускаючи тести самостійно.