Вибір відповідного чат-бота з безлічі доступних в інтернеті може бути складним завданням. Порівняння двох чат-ботів вручну може зайняти багато часу та зусиль.
Простішим і ефективнішим способом є використання Chatbot Arena для порівняння різних великих мовних моделей (LLM), які лежать в основі популярних чат-ботів. Ця платформа пропонує декілька режимів для порівняння, які ми розглянемо нижче.
Що таке Chatbot Arena?
Chatbot Arena, розроблена LMSYS Org, є платформою для порівняльного аналізу різних LLM. Для оцінювання моделей використовується рейтингова система Elo.
Платформа пропонує користувачам декілька способів порівняння та оцінки LLM. На основі відгуків користувачів Chatbot Arena створює загальнодоступний рейтинг різних моделей. Проєкт спонсорується HuggingFace, відомою платформою з відкритим кодом, альтернативою ChatGPT.
Як порівняти анонімні LLM з Chatbot Arena
Бойовий режим Chatbot Arena дозволяє порівнювати LLM анонімно. Наприклад, ви можете порівняти ChatGPT (GPT 3.5) і Claude. Платформа обирає дві моделі та, не розкриваючи їхніх назв, дозволяє вам їх порівняти.
Після введення першого запиту Chatbot Arena генерує відповіді обох моделей, відображаючи їх поруч. Платформа дозволяє перегенерувати відповіді (для обох LLM) та очищати історію для початку нової розмови. Ви можете задавати додаткові питання, доки не визначите явного переможця.
Потім ви вибираєте, яка модель, A чи B, краща. Після цього Chatbot Arena показує імена обох ботів. Цей режим ефективний, оскільки на ваше рішення не впливає попереднє сприйняття або популярність моделей. Також, Chatbot Arena дозволяє налаштовувати такі параметри, як температура, Top P і максимальна довжина вихідних токенів.
Як порівняти вибрані LLM з Chatbot Arena
Для порівняння двох конкретних LLM ви можете скористатися паралельним режимом Chatbot Arena. Цей режим працює подібно до бойового, з тією різницею, що ви самостійно обираєте LLM. Ви можете налаштовувати параметри, перегенерувати відповіді, очищати історію та обирати переможця.
Варто зазначити, що кількість LLM, доступних у цьому режимі, обмежена. Ви можете вибирати різні версії Llama 2, Vicuna та ChatGLM. Хоча такі популярні LLM, як GPT-4, GPT-3.5, Claude 1, Claude 2 тощо, поки що недоступні, Chatbot Arena планує їх додати в майбутньому.
Порівняйте LLM за допомогою Chatbot Arena
Chatbot Arena – це чудовий інструмент, незалежно від того, чи потрібно вам знайти відповідний чат-бот для власних потреб, чи просто хочете протестувати різні мовні моделі.
Платформа забезпечує простий спосіб порівняння різних мовних моделей. А завдяки таблиці лідерів, що оновлюється на основі відгуків користувачів, ви можете переглядати рейтинги різних моделей, не проводячи тести самостійно.