Компанія Google представила Gemma 2 2B – компактну, але потужну мовну модель штучного інтелекту (LLM), яка може скласти конкуренцію лідерам галузі, попри свій значно менший розмір. Нова мовна модель, що містить лише 2,6 млрд параметрів, демонструє продуктивність не гіршу від набагато більших аналогів, включно з OpenAI GPT-3.5 і Mistral AI Mixtral 8x7B.
У тесті LMSYS Chatbot Arena, популярної онлайн-платформи для порівняльного тестування та оцінки якості моделей штучного інтелекту, Gemma 2 2B набрала 1130 балів. Цей результат трохи випереджає результати GPT-3.5-Turbo-0613 (1117 балів) і Mixtral-8x7B (1114 балів) – моделей, що мають удесятеро більшу кількість параметрів.
Google повідомляє, що Gemma 2 2B також набрала 56,1 бала в тесті MMLU (Massive Multitask Language Understanding) і 36,6 бала в тесті MBPP (Mostly Basic Python Programming), що є значним поліпшенням порівняно з попередньою версією.
Gemma 2 2B кидає виклик загальноприйнятій думці, що більші мовні моделі від початку працюють краще за компактні. Продуктивність Gemma 2 2B показує, що складні методи навчання, ефективність архітектури та високоякісні набори даних можуть компенсувати нестачу в числі параметрів. Розробка Gemma 2 2B також підкреслює зростаючу важливість методів стиснення і дистиляції моделей ШІ. Можливість ефективно компілювати інформацію з більших моделей у більш дрібні відкриває можливості до створення більш доступних інструментів ШІ, при цьому не жертвуючи їхньою продуктивністю.
Google навчила Gemma 2 2B на величезному наборі даних з 2 трильйонів токенів, використовуючи системи на базі своїх фірмових ШІ-прискорювачів TPU v5e. Підтримка декількох мов розширюють її потенціал для застосування в глобальних додатках. Модель Gemma 2 2B має відкритий вихідний код. Дослідники та розробники можуть отримати доступ до моделі через платформу Hugging Face. Вона також підтримує різні фреймворки, включно з PyTorch і TensorFlow.
А якщо вам цікаві статті та новини про авіацію та космічну техніку — запрошуємо вас на наш новий проєкт Aeronaut.media.
Читайте також:
Leave a Reply