У середу компанія Stability AI випустила нове сімейство мовних моделей ШІ з відкритим вихідним кодом під назвою StableLM. Stability сподівається повторити каталізуючий ефект своєї моделі синтезу зображень з відкритим вихідним кодом Stable Diffusion, запущеної в 2022 році. Після доопрацювання StableLM може бути використана для створення альтернативи ChatGPT з відкритим вихідним кодом.
Наразі StableLM доступна в альфа-версії на GitHub у форматі моделей з 3 млрд та 7 млрд параметрів, а в майбутньому планується випустити моделі з 15 млрд та 65 млрд параметрів, повідомляє Stability. Компанія випускає моделі під ліцензією Creative Commons BY-SA-4.0, яка вимагає, щоб адаптації посилалися на оригінального автора і поширювалися під тією ж ліцензією.
Stability AI Ltd. – лондонська фірма, яка позиціонує себе як конкурент OpenAI, який, попри свою “відкриту” назву, рідко випускає моделі з відкритим вихідним кодом і тримає ваги нейронної мережі – масу чисел, які визначають основну функціональність моделі ШІ, – у власності.
Як і GPT-4 – велика мовна модель (LLM), яка лежить в основі найпотужнішої версії ChatGPT, – StableLM генерує текст, передбачаючи наступний токен (фрагмент слова) в послідовності. Ця послідовність починається з інформації, наданої людиною у вигляді “підказки”. В результаті StableLM може складати текст і писати програми.
Як і інші нещодавні “малі” LLM, такі як LLaMA від Meta, Stanford Alpaca, Cerebras-GPT і Dolly 2.0, StableLM прагне досягти продуктивності, подібної до еталонної моделі OpenAI GPT-3, використовуючи при цьому набагато менше параметрів – 7 млрд для StableLM проти 175 млрд для GPT-3.
Параметри – це змінні, які мовна модель використовує для навчання на навчальних даних. Менша кількість параметрів робить мовну модель меншою та ефективнішою, що полегшує її запуск на локальних пристроях, таких як смартфони та ноутбуки. Однак досягнення високої продуктивності з меншою кількістю параметрів вимагає ретельного проєктування, що є значним викликом у галузі ШІ.
Stability заявляє, що випустить повний технічний звіт про StableLM “найближчим часом”.
Читайте також:
Leave a Reply