© ROOT-NATION.com - Використання контенту дозволено за наявністю зворотнього посилання.
Агентний AI поступово потребує більше пам’яті, зовнішніх інструментів та обробки конфіденційних даних. Більшість підходів, орієнтованих на хмарні рішення, створюють затримки, викликають занепокоєння щодо конфіденційності та передбачають регулярні витрати на токени. Проте AMD оголосила про підтримку нової моделі Meta Muse Glimmer 30B, і тепер автономні AI-агенти можна розгортати безпосередньо на пристроях із компонентами AMD.
Читайте також: AERONAUT – про все, що літає вище землі: авіація, БПЛА та дрони, ракети та космос
Локальний запуск через фреймворки на кшталт llama.cpp дає змогу зменшити залежність від хмарної інфраструктури, зберегти контроль над приватністю та скоротити витрати.
Muse Glimmer – нова модель із 30 млрд параметрів, випущена Meta Superintelligence Labs. Вона поширюється за ліцензією Apache 2.0 і призначена для локальних сценаріїв використання агентного AI, де важливі можливості моделі та свобода вибору для розробників.
Meta Muse Glimmer 30B продуктивно працює на системі з процесором AMD Ryzen AI Max+ або робочій станції з однією відеокартою AMD Radeon AI PRO R9700 із використанням відкритих фреймворків, таких як llama.cpp. Це дає змогу розмістити модель, розраховану на серйозну роботу агентного AI, на робочому місці користувача, що дозволить заощадити кошти та зберігати робочі навантаження локально.
Теж цікаво: Від “розумної колонки” до робота-бармена: Як залізо AMD змінить ваше повсякденне життя
Перші результати тестування демонструють високу локальну продуктивність Muse Glimmer 30B на обладнанні AMD: до 24 токенів на секунду на процесорі AMD Ryzen AI Max+ 395 і до 53 токенів на секунду на одній відеокарті AMD Radeon AI PRO R9700 з увімкненим dFlash. Але оптимізація програмного забезпечення та моделі вже триває, тож очікується, що продуктивність і надалі зростатиме в міру розвитку екосистеми.
Агент має зберігати контекст, ухвалювати низку рішень, викликати інструменти, аналізувати результати, адаптуватися та продовжувати роботу. Muse Glimmer 30B розроблена саме для такого тривалого процесу, зокрема для складних робочих процесів, які охоплюють багато етапів і сесій. Вона може керувати пам’яттю, відновлюватися після збоїв і продовжувати роботу після перезапуску.
Агентні системи можуть отримувати доступ до значно більшої частини робочого контексту користувача, ніж звичайний чат-бот. Їм може знадобитися працювати з локальними файлами, повідомленнями, обліковими даними та вмістом із зовнішніх джерел. Тому конфіденційність і стійкість є фундаментальними компонентами. Meta Muse Glimmer 30B розроблена з акцентом на безпеку. Вона навчена мінімізувати надмірне поширення інформації, протистояти prompt injection із ненадійного вмісту та дотримуватися меж доступу до інформації. Локальний запуск дає розробникам більший контроль над тим, де обробляються їхні дані та як модель взаємодіє з іншими компонентами робочого процесу.
Ліцензія Apache 2.0 означає, що розробники можуть використовувати Muse Glimmer 30B у комерційних цілях, змінювати її, поширювати та інтегрувати з інструментами й відкритими програмними основами, якими вони вже користуються.
LM Studio дає звичайним користувачам простий і прямий спосіб випробувати Meta Muse Glimmer локально. На сумісних системах AMD (із 32 ГБ+ відеопам’яті чи об’єднаної пам’яті VGM) модель можна завантажити та запустити за декілька хвилин. Для підключення до агентів на кшталт Hermes Agent або Open Claw передбачено сумісні кінцеві точки OpenAI та Anthropic.
Проте запустити Meta Muse Glimmer 30B недостатньо, треба ще інтегрувати її до застосунку. Lemonade інтегрує Muse Glimmer 30B в застосунки через бінарний файл локального API розміром близько 4 МБ, зберігаючи модель і дані на пристрої без потреби в окремому встановленні. Lemonade може перетворити Muse Glimmer 30B із агента на функцію застосунку. Це відкриває можливості для локальних помічників із програмування, дослідницьких інструментів та автоматизації робочих процесів.
Читайте також: Від зіткнень авто до поведінки човнів на воді: Як AI вчиться краще розуміти фізику реального світу