NVIDIA анонсувала нове сімейство ШІ-моделей Llama Nemotron з розширеними можливостями міркування. Засновані на моделях Llama з відкритим вихідним кодом від Meta✴ Platforms, моделі від NVIDIA призначені для надання розробникам основи для створення просунутих ШІ-агентів, які можуть від імені своїх користувачів незалежно або з мінімальним контролем працювати в складі пов’язаних команд для вирішення складних завдань.
Щоб дізнатись останні новини, слідкуйте за нашим каналом Google News онлайн або через застосунок.
«Агенти – це автономні програмні системи, призначені для міркувань, планування, дій і критики своєї роботи», – повідомила Карі Бріскі, віцепрезидентка з управління програмними продуктами Generative AI у NVIDIA, на брифінгу з пресою, пише VentureBeat. «Як і люди, агенти повинні розуміти контекст, щоб розбивати складні запити, розуміти наміри користувача та адаптуватися в реальному часі», – додала вона. За словами Бріскі, взявши Llama за основу, NVIDIA оптимізувала модель з точки зору вимог до обчислень, зберігши точність відповідей.
NVIDIA повідомила, що поліпшила нове сімейство моделей міркувань під час донавчання, щоб поліпшити багатокрокові математичні розрахунки, кодування, міркування і прийняття складних рішень. Це дало змогу підвищити точність відповідей моделей до 20% порівняно з базовою моделлю та збільшити швидкість інференсу вп’ятеро порівняно з іншими провідними open source моделями, що міркують. Підвищення продуктивності інференсу означають, що моделі можуть справлятися зі складнішими завданнями міркувань, мають розширені можливості ухвалення рішень і дають змогу скоротити експлуатаційні витрати для підприємств, пояснила компанія.
Моделі Llama Nemotron доступні в мікросервісах NVIDIA NIM у версіях Nano, Super і Ultra. Вони оптимізовані для різних варіантів розгортання: Nano для ПК і периферійних пристроїв зі збереженням високої точності міркування, Super для оптимальної пропускної спроможності та точності під час роботи з одним прискорювачем, а Ultra – для максимальної «агентської точності» в середовищах ЦОД із кількома прискорювачами.
Як повідомляє NVIDIA, велике донавчання було проведено в сервісі NVIDIA DGX Cloud з використанням високоякісних керованих синтетичних даних, згенерованих NVIDIA Nemotron та іншими відкритими моделями, а також додаткових керованих наборів даних, спільно створених NVIDIA. Навчання включало 360 тис. годин інференсу з використанням прискорювачів H100 і 45 тис. годин анотування людиною для поліпшення можливостей міркування. За словами компанії, інструменти, набори даних і методи оптимізації, що використовуються для розробки моделей, будуть у відкритому доступі, що надасть підприємствам гнучкість у створенні власних призначених для користувача моделей міркувань.
Однією з ключових функцій NVIDIA Llama Nemotron є можливість вмикати та вимикати опцію міркування. Це нова можливість на ринку ШІ, стверджує компанія. Anthropic Claude 3.7 має дещо схожу функціональність, хоча вона є закритою пропрієтарною моделлю. Серед моделей із відкритим вихідним кодом IBM Granite 3.2 теж має перемикач міркувань, який IBM називає «умовним міркуванням».
Особливість гібридного або умовного міркування полягає в тому, що воно дає змогу системам виключати обчислювальні витратні етапи міркувань для простих запитів. NVIDIA продемонструвала, як модель може задіяти складні міркування під час розв’язання комбінаторного завдання, але перемикатися в режим прямої відповіді для простих фактичних запитів.
NVIDIA повідомила, що ціла низка партнерів уже використовує моделі Llama Nemotron для створення нових потужних ШІ-агентів. Наприклад, Microsoft додала Llama Nemotron і мікросервіси NIM у Microsoft Azure AI Foundry. SAP SE використовує моделі Llama Nemotron для поліпшення можливостей свого ШІ-помічника Joule і портфеля рішень SAP Business AI. Крім того, компанія використовує мікросервіси NVIDIA NIM і NVIDIA NeMo для підвищення точності завершення коду для мови ABAP.
ServiceNow використовує моделі Llama Nemotron для створення ШІ-агентів, які забезпечують підвищення продуктивності та точності виконання завдань підприємств у різних галузях. Accenture зробила міркувальні моделі NVIDIA Llama Nemotron доступними на своїй платформі AI Refinery. Deloitte планує включити моделі Llama Nemotron у свою нещодавно анонсовану платформу агентського ШІ Zora AI. Atlassian і Box також працюють з NVIDIA, щоб гарантувати своїм клієнтам доступ до моделей Llama Nemotron.
Читайте також:
- BMW інтегруватиме систему Huawei HiCar у свої автомобілі, вироблені в Китаї
- Ferrari запатентувала новий дизайн двигуна V12 з овальними поршнями