© ROOT-NATION.com - Використання контенту дозволено за наявністю зворотнього посилання.
NVIDIA розширила сімейство моделей Nemotron 3, представивши Nemotron 3.5 Lightning. Це відкрита модель з архітектурою mixture-of-experts (MoE) на 30 млрд параметрів для постійно активних агентів, яка забезпечує до 4 разів вищу швидкість генерації токенів і на 30% швидше завершує завдання порівняно з відкритими моделями свого класу.
Читайте також: AERONAUT – про все, що літає вище землі: авіація, БПЛА та дрони, ракети та космос
Оскільки Nemotron 3.5 Lightning – це модель з відкритими вагами, ентузіасти AI та розробники можуть донавчати її на власних прикладах, щоб вона краще відповідала конкретним робочим процесам, завданням чи інтересам. Наприклад, модель можна натренувати:
- Писати у бажаному стилі: дотримуватися заданого тону, формату чи термінології при створенні електронних листів, звітів або інших документів
- Програмувати: дотримуватися бажаних правил написання коду, фреймворків і підходів до тестування під час написання, перевірки або рефакторингу коду
- Для конкретної спеціалізації: краще розуміти якусь мову чи виконувати типові завдання у сферах фотографії, геймінгу чи 3D-дизайну.
Разом з доступом до застосунків, файлів та інших інструментів донавчені моделі можуть забезпечувати більш персоналізований досвід роботи з локальним AI-агентом. Це може бути як асистент, який допомагає керувати електронною поштою та календарями, так і агент розумного дому, який виконує повсякденні завдання, чи помічник для програмування.
Щоб забезпечити найкращий досвід локального розгортання моделей Nemotron 3.5 Lightning, NVIDIA співпрацювала з vLLM, Ollama, llama.cpp та LM Studio. Unsloth забезпечує підтримку з першого дня, пропонуючи оптимізовані моделі для ефективного локального розгортання через Unsloth Studio.
Nemotron 3.5 Lightning працює локально на NVIDIA RTX PC, NVIDIA DGX Spark та OEM-системах GB10, а також на NVIDIA Jetson, і масштабується до робочих станцій RTX PRO, систем NVIDIA DGX Station і GB300 deskside, центрів обробки даних та хмарних середовищ. Оскільки системи NVIDIA Blackwell доступні від Acer, ASUS, Dell Technologies, Exxact, GIGABYTE, HP, Lenovo, MSI та Supermicro, користувачі можуть вибирати з широкого спектра пристроїв і форм-факторів відповідно до своїх потреб.
У міру поширення генеративного AI компанії шукають способи стримувати зростання витрат на токени без відмови від доступу до інтелекту передового рівня. Бібліотека маршрутизації з відкритим вихідним кодом NVIDIA NeMo Switchyard автоматично спрямовує кожен етап робочого процесу агента до відповідної моделі на основі точності, швидкості та вартості. Вона також дає розробникам гнучкість працювати з різними моделями для виконання різних завдань.
Nemotron 3.5 Lightning доступна через OpenRouter, на build.nvidia.com як мікросервіс NVIDIA NIM, а також через широку екосистему хмарних партнерів NVIDIA, платформ посттренування, платформ для інференсу та постачальників хмарних сервісів. NeMo Switchyard доступна на GitHub.
Читайте також: Безпрецедентний альянс: NVIDIA разом із фінансовими титанами готує $500 млрд під AI-інфраструктуру