Root NationНовиниНовини ITNVIDIA запускає нову еру локального AI: Gemma 4 працює прямо на RTX

NVIDIA запускає нову еру локального AI: Gemma 4 працює прямо на RTX

NVIDIA Gemma 4_RTX AI Garage

NVIDIA разом із Google представили оптимізовані моделі Gemma 4, орієнтовані на локальний запуск AI на пристроях різного рівня – від ПК із RTX до edge-рішень і системи DGX Spark. Нове покоління компактних моделей поєднує високу швидкість роботи, універсальність і підтримку мультимодальних сценаріїв, включно з обробкою тексту, зображень, відео та аудіо.

Щоб дізнатись останні новини, слідкуйте за нашим каналом Google News онлайн або через застосунок.

Тренд на відкриті моделі продовжує зміщувати фокус із хмарних сервісів у бік локального AI. Ключовим фактором стає доступ до контексту в реальному часі, що дозволяє швидше перетворювати дані на практичні дії без затримок і залежності від Інтернет-з’єднання.

Сімейство Gemma 4 включає моделі E2B, E4B, 26B і 31B, які масштабуються від крайових пристроїв до високопродуктивних GPU. Вони підтримують складні логічні задачі, генерацію та налагодження коду, агентні функції через виклик інструментів, а також мультимодальну взаємодію. Моделі працюють із понад 35 мовами та були попередньо навчені більш ніж на 140 мовах.

Gemma 4 виходить за межі хмари: AI тепер живе у вашому ПК

Молодші варіанти E2B і E4B орієнтовані на роботу офлайн із мінімальною затримкою, зокрема на пристроях Jetson. Старші моделі 26B і 31B оптимізовані для складних обчислень і сценаріїв розробки, включно з агентним AI, і ефективно працюють на RTX GPU та DGX Spark. Gemma 4 сумісна з OpenClaw, що дозволяє запускати локальних AI-асистентів із доступом до персональних файлів і застосунків для автоматизації задач. Для розгортання NVIDIA інтегрувала підтримку Ollama та llama.cpp, а також забезпечила сумісність із GGUF-чекпойнтами на Hugging Face. Платформа Unsloth пропонує інструменти для локального донавчання та оптимізації моделей.

Продуктивність забезпечується завдяки Tensor Cores, які прискорюють AI-інференс, а також екосистемі CUDA, що гарантує сумісність із популярними інструментами. Це дозволяє запускати Gemma 4 на широкому спектрі пристроїв – від Jetson Orin Nano до RTX ПК і DGX Spark – без складної додаткової оптимізації.

NVIDIA

Паралельно NVIDIA розширює екосистему локального AI. Компанія представила нові моделі Nemotron 3 Nano 4B і Nemotron 3 Super 120B, оптимізації для Qwen 3.5 і Mistral Small 4, а також відкритий стек NemoClaw для підвищення безпеки й ефективності OpenClaw.

Крім того, Accomplish.ai запустила безкоштовну версію десктопного AI-агента Accomplish FREE. Рішення працює на GPU NVIDIA, підтримує локальні моделі з відкритими вагами та використовує гібридний підхід, розподіляючи навантаження між RTX і хмарою без необхідності API-ключа.

Читайте також:

Підписатися
Сповістити про
guest

0 Comments
Найновіше
НайстарішіНайбільше голосів
Соцмережі та підписка