© ROOT-NATION.com - Використання контенту дозволено за наявністю зворотнього посилання.
Інтелект передових AI-моделей стає локальним. На IFA 2026 NVIDIA, Microsoft та їхні партнери об’єднують зусилля, щоб забезпечити швидше виконання інференсу та нові інструменти, які спрощують налаштування і локальний запуск агентів на обладнанні NVIDIA.
ЗМІСТ СТАТТІ:
Простіший початок роботи з локальними агентами
Раніше запуск локального агента з локальними моделями вимагав певних зусиль – потрібно було вибрати модель, знайти сумісний сервер інференсу, налаштувати параметри та стежити за оновленнями. На системах RTX і DGX ці труднощі поступово зникають. Три з найпопулярніших застосунків для агентів запропонують спрощене налаштування локальних моделей у Windows. Кожен із них побудований на llama.cpp та використовує новітні оптимізації NVIDIA для інференсу.
Perplexity Portable Computer доступний на графічних процесорах NVIDIA RTX щонайменше з 24 ГБ відеопам’яті під керуванням Linux, а підтримка Windows з’явиться найближчим часом. Користувачі можуть виконувати повні робочі процеси локально без витрачання кредитів, а за потреби додаткового дослідження або міркувань вибірково передавати окремі частини завдання одній із понад 15 передових моделей у хмарі.
Hermes Agent, розроблений Nous Research, – це універсальний агент, який вирізняється надійністю та здатністю до самовдосконалення. Hermes не прив’язаний до конкретної моделі чи постачальника й розрахований на цілодобову роботу в локальних системах, що робить ПК з RTX, робочі станції RTX PRO та DGX Spark природною платформою для нього.
Налаштування локальної моделі в Hermes надасть користувачам можливість встановлювати її в один клік на системах RTX і DGX під керуванням Windows. Агент автоматично визначить графічний процесор NVIDIA, вибере відповідну модель і конфігурацію та запустить її через інтегрований llama.cpp з уже застосованими оптимізаціями NVIDIA для інференсу. Підтримка Linux з’явиться найближчим часом. Після запуску Hermes зберігає контекст між завданнями, запам’ятовує інформацію між сеансами та створює навички, які можна використовувати повторно.
OpenClaw – це найбільший AI-проєкт на GitHub із понад 380 тисяч зірок і великою спільнотою, яка створює інструменти та навички для досліджень, інженерії, управління проєктами та повсякденної продуктивності. NVIDIA, Microsoft та OpenClaw працюють разом над тим, щоб спростити цей досвід налаштування на ПК з Windows.
Швидший інференс для прискорення локальних агентів
Продуктивність інференсу має критичне значення для забезпечення швидкої реакції локальних агентів. NVIDIA продовжує співпрацювати зі спільнотами відкритих проєктів llama.cpp і vLLM, щоб прискорювати агентні робочі процеси на локальних платформах NVIDIA. llama.cpp забезпечує до 1,9 рази вищу пропускну здатність завдяки оптимізації ядер на GeForce RTX 5090, вдосконаленим методам спекулятивного декодування та швидшому попередньому заповненню.
vLLM забезпечує приріст у 1,2 раза на RTX PRO 6000 Blackwell Workstation Edition і до 1,4 раза на двох кластерах DGX Spark. Нові ядра XQA attention у FlashInfer та оптимізації бекенду допомагають прискорити інференс на обох платформах. Ці покращення доступні для бекендів інференсу llama.cpp і vLLM. Користувачі можуть скористатися ними через застосунки LM Studio та Ollama.
Можливості NVIDIA PAIR
Більше половини домогосподарств у США мають два або більше ПК, і значна частина обчислювальної потужності цих пристроїв протягом дня залишається невикористаною. NVIDIA Personal AI Router (PAIR) – це безкоштовний програмний інструмент із відкритим кодом, який дає змогу об’єднати ці системи для локальної роботи з AI. PAIR автоматично знаходить сумісні ПК у локальній мережі та спрямовує незалежні запити на інференс до системи, яка має доступні ресурси. Інструмент працює з Ollama та LM Studio і може адаптуватися, коли пристрої підключаються до мережі або залишають її.
Наприклад, користувач може попросити Hermes створити план Sunday Reset, розібравши захаращену поштову скриньку та визначивши, що потребує уваги, що може зачекати, а що взагалі зайве. Hermes розділить цю роботу між кількома субагентами, а PAIR розподілить завдання між доступними ПК.
Бета-версія NVIDIA PAIR доступна для Windows, macOS і Linux через графічний інтерфейс та термінал. Інструмент підтримує GPU NVIDIA GeForce RTX 20-ї серії та новіші, робочі станції з GPU NVIDIA RTX PRO на архітектурі Turing і новішій, NVIDIA DGX Spark та чипи Apple M4 або новіші.
CyberLink PhotoDirector AI PC Mode на RTX Spark
Відкриті моделі для роботи із зображеннями та відео дають художникам змогу експериментувати з моделями Creative AI на ПК. Це дозволяє їм досліджувати концепції й ідеї без тривоги через ліміт токенів, а також зберігати більшу частину творчої роботи безпосередньо на пристрої. Новий режим CyberLink PhotoDirector AI PC Mode став одним із перших застосунків, у якому ці моделі безпосередньо інтегровані у творче програмне забезпечення та перетворені на інструмент для роботи художників.
AI PC Mode з’явиться у PhotoDirector 365 та буде оптимізований для NVIDIA RTX Spark після запуску. Користувачі отримають інструменти редагування на основі AI для генеративного редагування, покращення зображень, видалення об’єктів і небажаних елементів, видалення та заміни фону, вдосконалення портретів і створення повністю нових візуальних матеріалів.
Читайте також: NVIDIA купує популярну ШІ-платформу Hugging Face