Компанія NVIDIA оголосила про співпрацю з OpenAI та представила споживачам нову серію відкритих моделей gpt-oss. Вони дозволять найсучаснішим AI-технологіям, які раніше були доступні виключно в хмарних дата-центрах, працювати з неймовірною швидкістю на ПК та робочих станціях з графічними процесорами RTX. Цей запуск відкриває нове покоління швидших і розумніших AI на пристроях, що працюють на базі потужних графічних процесорів GeForce RTX і PRO.
Щоб дізнатись останні новини, слідкуйте за нашим каналом Google News онлайн або через застосунок.
Серія включає дві нові моделі – gpt-oss-120b та gpt-oss-20b. Вони вже доступні всім охочим: розробникам, ентузіастам, бізнесу, стартапам і державним структурам у різних країнах та галузях. Вони орієнтовані на створення проривних рішень у сфері генеративного та логічного AI, медицини, виробництва тощо:
- Модель gpt-oss-20b оптимізована для роботи з максимальною продуктивністю на ПК з NVIDIA RTX AI з об’ємом VRAM не менше 16 ГБ. Вона забезпечує до 250 токенів в секунду на графічному процесорі RTX 5090
- Модель gpt-oss-120b підтримується на професійних робочих станціях, що прискорюються графічними процесорами NVIDIA RTX PRO.
У співпраці з NVIDIA ці моделі були натреновані на графічних процесорах H100 і найкраще працюють на багатомільйонній екосистемі GPU, що базується на платформі CUDA, яка широко використовується у світі. Це перші моделі, що підтримують точність MXFP4 на NVIDIA RTX – технологію, яка підвищує якість і точність моделі без додаткових витрат на продуктивність порівняно зі старими методами.
Вони доступні як мікросервіси NVIDIA NIM, що забезпечує просте розгортання на будь-якій інфраструктурі з прискоренням на GPU, а також гнучкість, конфіденційність даних і безпеку корпоративного рівня. Завдяки оптимізації під платформу NVIDIA Blackwell, моделі забезпечують оптимальне виведення на системах NVIDIA GB200 NVL72, досягаючи 1,5 млн токенів на секунду.
Розпочати роботу з новими моделями OpenAI на графічних процесорах NVIDIA RTX можна таким чином:
- Через застосунок Ollama. Його користувацький інтерфейс включає вбудовану підтримку моделей gpt-oss, які оптимізовані для графічних процесорів RTX
- Через Llama.cpp. NVIDIA співпрацює зі спільнотою відкритого ПЗ для оптимізації продуктивності на графічних процесорах RTX. Розробники можуть розпочати роботу в репозиторії Llama.cpp на GitHub
- Microsoft AI Foundry. Розробники Windows можуть отримати доступ до моделей через Microsoft AI Foundry Local.
“OpenAI показала світу, що можна створити на базі NVIDIA AI, а тепер вони просувають інновації в програмному забезпеченні з відкритим кодом, – заявив засновник і генеральний директор NVIDIA Дженсен Хуанг. – Моделі gpt-oss дозволяють розробникам у всьому світі створювати на базі цієї найсучаснішої платформи з відкритим кодом, зміцнюючи технологічне лідерство США в галузі штучного інтелекту – і все це на найбільшій у світі обчислювальній інфраструктурі штучного інтелекту”.
Читайте також:
- Голова OpenAI пояснив, чому не можна повністю покладатися на ChatGPT
- Понад $1 млрд на чорному ринку: у Китаї масово продають заборонені чипи NVIDIA після нових санкцій США