 під назвою FoxBrain на базі Meta Llama 3.1.){kind=link}
Компанія Foxconn, яка добре відома серед всього іншого складанням iPhone та інших продуктів Apple, повідомила про випуск своєї першої великої мовної моделі (LLM) під назвою FoxBrain. Зазначається, що компанія планує використовувати її для поліпшення управління виробництвом і ланцюжком поставок.
Щоб дізнатись останні новини, слідкуйте за нашим каналом Google News онлайн або через застосунок.
У своїй заяві тайванська компанія повідомила, що її мовна модель базується на архітектурі Llama 3.1 від Meta з 70B параметрами з використанням дистиляції. Причому компанія використала лише 120 графічних процесорів H100 від NVIDIA для того, щоб навчити FoxBrain. Дистиляція моделі передбачає використання батьківської моделі та навчання “дочірньої” моделі на основі її відповідей.
Представники Foxconn також визнали, що їхня перша LLM не така хороша, як китайська модель DeepSeek, але її загальна продуктивність дуже близька до стандартів світового класу.
Теж цікаво: Тектонічні зрушення в сфері AI: Microsoft робить ставку на DeepSeek?
“В останні місяці поглиблення можливостей міркувань та ефективне використання графічних процесорів поступово стали основним напрямком розвитку в галузі AI. Наша модель FoxBrain прийняла дуже ефективну стратегію навчання, зосередившись на оптимізації процесу навчання, а не на сліпому накопиченні обчислювальної потужності, – заявили у Центрі досліджень штучного інтелекту в Науково-дослідному інституті Hon Hai. – Завдяки ретельно розробленим методам навчання та оптимізації ресурсів ми успішно побудували локальну AI-модель з потужними можливостями міркування”.
Наразі Foxconn не лише збирає продукцію Apple, але й виробляє сервери штучного інтелекту NVIDIA. Разом зі 120 графічними процесорами H100, AI FoxBrain був масштабований за допомогою мережі NVIDIA Quantum-2 InfiniBand, і навчання було завершено лише за чотири тижні. Загальні обчислювальні витрати – 2688 GPU-днів. Foxconn змогла згенерувати 98 млрд токенів високоякісних даних для попереднього навчання традиційною китайською мовою з довжиною контекстного вікна 128 тисяч токенів.
Партнерство Foxconn і NVIDIA не є новим. Це компанії також працюють над іншими проєктами, зокрема, над будівництвом найбільшого у світі заводу з виробництва графічних процесорів Blackwell. NVIDIA також надала Foxconn свій суперкомп’ютер Taipei-1, щоб компанія могла завершити попереднє навчання моделі. Foxconn заявила, що FoxBrain стане “важливим двигуном” для модернізації трьох основних платформ: Smart Manufacturing, Smart EV і Smart City.
Читайте також:
- В Китаї представили «першого у світі» повністю автономного AI-агента
- Root Nation запускає бота Ruta AI в партнерстві з українським стартапом UNPRESS