Минулого року Meta оголосила, що PyTorch приєднався до Linux Foundation як нейтральний майданчик для розвитку проєкту та спільноти машинного навчання, а компанія AMD стала частиною керівної ради.
PyTorch Foundation активно сприяє впровадженню ШІ шляхом демократизації екосистеми ПЗ за допомогою принципів відкритого коду, що відповідає основним принципам відкритої екосистеми програмного забезпечення AMD. Компанія AMD своєю чергою сприяє інноваціям і намагається спростити та прискорити процес впровадження ШІ в широкому спектрі наукових відкриттів.
Коли вона стала членом-засновником PyTorch Foundation, то продовжувала поліпшувати фреймворки ШІ з відкритим кодом. І зараз AMD та PyTorch представляють останні оновлення ROCm і PyTorch, які дозволять розробникам створювати нові ШІ-рішення на базі прискорювачів AMD Instinct та Radeon.
Підтримка спільноти PyTorch була надзвичайно корисною – вона допомогла виявити певні прогалини, визначити пріоритети ключових оновлень, а також надавала зворотний зв’язок для оптимізації продуктивності та підтримки шляху від «бета-версії» до «стабільної». Результати спільних зусиль наочно демонструє рівень продуктивності, який виміряно на ключових галузевих бенчмарках, таких як SuperBench від Microsoft.
Поступове вдосконалення як архітектури AMD CDNA, так і ROCm та PyTorch демонструє зростання продуктивності окремої моделі графічного процесора з AMD Instinct MI100 до графічних процесорів сімейства AMD Instinct MI200 останнього покоління з ROCm 4.2 до ROCm 5.3 та з PyTorch 1.7 до PyTorch 1.12. Серед ключових оновлень такі:
- Повна безперервна інтеграція (CI) для ROCm у PyTorch. Усі функції перевіряються за допомогою процесу CI, що сприяє належному створенню і тестуванню перед очікуваним релізом Docker та PIP wheel
- Підтримка Kineto Profiler. Завдяки підтримці профайлера для ROCm розробники та користувачі зможуть отримати ефективні інструменти діагностики та профілювання для кращого розуміння й усунення «вузьких місць» у продуктивності
- Підтримка ключових бібліотек PyTorch. Користувачам надається відкритий доступ до екосистеми бібліотек PyTorch, зокрема TorchText, TorchRec, TorchVision, TorchAudio та інших оптимізованих колекцій, таких як MIOpen, RCCL і rocBLAS, для досягнення нового рівня ефективності та вищої продуктивності
- Підтримка АITemplate Inference Engine. Щоб поліпшити продуктивність, AITemplate з відкритим кодом MetaAI та бібліотека Composable Kernel (CK) можуть підтримувати більше матричних ядер AMD для трансформаторних блоків.
Крім того, AMD та PyTorch спільно розробили понад 50 функцій та покращень функціональності, щоб додати стабільну підтримку ROCm. До них відносяться покращення інструментів, компіляторів, середовища виконання, оптимізація графіки за допомогою TorchScript, використання квантового шляху INT8 та інтеграція середовища виконання ONNX.
Аби прискорити застосування можливостей ШІ як на периферії, так і в центрі обробки даних, AMD надає PyTorch доступ до портфоліо FPGA та адаптивних SoC. ШІ-платформа AMD Vitis пропонує моделі штучного інтелекту, оптимізовані ядра процесора глибокого навчання (DPU), інструменти, бібліотеки та приклади проєктів для штучного інтелекту.
Також цікаво: