Microsoft Singularity라는 인공 지능(AI) 워크로드를 위한 새로운 "행성 규모" 스케줄링 시스템을 개발 중이라고 발표했습니다.
회사가 발행한 백서에서 설명했듯이 Singularity는 "딥 러닝 워크로드를 투명하게 선점하고 탄력적으로 확장하여 정확성이나 글로벌 규모의 AI 가속기 성능에 영향을 미치지 않으면서 높은 활용도를 보장할 수 있는 새로운 워크로드 인식 스케줄러"입니다.
비기술적 용어로, 이는 시스템이 회사의 글로벌 서버 하드웨어 네트워크를 최적으로 사용하도록 설계되어 AI 워크로드 실행과 관련된 비용을 절감하도록 설계되었음을 의미합니다. Singularity의 가치 제안의 핵심은 중간에 작업 크기를 조정하고 전 세계에 위치한 서로 다른 인프라 간에 이동할 수 있는 기능입니다.
문서에 설명된 대로 실행 중인 작업을 다른 클러스터나 데이터 센터로 이동하고 중단된 위치에서 정확히 다시 시작하여 용량 활용도를 최적화할 수 있습니다. 또한 다양한 유형과 개수의 AI 가속기를 사용하여 탄력적으로 확장하거나 축소할 수 있습니다. 이 시스템의 아름다움은 다음과 같습니다. Microsoft, Singularity가 작동하는 데 코드 수정이 필요하지 않기 때문에 개발자의 추가 작업이 필요하지 않습니다.
그러나 이를 가능하게 하기 위해, Microsoft 하드웨어 리소스에서 워크로드를 분리하는 방법을 찾아야 했습니다. 새로운 솔루션은 자체 주소 공간에서 작동하고 리소스의 원활한 재할당을 보장하는 분리 수준을 설정하는 회사가 "프록시 장치"라고 부르는 것을 사용합니다.
논문의 초점은 스케줄링 서비스에 있지만 저자는 시스템이 수십만 개의 GPU 및 기타 AI 가속기로 확장되도록 설계되었다고 말합니다.
또한 읽기: