오른손의 좋은 세상만들기

AI Data 기업인 databricks에서는 저렴한 솔루션은 AMD GPU를 통해서 제공하고 있습니다. 물론 대부분은 NVidia GPU를 사용할수 밖에 없지만 작년 6월에 AMD솔류션을 써왔던 MosaicML을 인수하면서 가격대비 성능을 중시하는 고객을 위한 시장을 미리 생각했던것 같습니다. 작년에 읽은 기사인데 지금보니 더 의미가 있는것 같습니다. 시장을 잘 읽고 있는것 같습니다.

----------------

데이터브릭스와 AMD 파트너십: 데이터브릭스는 대규모 언어 모델(LLM) 학습을 위해 MI250과 같은 AMD GPU를 사용하는 AMD와 파트너십을 맺었습니다. 이 파트너십은 상당한 성능 향상을 가져왔습니다.
소프트웨어 혁신: AMD의 ROCm 소프트웨어 플랫폼은 OpenAI Triton 컴파일러에 대한 상당한 업그레이드와 기여를 통해 성공의 핵심 요소로 부각되고 있습니다.
성능 향상: 데이터브릭스는 ROCm 5.7 및 플래시어텐션-2와 함께 트레이닝 성능을 1.13배 향상시켰으며, GPU 클러스터를 통해 강력한 확장성을 입증했습니다.
향후 전망: 데이터브릭스 및 기타 기업들은 AI 트레이닝 능력을 더욱 향상시킬 것으로 기대되는 AMD의 MI300X GPU의 출시를 고대하고 있습니다.

-----------------

Why Databricks is Using AMD GPUs
https://analyticsindiamag.com/ai-origins-evolution/why-databricks-is-using-amd-gpus/

AI PC는 NPU 전쟁인데, AMD가 7월부터 판매하는 9000 시리즈  APU부터 50 TOPS 성능이 나는 NPU를 탑재했다고 합니다. 경쟁사에 비해서 10-20% 성능격차가 있을것으로 보입니다. 퀄컴도 이번에 많이 따라왔다고 생각은 드는데 AMD도 정말 빠르게 잘 대응중이네요.

차세대 AMD 서버용 CPU는 EPYC Turin (에픽 튜린), 한 패키지에 192코어를 지원한다고 하니 서버용 2 CPU보드는 386 Cores / 768 Threads를 지원한다고 합니다.

차세대 AMD Data Center GPU라인업은, MI350부터 CDNA 4 아키텍쳐가 적용되는데 그전 아키텍쳐대비 무려 35x배나 성능향상이 있을 예정이라고 합니다. 헐~ 2026년에는 MI400이 대기하고 있고 이것도 CDNA NEXT(5?) 가 적용되어 또 한번 점프를 할것이라고 합니다. GPU의 성능향상은 CPU랑 완전 다른 스케일로 점프하고 있습니다.