오른손의 좋은 세상만들기

Green500에서 TOP500의 시스템은 소비 전력 와트당 HPL 벤치마크에서 얼마나 많은 계산 성능을 제공하는지에 따라 순위가 매겨집니다. 이 전력 효율은 기가플롭/와트 단위로 측정됩니다. 아직은 전력효율보다는 성능만을 보는 슈퍼컴퓨터이지만, 다행히 이런 순위도 점점 중시하고 있어서 다행입니다. 안그러면 그냥 마구 때려넣어서 크게만 만들려고 할테니까요.

https://top500.org/lists/green500/2024/11/

https://www.theregister.com/2024/11/22/nvidia_green500_amd/?td=readmore

두가지 놀라운 모습이네요. 빨간색 Nvidia 정말 무시무시하게 오르네요. 이 블루오우션에서 인텔만 계속 하락. 굳이 비교하면 물반 고기만인데 아무것도 못잡고 집에가는 그런 모습일련가요?

인텔 Data Centen 1년 매출은, 2018부터 이미 더 늘어나지 않는 상태였네요. 2024년에는 12-14B정도로 끝날지도 모르겠네요.

• 2023: $15.52 billion
• 2022: $19.2 billion
• 2021: $22.7 billion
• 2020: $23.5 billion
• 2019: $23.5 billion
• 2018: $22.99 billion

인텔을 AMD와 비교해도, 2024 Q2에 AMD는 $2.8B, 인텔은 $3B 거의 같고요. 다음분기는 최로로 AMD가 Intel을 data center 매출에서 넘어서게 됩니다.

AI시대 다시 주목받는 AMD Radeon RX 7900 XTX 24GB

AMD 라데온 Radeon은 원래 성장형 그래픽카드로 유명한데, 벌써 출시된지 2년이 다되어 가기도 해서 이미 성장(?)도 많이 했지만 외장 그래픽카드중에 24GB 메모리를 가진것을 찾기가 너무 어렵다 보니 다시 주목을 받고 있습니다. AI 추론용으로 쓰려면 GPU memory에 model을 올려놓고 써야하는데 24GB가 갖는 강점은 너무 강합니다. 속도가 조금 느린것은 참을 수 있지만, 돌릴 수 없는 것은 못참지요.

Ebay중고가를 살펴보니 800불 정도에 구매할수 있네요. 그래서 가격벙어도 잘되고 있습니다.

AI시대 주목받는 EPYC CPU

AI 모델을 돌리려면 GPU만 가능할거라 생각하지만 AMD는 64/128 코어를 가진 EPYC을 오래전부터 만들어왔습니다. 시스템 메모리가 DDR4/DDR5이지만 대체로 EPYC은 최소 64GB부터 256GB까지 큰 메모리를 갖춘 시스템이 많습니다. 상대적으로 큰 AI모델을 시스템 메모리에 올리고 chatgpt같은 app을 돌리면 속도는 물론 GPU로 돌렸을때 보다 느리지만 모델이 크다보니 상당히 quality있는 답을 얻을 수 있습니다. 그리고 강력한 CPU thread가 많다보니 생각보다는 느리지도 않습니다. 소비자용 GPU 로는 24GB가 max이지만 system memory는 5-10배는 더 크기 때문에 못돌리는 모델도 돌려볼 수 있습니다. 80GB 사이즈 되는 모델을 돌려보고 오, 결과가 상당히 좋은데 했습니다. 돌릴 system이 있다면 한번 돌려보시길 강추.

AMD가 Data Center매출 호조와 guidance를 높인것에 힘입어 전체 반도체 주가를 견인하는 역할을 했습니다. 그러나 정작 본인은 NVidia에 비해 주목을 덜 받는 웃픈일이 생겼습니다. ㅋㅋㅋㅋ

장중에는 AMD는 상승분을 다 반납하고 2%대도 있었고 그 와중에 NVidia는 계속 +10%로 폭등중.

AMD정도가 이렇게 좋다면 NVidia는 얼마나 더 좋을까 이렇게 사고가 흘러가는것 같음.

AI Data 기업인 databricks에서는 저렴한 솔루션은 AMD GPU를 통해서 제공하고 있습니다. 물론 대부분은 NVidia GPU를 사용할수 밖에 없지만 작년 6월에 AMD솔류션을 써왔던 MosaicML을 인수하면서 가격대비 성능을 중시하는 고객을 위한 시장을 미리 생각했던것 같습니다. 작년에 읽은 기사인데 지금보니 더 의미가 있는것 같습니다. 시장을 잘 읽고 있는것 같습니다.

----------------

데이터브릭스와 AMD 파트너십: 데이터브릭스는 대규모 언어 모델(LLM) 학습을 위해 MI250과 같은 AMD GPU를 사용하는 AMD와 파트너십을 맺었습니다. 이 파트너십은 상당한 성능 향상을 가져왔습니다.
소프트웨어 혁신: AMD의 ROCm 소프트웨어 플랫폼은 OpenAI Triton 컴파일러에 대한 상당한 업그레이드와 기여를 통해 성공의 핵심 요소로 부각되고 있습니다.
성능 향상: 데이터브릭스는 ROCm 5.7 및 플래시어텐션-2와 함께 트레이닝 성능을 1.13배 향상시켰으며, GPU 클러스터를 통해 강력한 확장성을 입증했습니다.
향후 전망: 데이터브릭스 및 기타 기업들은 AI 트레이닝 능력을 더욱 향상시킬 것으로 기대되는 AMD의 MI300X GPU의 출시를 고대하고 있습니다.

-----------------

Why Databricks is Using AMD GPUs
https://analyticsindiamag.com/ai-origins-evolution/why-databricks-is-using-amd-gpus/

AI PC는 NPU 전쟁인데, AMD가 7월부터 판매하는 9000 시리즈  APU부터 50 TOPS 성능이 나는 NPU를 탑재했다고 합니다. 경쟁사에 비해서 10-20% 성능격차가 있을것으로 보입니다. 퀄컴도 이번에 많이 따라왔다고 생각은 드는데 AMD도 정말 빠르게 잘 대응중이네요.

차세대 AMD 서버용 CPU는 EPYC Turin (에픽 튜린), 한 패키지에 192코어를 지원한다고 하니 서버용 2 CPU보드는 386 Cores / 768 Threads를 지원한다고 합니다.

차세대 AMD Data Center GPU라인업은, MI350부터 CDNA 4 아키텍쳐가 적용되는데 그전 아키텍쳐대비 무려 35x배나 성능향상이 있을 예정이라고 합니다. 헐~ 2026년에는 MI400이 대기하고 있고 이것도 CDNA NEXT(5?) 가 적용되어 또 한번 점프를 할것이라고 합니다. GPU의 성능향상은 CPU랑 완전 다른 스케일로 점프하고 있습니다.

4월에 누가 정말 일찍 정리해서 만들어놨네요.

AMD는 라이젠 Ryzen 1세대 출시때랑 비슷한 양상이긴하네요. 워낙 빠르게 변해서 내년에 MI400 시리즈를 발표해야할텐데 표 상으로는 어려울것 같기도하고요. 내년에 AMD의 명운을 걸려있다고 보여지네요

https://www.trendforce.com/presscenter/news/20240416-12119.html

https://www.reddit.com/r/AMD_Stock/comments/1dkjrhq/amdnvidia_dc_ai_dgpus_roadmap_visualized/

GFX1100 Navi 31 RDNA3 = Radeon RX 7900 XTX

https://wccftech.com/amd-rdna-3-navi-31-navi-32-navi-33-gpus-radeon-rx-7000-graphics-cards-detailed/

AMD가 Xilinx를 인수한 이후에 젤 큰 업데이트 인것 같습니다. 2-3년 이내에 FPGA가 AI 관련 system에서 아주 중요한 일을 할수 있을것으로 기대하고 있습니다. Spartan family를 유심히 봐야할것 같습니다.

https://ir.amd.com/news-events/press-releases/detail/1186/amd-extends-market-leading-fpga-portfolio-with-amd-spartan

https://www.phoronix.com/news/AMD-Spartan-UltraScale-Plus

https://semiengineering.com/using-fpgas-for-ai/

• FPGA for AI: The article discusses the use of FPGAs (Field Programmable Gate Arrays) for artificial intelligence (AI) and machine learning (ML), highlighting their potential due to inherent parallelism and hardware programmability.
• Power Efficiency: FPGAs are considered for AI applications because they can perform more processing than GPUs (Graphics Processing Units) within a quarter of the power budget, making them a low-power solution.
• Scalability: FPGAs are scalable and can be daisy-chained for larger algorithms or processing jobs, allowing for flexibility in handling complex AI tasks1.
• Programming Challenges: Despite their benefits, FPGAs face challenges such as a lack of a natural programming model for software developers and being power-hungry, which affects their adoption in AI applications2.

https://embeddedcomputing.com/technology/processing/semiconductor-ip/fpga-insights-and-trends-2023-unleashing-the-power-of-fpga

AI 매출이 폭발적으로 증가하리라는 기대가 주가의 방향과 기울기를 결정할것이기 때문에 다른 뉴스보다는 AI관련 매출과 Margin을 봐야 합니다.

리사수는 2024년도 AI관련 매출을 $2B으로 상당히 보수적으로 발표하면서 사람들 깜짝 놀래켰는데요, $4B까지는 가능하다는 것이 시장 예상입니다. Reddit의 한 user는

https://www.reddit.com/r/AMD_Stock/comments/18gx11e/mi300_400000_unit_20k_price_and_60_gm/

https://www.financetldr.com/p/2024-is-amds-year-heres-why

NVidia가 2023년에 ChatGPT열풍으로 매출이 달나라로 갈때 AMD는 전혀 수혜를 받지 못했는데 내년 MI300 family 매출 6B, 그후 10B 20B이런식으로 급속도로 늘어날 것으로 예상되기 때문에 상당히 매력적인 성장주식중 하나로 보인다. Lisa Su는 2027년까지 AI Market size가 $400B로 예측했는데 AMD가 30%면 120B, 20% 라면 80B인데, 2023년 AMD총 매출이 $22B 임을 감안할때 매출 100B돌파가 2-3년 내에 가능할것으로 보입니다.

TSMC의 chip-on-wafer-on-substrate (CoWoS) packaging 캐파를 2024년말까지 2배로 늘린다는 것도 호재입니다. 알려진 바에 따르면 TSMC의 advance package가 칩 생산의 병목입니다. 이를 두배로 늘린다는 이야기는 Apple, nVidia, AMD에게는 호재입니다. 특히 AMD chiplet구조가 수율이 좋기때문에 수요만 꾸준히 있으면 매출을 늘리기는 다른 경쟁사 보다 더 쉬울 것으로 보입니다.

https://seekingalpha.com/article/4659482-amd-is-still-being-underestimated?utm_source=stck.pro&utm_medium=referral

https://www.reddit.com/r/AMD_Stock/comments/18q0oad/amd_2025_revenue_estimate/

AMD MI300 family를 module로 만들고 base board와 함께 만드는 대만 회사는 Wistron. AI관련 기판은 독점에 가까운 회사라 이회사의 실적을 잘 track해도 Nvidia/AMD/Intel의 AI관련 매출을 파악하는데 도움이 될듯함.

> AMD AI chip shipments are expected to be 350,000–400,000 units for 2024. [=$6B~$8B revenue]

https://www.reddit.com/r/AMD_Stock/comments/18sf0wt/%E7%B7%AF%E5%89%B5%E7%82%BA2024%E5%B9%B4ai%E4%BC%BA%E6%9C%8D%E5%99%A8%E6%99%B6%E7%89%87%E7%AB%B6%E7%88%AD%E7%9A%84%E4%B8%BB%E8%A6%81%E8%B4%8F%E5%AE%B6_wistron_is_the_main_winner/