오른손의 좋은 세상만들기

AI Data 기업인 databricks에서는 저렴한 솔루션은 AMD GPU를 통해서 제공하고 있습니다. 물론 대부분은 NVidia GPU를 사용할수 밖에 없지만 작년 6월에 AMD솔류션을 써왔던 MosaicML을 인수하면서 가격대비 성능을 중시하는 고객을 위한 시장을 미리 생각했던것 같습니다. 작년에 읽은 기사인데 지금보니 더 의미가 있는것 같습니다. 시장을 잘 읽고 있는것 같습니다.

----------------

데이터브릭스와 AMD 파트너십: 데이터브릭스는 대규모 언어 모델(LLM) 학습을 위해 MI250과 같은 AMD GPU를 사용하는 AMD와 파트너십을 맺었습니다. 이 파트너십은 상당한 성능 향상을 가져왔습니다.
소프트웨어 혁신: AMD의 ROCm 소프트웨어 플랫폼은 OpenAI Triton 컴파일러에 대한 상당한 업그레이드와 기여를 통해 성공의 핵심 요소로 부각되고 있습니다.
성능 향상: 데이터브릭스는 ROCm 5.7 및 플래시어텐션-2와 함께 트레이닝 성능을 1.13배 향상시켰으며, GPU 클러스터를 통해 강력한 확장성을 입증했습니다.
향후 전망: 데이터브릭스 및 기타 기업들은 AI 트레이닝 능력을 더욱 향상시킬 것으로 기대되는 AMD의 MI300X GPU의 출시를 고대하고 있습니다.

-----------------

Why Databricks is Using AMD GPUs
https://analyticsindiamag.com/ai-origins-evolution/why-databricks-is-using-amd-gpus/

AI가 coding을 도와주는 모델은 나날이 발전하고 있는데요, 예전에 코딩 AI모델 리스트를 여기서 볼수 있다고 정리했는데요.

https://orunson.tistory.com/entry/Python-AI-programming-helper

지금 리스트를 다시 확인하니,

LLama 3 Instruct도 좋고

DeepSeek-Coder-V2-Lite-Instruct 가 들어와 있습니다. DeepSeek에 대해서 좀 더 알아보니,

DeepSeek-V2

> Today, we’re introducing DeepSeek-V2, a strong Mixture-of-Experts (MoE) language model

중국회사라고 소개하고 있네요

> DeepSeek (深度求索), founded in 2023, is a Chinese company dedicated to making AGI a reality.

상당히 작은 parameter숫자로도 높은 성능을 낼수 있다는 주장입니다. 코드 model도 괜찮은 편이라고 합니다.

https://huggingface.co/deepseek-ai/DeepSeek-V2

엔비디아(nvidia nvda)정말 무섭도록 빠르게 성장하고 있습니다. 마켓캡 Market Cap으로 이제 두번째로 큰 회사가 되었습니다.(그리고 다시 3번째로 되었지만). 두번째로 큰회사인데 앞으로 1년간 성장률로는 넘사벽이라 가장큰 회사가 되는것도 시간문제라고 보여집니다.

AI PC는 NPU 전쟁인데, AMD가 7월부터 판매하는 9000 시리즈  APU부터 50 TOPS 성능이 나는 NPU를 탑재했다고 합니다. 경쟁사에 비해서 10-20% 성능격차가 있을것으로 보입니다. 퀄컴도 이번에 많이 따라왔다고 생각은 드는데 AMD도 정말 빠르게 잘 대응중이네요.

차세대 AMD 서버용 CPU는 EPYC Turin (에픽 튜린), 한 패키지에 192코어를 지원한다고 하니 서버용 2 CPU보드는 386 Cores / 768 Threads를 지원한다고 합니다.

차세대 AMD Data Center GPU라인업은, MI350부터 CDNA 4 아키텍쳐가 적용되는데 그전 아키텍쳐대비 무려 35x배나 성능향상이 있을 예정이라고 합니다. 헐~ 2026년에는 MI400이 대기하고 있고 이것도 CDNA NEXT(5?) 가 적용되어 또 한번 점프를 할것이라고 합니다. GPU의 성능향상은 CPU랑 완전 다른 스케일로 점프하고 있습니다.

4월에 누가 정말 일찍 정리해서 만들어놨네요.

AMD는 라이젠 Ryzen 1세대 출시때랑 비슷한 양상이긴하네요. 워낙 빠르게 변해서 내년에 MI400 시리즈를 발표해야할텐데 표 상으로는 어려울것 같기도하고요. 내년에 AMD의 명운을 걸려있다고 보여지네요

https://www.trendforce.com/presscenter/news/20240416-12119.html

https://www.reddit.com/r/AMD_Stock/comments/1dkjrhq/amdnvidia_dc_ai_dgpus_roadmap_visualized/

GFX1100 Navi 31 RDNA3 = Radeon RX 7900 XTX

https://wccftech.com/amd-rdna-3-navi-31-navi-32-navi-33-gpus-radeon-rx-7000-graphics-cards-detailed/

Transformer framework/architecture 덕에 AI가 사람이 사용할만한 진전을 이루었는데, Transformer를 대체하고 AI evolution을 이끌 architecture  는 뭐가 있는지 물어보니.

Pathways를 가장 먼저 꼽니다. 이것도 구글이 만들고 있으니 장단점을 잘 알고 잘 보안할수도 있을듯. 그런데 모든 AI 모델이 transformer로 train되고 있으니, 더 좋을 것을 만들어 내더라도 전환하는데 시간이 많이 걸릴듯.

1. Pathways by Google AI: This architecture focuses on building a single model capable of thousands of tasks by utilizing a flexible foundation and modular components. It tackles the issue of specialized models by enabling a more general-purpose approach (https://blog.google/technology/ai/introducing-pathways-next-generation-ai-architecture/).
2. Generative AI Frameworks: These frameworks like Langchain focus on Generative AI models that create entirely new content. They leverage large language models (LLMs) like me and go beyond pattern recognition in data, aiming for a deeper understanding (https://www.analyticsvidhya.com/blog/2023/04/what-is-generative-ai/).
3. AIfES for Edge AI: This framework targets specifically edge AI, where processing happens on devices themselves. AIfES aims for better hardware integration and flexibility to handle the evolving needs of on-device AI (https://pubmed.ncbi.nlm.nih.gov/38236682/).

-----------

1. Pathways: Google Research is working on a next-generation AI architecture called Pathways. Unlike current models that specialize in individual tasks, Pathways aims to handle thousands or even millions of tasks simultaneously. Rather than training each model from scratch for a specific problem, Pathways synthesizes existing strengths and adapts to new tasks quickly. This architecture reflects a better understanding of the world and has the potential to tackle complex challenges we face today.
2. Mamba: While the Transformer remains dominant, there are contenders like Mamba. Mamba achieves five times higher throughput than Transformers due to its recurrent nature. However, it’s essential to note that the Transformer is unlikely to relinquish its throne anytime soon, especially given the recent successes of language models like ChatGPT and Gemini, which build upon the Transformer’s foundation.
3. BASED

AMD가 Xilinx를 인수한 이후에 젤 큰 업데이트 인것 같습니다. 2-3년 이내에 FPGA가 AI 관련 system에서 아주 중요한 일을 할수 있을것으로 기대하고 있습니다. Spartan family를 유심히 봐야할것 같습니다.

https://ir.amd.com/news-events/press-releases/detail/1186/amd-extends-market-leading-fpga-portfolio-with-amd-spartan

https://www.phoronix.com/news/AMD-Spartan-UltraScale-Plus

https://semiengineering.com/using-fpgas-for-ai/

• FPGA for AI: The article discusses the use of FPGAs (Field Programmable Gate Arrays) for artificial intelligence (AI) and machine learning (ML), highlighting their potential due to inherent parallelism and hardware programmability.
• Power Efficiency: FPGAs are considered for AI applications because they can perform more processing than GPUs (Graphics Processing Units) within a quarter of the power budget, making them a low-power solution.
• Scalability: FPGAs are scalable and can be daisy-chained for larger algorithms or processing jobs, allowing for flexibility in handling complex AI tasks1.
• Programming Challenges: Despite their benefits, FPGAs face challenges such as a lack of a natural programming model for software developers and being power-hungry, which affects their adoption in AI applications2.

https://embeddedcomputing.com/technology/processing/semiconductor-ip/fpga-insights-and-trends-2023-unleashing-the-power-of-fpga

IMAX도 아니고 RPX도 아닌 극장에서 봤는데도 시간가는줄 모르고 봤습니다. 가족모두 끝나고 최근 기억나는 영화중 최고다고 극찬. 최근 몇년중에서는 흥행기록도 최고인데, 다른 대작 Sci-Fi영화에 비해서는 흥행성적은 안좋네요. 영화관이 줄고 좌석도 줄고 있어서 어벤져스 엔드게임같은 흥행은 앞으로 어려울것 같습니다.

Dune: Part Two, released in February 2024, dominated its opening weekend at the box office, grossing a staggering $178.5 million globally. Here's how it compares to other famous sci-fi movies' first weeks:

• Avengers: Endgame: $357 million
• Star Wars: The Force Awakens (2015): $247.8 million (holds the all-time record for the biggest opening weekend)
• Avatar (2009): $241.5 million (second-highest grossing opening weekend)
• Avengers: Infinity War (2018): $258 million (highest for the Marvel Cinematic Universe)
• Jurassic World (2015): $208.8 million
• The Avengers (2012): $207.4 million

--------

이번주에 AMD가 $300B Market cap을 넘어섰습니다. 오늘은 장중이지만 주가가 200달라도 넘어가네요.

AMD의 성장세가 무섭습니다. 서버시장에서 인텔의 아성을 위협하고 있고 GPU분야에서는 유일한 NVidia와 경쟁할수 있는 회사입니다. 게다가 세계 최고의 FPGA solution을 가지고 있습니다. AI시대에 계속 높은 성장률을 이룰것으로 보입니다.

Fastest GPU (MI300x)
Fastest CPU (Epyc)
Fastest FPGA Versal VP1902