AI시대 다시 주목받는 AMD 라데온 24GB 그래픽카드, AMD EPYC CPU

AI시대 다시 주목받는 AMD Radeon RX 7900 XTX 24GB

AMD 라데온 Radeon은 원래 성장형 그래픽카드로 유명한데, 벌써 출시된지 2년이 다되어 가기도 해서 이미 성장(?)도 많이 했지만 외장 그래픽카드중에 24GB 메모리를 가진것을 찾기가 너무 어렵다 보니 다시 주목을 받고 있습니다. AI 추론용으로 쓰려면 GPU memory에 model을 올려놓고 써야하는데 24GB가 갖는 강점은 너무 강합니다. 속도가 조금 느린것은 참을 수 있지만, 돌릴 수 없는 것은 못참지요.

Ebay중고가를 살펴보니 800불 정도에 구매할수 있네요. 그래서 가격벙어도 잘되고 있습니다.

AI시대 주목받는 EPYC CPU

AI 모델을 돌리려면 GPU만 가능할거라 생각하지만 AMD는 64/128 코어를 가진 EPYC을 오래전부터 만들어왔습니다. 시스템 메모리가 DDR4/DDR5이지만 대체로 EPYC은 최소 64GB부터 256GB까지 큰 메모리를 갖춘 시스템이 많습니다. 상대적으로 큰 AI모델을 시스템 메모리에 올리고 chatgpt같은 app을 돌리면 속도는 물론 GPU로 돌렸을때 보다 느리지만 모델이 크다보니 상당히 quality있는 답을 얻을 수 있습니다. 그리고 강력한 CPU thread가 많다보니 생각보다는 느리지도 않습니다. 소비자용 GPU 로는 24GB가 max이지만 system memory는 5-10배는 더 크기 때문에 못돌리는 모델도 돌려볼 수 있습니다. 80GB 사이즈 되는 모델을 돌려보고 오, 결과가 상당히 좋은데 했습니다. 돌릴 system이 있다면 한번 돌려보시길 강추.