Local LLM을 유용하게 돌리려면 24GB이상 32GB는 있어야 괜찮은 모델을 고르고 context사이즈도 충분히 유지할 수 있는데. 속도는 Nvidia가 잘 나오는데 가격이 너무 넘사벽이라 고려대상이 아니고, AMD와 인텔중에서 32GB를 가지고 있는 AI 추론(Inference)용 GPU를 하나 살까 고려중.
레딧(reddit)에도 사용자 리뷰와 벤치마크(benchmark)가 많이 올라와 있고, 유투브에도 많은 컨텐츠가 있다. 대부분 가격대에서는 인텔이 매력적이지만 가성비와 전체적인 성능, 완성도, SW지원에서 AMD가 더 좋다고 한다. $1000보다 비싼 Computer component를 산적이 없어서 망설여 진다. AMD RX 7900 XTX를 팔고 살까도 생각중. (그걸 이용하면 되자나... ^^;)
AMD Radeon AI Pro R9700 vs Intel Arc Pro B70
| Launch Price (MSRP) |
~$1,299 USD |
~$949 USD |
| Architecture |
RDNA 4 (4nm) |
Xe2 Battlemage (5nm) |
| Memory Bandwidth |
640 GB/s |
608 GB/s |
| FP32 Performance |
~45-48 TFLOPS (est.) |
22.94 TFLOPS |
| Primary Software |
ROCm |
oneAPI / OpenVINO / IPEX |
| Max Power (TDP) |
~250W–290W |
230W |
현재 AMD RX 7900 XTX와 Intel Arc B580으로 llama.cpp를 각각 Software stack으로 compile하고 테스트해보니, AMD나 Intel둘다 아주 잘 지원하고 있지는 않지만 쓸만할만큼은 지원하고 있어보여서, 뭘 사도 돌리는 데는 지장이 없을것 같은데. Intel은 아직 Vulkan이나 SYCL 둘다 아직 만족적이지 못한것 같다.
