Tiny Corp's Tinybox, MLPerf with AMD

George Hotz라는 괴짜천재가 새로운 회사를 설립해서 저렴하고 전력을 덜 먹는 무시무시한 Machine Learning(ML), AI 전용머신을 만든다고 합니다.

Tiny Corp's Website: https://tinygrad.org/
Comma-ai's Website: https://comma.ai/

GPU가 6개 들어가고 CPU는 AMD EPYC칩을 사용한다고 합니다. 무슨 GPU 모델인지는 안밝히고 있지만 NVidia는 아닌것으로 봐서 GPU도 AMD일 확률이 높을듯. 그렇게 하고도 1600W 파워정도로 동작이 가능하고 미국의 120V outlet에 꼽아서도 동작할거라고 합니다. 헐... 가격은 $15,000, 지금 $100주고 pre-order할수 있다고 합니다. 6개월후에 팔수 있다고 하는데, 이바닥 돌아가는거 보면 내년 말에 받아도 엄청 빨리 받는것일 듯. Ubuntu깔려서 바로 돌아가는 것을 목표로 한다고 하는데, software가 그렇게 쉽게 완성되지는 않지요.

-------------

The tinybox

 

• 738 FP16 TFLOPS
• 144 GB GPU RAM
• 5.76 TB/s RAM bandwidth
• 30 GB/s model load bandwidth (big llama loads in around 4 seconds)
• AMD EPYC CPU
• 1600W (one 120V outlet)
• Runs 65B FP16 LLaMA out of the box (using tinygrad, subject to software development risks)
• $15,000

Preorder a tinybox today! (just $100)

 

-------------

조금 통통 튀지만 이런 천재(괴짜, nerd)들은 많으면 많을 수록 인류에게 이롭다고 생각합니다.

P.S 조금 더 읽어보니 GPU는 AMD RX 7900 XTX 24GB 를 말하고 있습니다. 이거 곧 ROCm에서 지원한다는 모델입니다. 일반 소비장용 그래픽카드로는 유일하게 지원할거라고 지난 글에서 언급한적이 있습니다. 2023년 년말로 갈수록 AMD RX 7900 XTX 수요가 많이 증가할 것으로 보입니다.

지금 Newegg에서 가격을 서치해 보면 $920인데, promotion code VGAEXCAA793를 이용하면 $15깍아줘서 $905에 살수 있네요. power supply만 안바꿔도 되면 하나 사서 ROCm도 돌려보고 tinygrad 도 돌려보고 싶은데, power supply를 사야해서...

P.S AMD RDNA3 Instruction Set Architecture Reference guide

https://www.amd.com/system/files/TechDocs/rdna3-shader-instruction-set-architecture-feb-2023_0.pdf