오른손의 좋은 세상만들기

AI시대 다시 주목받는 AMD Radeon RX 7900 XTX 24GB

AMD 라데온 Radeon은 원래 성장형 그래픽카드로 유명한데, 벌써 출시된지 2년이 다되어 가기도 해서 이미 성장(?)도 많이 했지만 외장 그래픽카드중에 24GB 메모리를 가진것을 찾기가 너무 어렵다 보니 다시 주목을 받고 있습니다. AI 추론용으로 쓰려면 GPU memory에 model을 올려놓고 써야하는데 24GB가 갖는 강점은 너무 강합니다. 속도가 조금 느린것은 참을 수 있지만, 돌릴 수 없는 것은 못참지요.

Ebay중고가를 살펴보니 800불 정도에 구매할수 있네요. 그래서 가격벙어도 잘되고 있습니다.

AI시대 주목받는 EPYC CPU

AI 모델을 돌리려면 GPU만 가능할거라 생각하지만 AMD는 64/128 코어를 가진 EPYC을 오래전부터 만들어왔습니다. 시스템 메모리가 DDR4/DDR5이지만 대체로 EPYC은 최소 64GB부터 256GB까지 큰 메모리를 갖춘 시스템이 많습니다. 상대적으로 큰 AI모델을 시스템 메모리에 올리고 chatgpt같은 app을 돌리면 속도는 물론 GPU로 돌렸을때 보다 느리지만 모델이 크다보니 상당히 quality있는 답을 얻을 수 있습니다. 그리고 강력한 CPU thread가 많다보니 생각보다는 느리지도 않습니다. 소비자용 GPU 로는 24GB가 max이지만 system memory는 5-10배는 더 크기 때문에 못돌리는 모델도 돌려볼 수 있습니다. 80GB 사이즈 되는 모델을 돌려보고 오, 결과가 상당히 좋은데 했습니다. 돌릴 system이 있다면 한번 돌려보시길 강추.

Iphone이 나오고 많은 핸드폰 기업들이 문을 닫았다. 노키아, 블랙베리, 마이크로소프트의 스마트폰...
아마존이 나오고 많은 오프라인 기업들이 문을 닫았다. Amazonization 신조어도 만들어 냈다
ChatGPT가 나오면서 programmer의 가장 친한 친구였던 stackoverflow가 죽어가고 있다. stackoverflow는 그 아류 사이트들도 많은데 같은 추세인것 같다. 트래픽과 vote, post가 같은 양상으로 줄고 있는데, post되는 글과 답변중에는 chatgpt에서 온것들도 계속 비율이 올라가고 있을것으로 생각된다. 더 질이 안좋아지는 것을 의미하고 더 많은 사용자가 외면하는 악순환이 될 가능성이 있다.

https://observablehq.com/@ayhanfuat/the-fall-of-stack-overflow

요즘 ChatGPT를 이용한 좋은 서비스가 너무 많아진다. 덕후들이 많이 모여있는 해커뉴스는 일주일에 한번씩 정도는 훌터보면 좋은데 한국어로 요약해주는 서비스가 있다. 꽤 괜찮다. 물론 읽어보고 맘에 드는 글을 다시 영어로 읽어봐야 하지만. 찾아보니 영어로도 요약하는 사이트도 많이 있다는 것을 알았다. 요즘 좋은 번역서비스도 많아서 언어는 크게 중요하지 않을 수도 있지만.

https://hn.cho.sh/ko

https://hackernews.betacat.io/

https://github.com/meixger/hackernews-daily/issues

아마도 사용자수와 사용량, query는 exponential 하게 증가하는데 현재 사용하는 MS(Microsoft) Azure 클라우드가 못따라가는 것 같음. Azure가 할수 있다고 해도 비용이 너무 많아서 감당이 안되는 상황인것 같음.

MS가 투자도 더 많이하고 현재 MS오피스나 다른 서비스에도 다 추가하려고 하는데, 이 많은 비용을 어떻게 나중에라도 pay off할수 있을지가 핵심일 것으로 보입니다. 몇년내에는 이것으로 돈을 벌수는 없을듯.

Update: Server blown up, Running maximum capacity.