오른손의 좋은 세상만들기

George Hotz라는 괴짜천재가 새로운 회사를 설립해서 저렴하고 전력을 덜 먹는 무시무시한 Machine Learning(ML), AI 전용머신을 만든다고 합니다.

Tiny Corp's Website: https://tinygrad.org/
Comma-ai's Website: https://comma.ai/

GPU가 6개 들어가고 CPU는 AMD EPYC칩을 사용한다고 합니다. 무슨 GPU 모델인지는 안밝히고 있지만 NVidia는 아닌것으로 봐서 GPU도 AMD일 확률이 높을듯. 그렇게 하고도 1600W 파워정도로 동작이 가능하고 미국의 120V outlet에 꼽아서도 동작할거라고 합니다. 헐... 가격은 $15,000, 지금 $100주고 pre-order할수 있다고 합니다. 6개월후에 팔수 있다고 하는데, 이바닥 돌아가는거 보면 내년 말에 받아도 엄청 빨리 받는것일 듯. Ubuntu깔려서 바로 돌아가는 것을 목표로 한다고 하는데, software가 그렇게 쉽게 완성되지는 않지요.

-------------

The tinybox

• 738 FP16 TFLOPS
• 144 GB GPU RAM
• 5.76 TB/s RAM bandwidth
• 30 GB/s model load bandwidth (big llama loads in around 4 seconds)
• AMD EPYC CPU
• 1600W (one 120V outlet)
• Runs 65B FP16 LLaMA out of the box (using tinygrad, subject to software development risks)
• $15,000

Preorder a tinybox today! (just $100)

-------------

조금 통통 튀지만 이런 천재(괴짜, nerd)들은 많으면 많을 수록 인류에게 이롭다고 생각합니다.

P.S 조금 더 읽어보니 GPU는 AMD RX 7900 XTX 24GB 를 말하고 있습니다. 이거 곧 ROCm에서 지원한다는 모델입니다. 일반 소비장용 그래픽카드로는 유일하게 지원할거라고 지난 글에서 언급한적이 있습니다. 2023년 년말로 갈수록 AMD RX 7900 XTX 수요가 많이 증가할 것으로 보입니다.

지금 Newegg에서 가격을 서치해 보면 $920인데, promotion code VGAEXCAA793를 이용하면 $15깍아줘서 $905에 살수 있네요. power supply만 안바꿔도 되면 하나 사서 ROCm도 돌려보고 tinygrad 도 돌려보고 싶은데, power supply를 사야해서...

P.S AMD RDNA3 Instruction Set Architecture Reference guide

https://www.amd.com/system/files/TechDocs/rdna3-shader-instruction-set-architecture-feb-2023_0.pdf

AMD ROCm에 대해서 요즘 많이 이야기가 나오고 있는데 너무 적은 인력이 만들고 있는것 같아서 quality가 대학생 프로젝트 수준보다 조금 나은 수준이 아닐까 생각이 되는데. 다행은 것은 회사가 늦게라도 인지하고 최근에는 열심히 밀고 있는것 같기는 한데

https://www.anandtech.com/show/18940/amd-partial-rdna-3-video-card-support-coming-to-future-rocm-releases

이 기사에 보면, ROCm이 처음으로 소비자용 GPU인  RX 7900 XTX를 지원할거라고 한다. 이번 가을에

> for the first time, the consumer-grade Radeon RX 7900 XTX

설마 지금까지 지원안하고 있는거였어 하고 ROCm document을 열어 좀 읽어봤더니...https://github.com/RadeonOpenCompute/ROCm

https://rocm.docs.amd.com/en/latest/release/gpu_os_support.html

세 tab이 있기는 한데, 현재는 서버용 GPU 위주로 지원중이다. 헐... 그래 가을에라도 늦지 않았어.. 그런데 딱 RX 7900 XTX 하나만 지원할것 같다. 24GB GDDR6 RAM이라 상당히 유용할것 같기는 한데.. 그런데.. 딱 하나라... 흠...

재미있는 글이 올라와서 여러 커뮤니티에서 뜨거운 반응을 보이고 있다. CUDA때문에 AMD MI300X가 나와도 잘 팔릴수 있겠냐는 회의론을 정면으로 반박하는 내용인데.

https://www.semianalysis.com/p/amd-ai-software-solved-mi300x-pricing?utm_source=substack&utm_medium=email 

AMD주주이기도 하고 AMD가 어디까지 갈수 있을지 관심가지고 지켜보고 계산해보고 있는입장에서 자세히 읽어보았는데. (뒷부분은 유료라 읽을수 없었음) 짧게 요약하면 NVidia A100으로 돌리던 LLM을 MI250으로 코드 한줄 바꾸지 않고 돌렸는데 73%-80% 성능이 쉽게 나왔다는 이야기. 아직 AMD 솔루션을 사용한지 얼마 안된것을 감안하면 이건 엄청난 진전이라는 내용. 게다가 ROCm based에서 OpenAI Triton-based FlashAttention로 바꾸면 84-90%까지 성능이 쉽게 나온다는 이야기.

=> ROCm이 쓰레기구만. Triton은 뭐길래 이렇게 쉽게 잘나와

OpenAI가 밀고 있는 triton은 CUDA보다 더 좋은 성능을 목표로 하는 open source project라 한다. AMD GPU 공식지원은 2023년 말까지 목표라고 함.

https://github.com/openai/triton

위 내용을 기반으로 볼때 여러 업체에서 구할수 없는 NVidia를 바라보기 보다 AMD기반으로 전환을 계획할 가능성이 좀 있을것 같다는 생각이 듬. 처음에는 쉽게 안넘어간다고 봐야 할것 같고. 이 시점을

• 첫번째 Ryzen이 나온 시점으로 보면 될것 같기도 하고
• 첫번쩨 서버 CPU EPYC Naples 나폴리가 나온 시점이 될것 같기도 하고

키는 사람들이 괜찬네하면서 다음 세대것이 나오면 많이 넘어가고 그 다음 세대에는 동급으로 되었다가 그 다음 세대에서는 선두가되는... 헉... 정말.. 에이 암레발이지... 

P.S MosaicML 얘네는 뭐야 하고 찾아보니, Databricks라는 회사가 상당히 좋은 value를 쳐주고 최근에 인수했음. AI때문에 인수도 활발하고 시장이 정말 뜨겁다

https://techcrunch.com/2023/06/26/databricks-picks-up-mosaicml-an-openai-competitor-for-1-3b/

AMD MI250을 사용한 자세한 페이지도 만들어놨다. AMD AI의 엄청난 우군이구만.

https://www.mosaicml.com/blog/amd-mi250

사실 미국에서 걷거나 자전거를 타는 것은 썩 안전하지 않은데, 치안때문이 아니라 사람들이 다 자동차에 익숙해져 있어서 보행자나 자전거 타는 사람의 안전은 상대적으로 보장되지 않는다고 봐야하나. 물론 보행자를 차로 치였을때 처벌은 상당히 무섭고 자동차보험으로 커버하기도 무서울 만큼 병원비를 보상해야 하기때문에 제도적으로는 잘 보장되는 것 처럼 보일지라도.

오레곤(Oregon)은 자연을 즐기며 자전거 타는 사람이 상대적으로 많아서 그 비율로 위험할 거라는 생각도 했지만, 아리조나가 1등이라니 좀 믿기지 않는다. 아리조나는 대부분의 도시에서는 여름을 낀 6개월은 밖에 나갈수도 없는 곳인데.

증가 추세인 이유로는

1. 자동차가 SUV or Truck등으로 대형화 되고
2. 팬데믹 중에 자동차들이 과속하는 추세가 많아졌고
3. 보행자 사고가 조명이 어두운 곳에서 많아졌다 => 사람들이 어두워도 운동하러 나오는 사람들이 증가했다

https://arstechnica.com/cars/2023/06/pedestrian-deaths-rose-in-2022-some-states-more-dangerous-than-others/

한국은 IT강국일까 아닐까 한다면 대체로 한국사람들은 IT강국이 아니다는 것을 잘 알고 있을것 같다. 세계 최고의 인터넷 속도는 이미 일찍 이뤘지만 그것으로 뭘 할지 생각이 없어으니, 그러면서 인터넷은 포탈, 지식인, 인테넷 뱅킹 처럼 한국적이고 폐쇄적인 서비스만 많아졌는데...

한국어는 디지털시대에 너무 잘 만든 언어라 생각이 된다. 우리 주변국인 중국과 일본언어를 보면 더욱 그러하다. 세종대왕께서 디지털 시대를 예상하시고 이것으로 대대후손이 인터넷 기술강국으로 우뚝 서서 많은 풍요를 누리라고 해 주신건데... 이미 초기 디지털 시기와 인터넷 시기에 한국어는 인구비율에도 못미치는 인기를 얻고 있고. AI 서비스가 막 시작하는 지금, 더욱 뒤쳐지지 않을까 우려된다. 그 다음에 올 새로운 wave에는 인구가 반으로 줄어가고 있을터라 다른 방법은 없을텐데...

OpenAI가 만든 Whisper모델을 보고 있으니, 인식률이 너무 좋아 기가막인데, 영어, 스페니쉬가 인식이 잘되는 건 그렇다고 쳐도, 일본어도 상위 6위인데 한국어는 저 바닥이라니... 내가 한국 사람이라 그런것 만은 아니고 한국어는 딱딱 끊어지니 한국어 인식은 영어에 비해서 엄청 쉽겠다 생각하고 그렇다고 전문가들에게 들은것 같은데. 인구수가 적은것 만으로 해석할수는 없고, 한국은 갈라파고스되어 있고 인구도 적은 한국어를 지원해서 얻는게 없어서 노오력(training)을 안하고 있는거 아닐지. 한국은 AI시대에서도 또 뒤쳐지고 뒤만 따라가는 운명일런지... 

openai/whisper: Robust Speech Recognition via Large-Scale Weak Supervision (github.com)

오류률이라 낮을 수록 좋음.

요즘 ChatGPT를 이용한 좋은 서비스가 너무 많아진다. 덕후들이 많이 모여있는 해커뉴스는 일주일에 한번씩 정도는 훌터보면 좋은데 한국어로 요약해주는 서비스가 있다. 꽤 괜찮다. 물론 읽어보고 맘에 드는 글을 다시 영어로 읽어봐야 하지만. 찾아보니 영어로도 요약하는 사이트도 많이 있다는 것을 알았다. 요즘 좋은 번역서비스도 많아서 언어는 크게 중요하지 않을 수도 있지만.

https://hn.cho.sh/ko

https://hackernews.betacat.io/

https://github.com/meixger/hackernews-daily/issues

너무 익숙하게 8bit MCU부터 시작해서 16bit 등 가지고 놀았고 소비자용 CPU가 32bit에서 64bit로 전환하는 것도 직접 개발하고 지켜본 입장에서 당연히 곧 128bit CPU가 나오지 않을까 생각을 하고 있었는데... GPU는 이미 128bit을 넘어 192bit, 256bit, 384bit 으로 이미 진화했기 때문에 CPU도 당연한거 아니겠어 생각했었던듯.

결론은, 기술적으로 어려운것은 아니지만 CPU가 64bit 이상이 필요한 영역이 없어서, 당분간 128bit CPU는 볼수 없을것이라 합니다.

https://www.xda-developers.com/128-bit-cpus/

https://www.anandtech.com/show/18915/amd-expands-mi300-family-with-mi300x-gpu-only-192gb-memory

놀란것1: AMD가 잘하는 타켓을 정하고 무작정 따라하고 계속 비교해서 결국은 그 분야에서 1위한다는 건데, 10년전에는 인텔따라장이였다면 갑자기 NVidia따라장리 되기로 했나봄. 엔비디아가 하는것도 1:1 매핑이 다 되고 있음.

놀란것2: 리사수가 AI관련 TAM이 지금은 30B이지만 해마다 50%씩 성장해서 5년후면 150B까지 성장할거라고 말한점. 지금 AMD의 Data center 매출은 1년에 4B조금 넘는 수준이고 AI 관련 매출로 볼 수 있는 금액은 미미한데, 150B에서 20%만 차지한다고 하면... 매출이 갑자기 얼마나 는다는 거야... 헉... 주식이 얼마까지 갈 수 있다는 거야... 헉...

갑자기 AI회사라고 말하는 이유도 다 여기에 있는것 같다. 엔비디아는 얼마나 성장한다는 건지도 계산해 보면 좋을듯.

미국도 요즘 축구 인구가 많이 늘고 청소년팀도 많이 좋아지고 있는데, 미국에서 청소년들이 참가할수 있는 큰 토너먼트가 뭐가 있는지 궁금해서 서치해보니.

구글 바드(Bard)가 알려준 것

Here are the top 5 youth soccer tournaments in the US:

1. Dallas Cup is one of the largest and most prestigious youth soccer tournaments in the world. It is held every February in Dallas, Texas. The tournament features over 1,000 teams from all over the world, including many of the top college and professional teams.

   

2. Jefferson Cup is another large and well-respected youth soccer tournament. It is held every June in Richmond, Virginia. The tournament features over 1,000 teams from all over the United States.

   

3. Surf Cup is a premier youth soccer tournament held every July in San Diego, California. The tournament features over 800 teams from all over the United States and Mexico.

   

4. Disney Soccer Showcase is a large and popular youth soccer tournament held every December in Orlando, Florida. The tournament features over 700 teams from all over the United States.

   

5. adidas Potomac Memorial Tournament is a prestigious youth soccer tournament held every Memorial Day weekend in Germantown, Maryland. The tournament features over 600 teams from all over the United States.

   

   O

--------

ChatGPT가 알려준 것

1. US Youth Soccer National Championships: This tournament is the culmination of the US Youth Soccer National Championship Series. It features top teams from different regions competing for national titles across various age groups.
2. Dallas Cup: Held annually in Dallas, Texas, the Dallas Cup is one of the most prestigious youth soccer tournaments in the United States. It attracts teams from around the world and showcases talented players in various age divisions.
3. Surf Cup: The Surf Cup is a highly regarded tournament held in San Diego, California. It brings together elite youth soccer teams and attracts scouts, college coaches, and international attention.
4. Disney Soccer Showcase: Organized by the Disney Soccer Academy, this tournament takes place at the ESPN Wide World of Sports Complex in Orlando, Florida. It features top-level competition and attracts college coaches and scouts.
5. Jefferson Cup: The Jefferson Cup is held annually in Richmond, Virginia, and is considered one of the top youth soccer tournaments on the East Coast. It draws teams from across the United States and provides a competitive environment for players.

미국 IT기업에 다니는 엔지니어들은 상당한 연봉에도 사실 한국에서 안정적으로 월급받고 다니는 사람보다 더 가난하게 느껴지는 경우가 많은데, 예전에 아주 오래전이지만 궁금해서 정리해본 적이 있었다.

미국은 주마다 약간 달라서 한인들이 많이 사는 캘리포니아 기준으로 살펴보면, 보너스까지 다 합쳐서 1년 수입이 20만불이라고 했을 떄 (이 정도도 캘리포니아에서는 사는 도시에 따라 중산층에도 간듯간듯한 경우도 있음)

12달로 나누면 한달에 무려 $16,666 이 통장에 쫙쫙 꼳혀야 하지만, 실상은 세금이 워낙많아 $9,599 정도 됩니다.

그런데 평생 이 금액이 매달 들어온다면 페라리도 리스해서 탈수 있겠지만...

미국에는 전세가 없지요, 집을 사더라도 주택담보 모기지(Mortage)를 내야하는 case가 대부분이고요. 401k는 연급계좌이지만 tax deferral 이라 내돈이지만 그림의 떡처럼 보이고요. ESPP는 자기 회사 주식을 일정비율 할인해서 살수 있는 프로그램인데, 저축이고 자기의 선택이지만 안하면 바보되는 그런 해택이지요. 회사에서 보험을 들어주지만 가족이 있으면 이것저것 나가는 것이 없을 수 없지요. 한달에 $200이면 양반이고요. 자동차는 한 가정당 2대 이상 보유하는데 대체로 자동차도 론 받아 사거나 리스를 많이 합니다. 그 비용도 있고요. 집과 자동차에 보험이 매년 나가지요.

여기까지 계산하면, 한달에 손에 남는 돈이라고는 $1,867 정도 됩니다.

차가 두대다 보니 gas비용이 아무리 싸지만 많이 다니는데는 장사 없고요, 음식재료는 상당히 싸지만 밖에서 외식하는 비용은 상당히 비싸서 매일 점심 사먹고 일주일에 저녁몇번 사먹고 보면, 평범하게 살았다고 생각했는데 한달에 남는돈이 하나도 없게됩니다.

몇달 살아보면 심하게 현타와서 1년도 못버티고 한국으로 돌아가는 사람들 많이 봤습니다. 계산해 보고 아 이래서 사람들이 한국이 더 좋다고 하는구나 하고 많이 이해가 됐습니다.

P.S 하지만 ESPP, 401K가 몇년이 지나고 몇억원씩 불어있는 것을 보면 또 생각이 달라지기도 합니다.