오른손의 좋은 세상만들기

Iphone이 나오고 많은 핸드폰 기업들이 문을 닫았다. 노키아, 블랙베리, 마이크로소프트의 스마트폰...
아마존이 나오고 많은 오프라인 기업들이 문을 닫았다. Amazonization 신조어도 만들어 냈다
ChatGPT가 나오면서 programmer의 가장 친한 친구였던 stackoverflow가 죽어가고 있다. stackoverflow는 그 아류 사이트들도 많은데 같은 추세인것 같다. 트래픽과 vote, post가 같은 양상으로 줄고 있는데, post되는 글과 답변중에는 chatgpt에서 온것들도 계속 비율이 올라가고 있을것으로 생각된다. 더 질이 안좋아지는 것을 의미하고 더 많은 사용자가 외면하는 악순환이 될 가능성이 있다.

https://observablehq.com/@ayhanfuat/the-fall-of-stack-overflow

IT관련 뉴스를 정리하던 중, AMD의 서버시장 점유율이 25%를 넘었다는 기사가 있는데, 그 중에 리사수의 커멘트가 한국의 심각한 기레기 상황과 너무 잘 맞아떨어지는것 같아서. 웃었네요

AMD가 삼성 파운드리로 갈수 있다는 루머에 대해서, 나는 실제로 AMD 일부 제품은 삼성에서 생산해야 회사가 더 성장할 수 있다고 믿지만. 기사에서는 AMD의 AI chip을 4nm(다른 루머에서는 3nm) 공정을 삼성으로 이전할 수 있다는 루머에 대해서 리사수는 한국 언론을 믿냐고 반문했다는 부분이 있습니다. 한국 기레기는 사실에는 크게 상관없고 재벌, 권력, 돈에 편중된 기사만 쓰지요. 그래서 국민들을 바보로 만들고요.

https://www.digitimes.com/news/a20230720PD202/ai-gpu-amd-mi300-nvidia-tsmc.html

"MI300 is the most complex product in the world, we could not do it without the partnership with TSMC," Su indirectly denied South Korea media reports that AMD might shift its AI chip production to Samsung Electronics using 4nm process technology, by humorously asking reporters: "Do you believe Korea media?"

1. Overstock
2. Home Shopping Network (HSN)
3. Progressive Leasing
4. QVC
5. Stoneberry
6. Fingerhut
7. Affirm
8. Klarna
9. Visa
10. Uplift
11. Addi
12. Apple
13. Behalf
14. Biller
15. Commonwealth Bank of Australia
16. humm by Flexifi
17. Sezzle
18. Zip (formerly known as Quadpay)
19. PayPal’s ‘Pay in 4

이번에 AMD Radeon RX 7900 XTX를 사면서 Zip으로 주문해야했다. 이런 finance option은 질색인데 그냥 돈주고 사면 900불인데 Zip으로 pay하면 800불. 자본주의의 promotion은 어떨때는 좀 이해가 안되기도. 어쨋건 싸게 준다니 한번 써봤는데, Zip 은 18위정도로 듭보잡이었다. 

Newegg에서 800불까지 내려갔는데 안지를 수가 없었음. 100불짜리 게임 Starfield도 껴주고. 오랜만에 NVidia에서 AMD로 넘어가게 됐다. 지금까지 잘 버텨준 NVidia RTX 2080 TI와 비교해보니 2080 TI가 너무 왜소해보인다.

24GB를 어떻게 쓰면 더 신나게 돌릴수 있을지 고민해봐야겠다. 주말 프로젝트가 재밌어질듯.

미국에서State Farm 보험회사를 오래동안 이용하고 있는데, 일반 소비자 상대 보험 회사로는 가장 크고 가장 효율적으로 운용한다고 정평이 나있다. 그래서 다른 경쟁자에 비해서 절대 저렴하지는 않는데, 상당히 만족스럽다.

전기 누전이니 전기화재로 집이 damage를 입거나 전소되는 사고가 가끔있는데 요즘 IT기기로 early detect하고 큰 사고로 이어지는 것을 미리 방지해주는 기기가 있나보다. 이것을 free로 줄테니 설치하라고 한다. 무조건 신청했는데 앞으로도 약간의 투자로 smart하게 관리하면 claim도 줄일수 있고 소비자도 만족할테고, 아주 잘하는것 같다.

젤 큰회사가 이렇게 잘하는데, 작은 보험회사들은 더 빨리 움직이고 더 많은 혁신을 해야 살아남을수 있을듯.

리눅스에서 게임은 생각도 못할때가 있었는데, 그래도 돈많고 software 인력이 더 많은 NVidia가 쬐금 더 낫은 적이 좀 있었던것 같은데, 요즘 서치해 보면 리눅스 사용자들 사이에서는 AMD가 더 많이 선호되고 있어서 깜짝 놀랐음.

* Linux gaming reddit
https://www.reddit.com/r/linux_gaming/comments/149903d/known_alternatives_to_linux_gaming_on_reddit/
* Reddit에서 넘어간 사람들이 말하는 AMD로 linux에서 gaming
https://lemmy.world/post/1086446
* Linux gaming wiki, GPU section
 https://linux-gaming.kwindu.eu/index.php?title=Hardware_Recommendations#GPUs

AMD GPU하나 들여야 하나...

George Hotz라는 괴짜천재가 새로운 회사를 설립해서 저렴하고 전력을 덜 먹는 무시무시한 Machine Learning(ML), AI 전용머신을 만든다고 합니다.

Tiny Corp's Website: https://tinygrad.org/
Comma-ai's Website: https://comma.ai/

GPU가 6개 들어가고 CPU는 AMD EPYC칩을 사용한다고 합니다. 무슨 GPU 모델인지는 안밝히고 있지만 NVidia는 아닌것으로 봐서 GPU도 AMD일 확률이 높을듯. 그렇게 하고도 1600W 파워정도로 동작이 가능하고 미국의 120V outlet에 꼽아서도 동작할거라고 합니다. 헐... 가격은 $15,000, 지금 $100주고 pre-order할수 있다고 합니다. 6개월후에 팔수 있다고 하는데, 이바닥 돌아가는거 보면 내년 말에 받아도 엄청 빨리 받는것일 듯. Ubuntu깔려서 바로 돌아가는 것을 목표로 한다고 하는데, software가 그렇게 쉽게 완성되지는 않지요.

-------------

The tinybox

• 738 FP16 TFLOPS
• 144 GB GPU RAM
• 5.76 TB/s RAM bandwidth
• 30 GB/s model load bandwidth (big llama loads in around 4 seconds)
• AMD EPYC CPU
• 1600W (one 120V outlet)
• Runs 65B FP16 LLaMA out of the box (using tinygrad, subject to software development risks)
• $15,000

Preorder a tinybox today! (just $100)

-------------

조금 통통 튀지만 이런 천재(괴짜, nerd)들은 많으면 많을 수록 인류에게 이롭다고 생각합니다.

P.S 조금 더 읽어보니 GPU는 AMD RX 7900 XTX 24GB 를 말하고 있습니다. 이거 곧 ROCm에서 지원한다는 모델입니다. 일반 소비장용 그래픽카드로는 유일하게 지원할거라고 지난 글에서 언급한적이 있습니다. 2023년 년말로 갈수록 AMD RX 7900 XTX 수요가 많이 증가할 것으로 보입니다.

지금 Newegg에서 가격을 서치해 보면 $920인데, promotion code VGAEXCAA793를 이용하면 $15깍아줘서 $905에 살수 있네요. power supply만 안바꿔도 되면 하나 사서 ROCm도 돌려보고 tinygrad 도 돌려보고 싶은데, power supply를 사야해서...

P.S AMD RDNA3 Instruction Set Architecture Reference guide

https://www.amd.com/system/files/TechDocs/rdna3-shader-instruction-set-architecture-feb-2023_0.pdf

AMD ROCm에 대해서 요즘 많이 이야기가 나오고 있는데 너무 적은 인력이 만들고 있는것 같아서 quality가 대학생 프로젝트 수준보다 조금 나은 수준이 아닐까 생각이 되는데. 다행은 것은 회사가 늦게라도 인지하고 최근에는 열심히 밀고 있는것 같기는 한데

https://www.anandtech.com/show/18940/amd-partial-rdna-3-video-card-support-coming-to-future-rocm-releases

이 기사에 보면, ROCm이 처음으로 소비자용 GPU인  RX 7900 XTX를 지원할거라고 한다. 이번 가을에

> for the first time, the consumer-grade Radeon RX 7900 XTX

설마 지금까지 지원안하고 있는거였어 하고 ROCm document을 열어 좀 읽어봤더니...https://github.com/RadeonOpenCompute/ROCm

https://rocm.docs.amd.com/en/latest/release/gpu_os_support.html

세 tab이 있기는 한데, 현재는 서버용 GPU 위주로 지원중이다. 헐... 그래 가을에라도 늦지 않았어.. 그런데 딱 RX 7900 XTX 하나만 지원할것 같다. 24GB GDDR6 RAM이라 상당히 유용할것 같기는 한데.. 그런데.. 딱 하나라... 흠...

재미있는 글이 올라와서 여러 커뮤니티에서 뜨거운 반응을 보이고 있다. CUDA때문에 AMD MI300X가 나와도 잘 팔릴수 있겠냐는 회의론을 정면으로 반박하는 내용인데.

https://www.semianalysis.com/p/amd-ai-software-solved-mi300x-pricing?utm_source=substack&utm_medium=email 

AMD주주이기도 하고 AMD가 어디까지 갈수 있을지 관심가지고 지켜보고 계산해보고 있는입장에서 자세히 읽어보았는데. (뒷부분은 유료라 읽을수 없었음) 짧게 요약하면 NVidia A100으로 돌리던 LLM을 MI250으로 코드 한줄 바꾸지 않고 돌렸는데 73%-80% 성능이 쉽게 나왔다는 이야기. 아직 AMD 솔루션을 사용한지 얼마 안된것을 감안하면 이건 엄청난 진전이라는 내용. 게다가 ROCm based에서 OpenAI Triton-based FlashAttention로 바꾸면 84-90%까지 성능이 쉽게 나온다는 이야기.

=> ROCm이 쓰레기구만. Triton은 뭐길래 이렇게 쉽게 잘나와

OpenAI가 밀고 있는 triton은 CUDA보다 더 좋은 성능을 목표로 하는 open source project라 한다. AMD GPU 공식지원은 2023년 말까지 목표라고 함.

https://github.com/openai/triton

위 내용을 기반으로 볼때 여러 업체에서 구할수 없는 NVidia를 바라보기 보다 AMD기반으로 전환을 계획할 가능성이 좀 있을것 같다는 생각이 듬. 처음에는 쉽게 안넘어간다고 봐야 할것 같고. 이 시점을

• 첫번째 Ryzen이 나온 시점으로 보면 될것 같기도 하고
• 첫번쩨 서버 CPU EPYC Naples 나폴리가 나온 시점이 될것 같기도 하고

키는 사람들이 괜찬네하면서 다음 세대것이 나오면 많이 넘어가고 그 다음 세대에는 동급으로 되었다가 그 다음 세대에서는 선두가되는... 헉... 정말.. 에이 암레발이지... 

P.S MosaicML 얘네는 뭐야 하고 찾아보니, Databricks라는 회사가 상당히 좋은 value를 쳐주고 최근에 인수했음. AI때문에 인수도 활발하고 시장이 정말 뜨겁다

https://techcrunch.com/2023/06/26/databricks-picks-up-mosaicml-an-openai-competitor-for-1-3b/

AMD MI250을 사용한 자세한 페이지도 만들어놨다. AMD AI의 엄청난 우군이구만.

https://www.mosaicml.com/blog/amd-mi250

한국은 IT강국일까 아닐까 한다면 대체로 한국사람들은 IT강국이 아니다는 것을 잘 알고 있을것 같다. 세계 최고의 인터넷 속도는 이미 일찍 이뤘지만 그것으로 뭘 할지 생각이 없어으니, 그러면서 인터넷은 포탈, 지식인, 인테넷 뱅킹 처럼 한국적이고 폐쇄적인 서비스만 많아졌는데...

한국어는 디지털시대에 너무 잘 만든 언어라 생각이 된다. 우리 주변국인 중국과 일본언어를 보면 더욱 그러하다. 세종대왕께서 디지털 시대를 예상하시고 이것으로 대대후손이 인터넷 기술강국으로 우뚝 서서 많은 풍요를 누리라고 해 주신건데... 이미 초기 디지털 시기와 인터넷 시기에 한국어는 인구비율에도 못미치는 인기를 얻고 있고. AI 서비스가 막 시작하는 지금, 더욱 뒤쳐지지 않을까 우려된다. 그 다음에 올 새로운 wave에는 인구가 반으로 줄어가고 있을터라 다른 방법은 없을텐데...

OpenAI가 만든 Whisper모델을 보고 있으니, 인식률이 너무 좋아 기가막인데, 영어, 스페니쉬가 인식이 잘되는 건 그렇다고 쳐도, 일본어도 상위 6위인데 한국어는 저 바닥이라니... 내가 한국 사람이라 그런것 만은 아니고 한국어는 딱딱 끊어지니 한국어 인식은 영어에 비해서 엄청 쉽겠다 생각하고 그렇다고 전문가들에게 들은것 같은데. 인구수가 적은것 만으로 해석할수는 없고, 한국은 갈라파고스되어 있고 인구도 적은 한국어를 지원해서 얻는게 없어서 노오력(training)을 안하고 있는거 아닐지. 한국은 AI시대에서도 또 뒤쳐지고 뒤만 따라가는 운명일런지... 

openai/whisper: Robust Speech Recognition via Large-Scale Weak Supervision (github.com)

오류률이라 낮을 수록 좋음.