IT이야기2023. 7. 27. 02:07

ChatGPT 이후 죽어가는 Stack Overflow

Iphone이 나오고 많은 핸드폰 기업들이 문을 닫았다. 노키아, 블랙베리, 마이크로소프트의 스마트폰...
아마존이 나오고 많은 오프라인 기업들이 문을 닫았다. Amazonization 신조어도 만들어 냈다
ChatGPT가 나오면서 programmer의 가장 친한 친구였던 stackoverflow가 죽어가고 있다. stackoverflow는 그 아류 사이트들도 많은데 같은 추세인것 같다. 트래픽과 vote, post가 같은 양상으로 줄고 있는데, post되는 글과 답변중에는 chatgpt에서 온것들도 계속 비율이 올라가고 있을것으로 생각된다. 더 질이 안좋아지는 것을 의미하고 더 많은 사용자가 외면하는 악순환이 될 가능성이 있다.

https://observablehq.com/@ayhanfuat/the-fall-of-stack-overflow

 

The Fall of Stack Overflow

Over the past one and a half years, Stack Overflow has lost around ~~50%~~ 35% of its traffic (Update: Around 15% of the observed loss seems to be related to the recategorization of the Google Analytics Cookie around May 2022). This decline is similarly re

observablehq.com

'IT이야기' 카테고리의 다른 글

구글보다 마이크로소프트를 더 신뢰하게 되는 geek들  (0) 2023.08.16
일론 머스크 때문에 테슬라 싫어하는 사람들이 고려하는 전기차 top 10  (0) 2023.08.03
리사수 - 한국 기레기 언론을 믿습니까?  (0) 2023.07.22
Buy now Pay Later(BNPL) companies  (0) 2023.07.19
결국 AMD RX 7900 XTX 구매  (0) 2023.07.19
Posted by 쁘레드
IT이야기2023. 7. 7. 09:00

Tiny Corp's Tinybox, MLPerf with AMD

George Hotz라는 괴짜천재가 새로운 회사를 설립해서 저렴하고 전력을 덜 먹는 무시무시한 Machine Learning(ML), AI 전용머신을 만든다고 합니다.

Tiny Corp's Website: https://tinygrad.org/
Comma-ai's Website: https://comma.ai/

GPU가 6개 들어가고 CPU는 AMD EPYC칩을 사용한다고 합니다. 무슨 GPU 모델인지는 안밝히고 있지만 NVidia는 아닌것으로 봐서 GPU도 AMD일 확률이 높을듯. 그렇게 하고도 1600W 파워정도로 동작이 가능하고 미국의 120V outlet에 꼽아서도 동작할거라고 합니다. 헐... 가격은 $15,000, 지금 $100주고 pre-order할수 있다고 합니다. 6개월후에 팔수 있다고 하는데, 이바닥 돌아가는거 보면 내년 말에 받아도 엄청 빨리 받는것일 듯. Ubuntu깔려서 바로 돌아가는 것을 목표로 한다고 하는데, software가 그렇게 쉽게 완성되지는 않지요.

-------------

The tinybox

 

  • 738 FP16 TFLOPS
  • 144 GB GPU RAM
  • 5.76 TB/s RAM bandwidth
  • 30 GB/s model load bandwidth (big llama loads in around 4 seconds)
  • AMD EPYC CPU
  • 1600W (one 120V outlet)
  • Runs 65B FP16 LLaMA out of the box (using tinygrad, subject to software development risks)
  • $15,000


Preorder a tinybox today! (just $100)

 

-------------

조금 통통 튀지만 이런 천재(괴짜, nerd)들은 많으면 많을 수록 인류에게 이롭다고 생각합니다.

P.S 조금 더 읽어보니 GPU는 AMD RX 7900 XTX 24GB 를 말하고 있습니다. 이거 곧 ROCm에서 지원한다는 모델입니다. 일반 소비장용 그래픽카드로는 유일하게 지원할거라고 지난 글에서 언급한적이 있습니다. 2023년 년말로 갈수록 AMD RX 7900 XTX 수요가 많이 증가할 것으로 보입니다.

지금 Newegg에서 가격을 서치해 보면 $920인데, promotion code VGAEXCAA793를 이용하면 $15깍아줘서 $905에 살수 있네요. power supply만 안바꿔도 되면 하나 사서 ROCm도 돌려보고 tinygrad 도 돌려보고 싶은데, power supply를 사야해서...

P.S AMD RDNA3 Instruction Set Architecture Reference guide

https://www.amd.com/system/files/TechDocs/rdna3-shader-instruction-set-architecture-feb-2023_0.pdf

'IT이야기' 카테고리의 다른 글

보험회사가 점점 smart해지고 있음  (0) 2023.07.19
Linux Gaming - AMD가 요즘 주로 추천되고 있음  (0) 2023.07.07
AMD ROCm 기대해도 될까  (0) 2023.07.05
AMD MI300/MI300X 채용이 생각보다 쉬워질수도  (0) 2023.07.01
한국어는 AI가 인식하기 좋을까?  (0) 2023.06.22
Posted by 쁘레드
IT이야기2023. 7. 1. 07:39

AMD MI300/MI300X 채용이 생각보다 쉬워질수도

재미있는 글이 올라와서 여러 커뮤니티에서 뜨거운 반응을 보이고 있다. CUDA때문에 AMD MI300X가 나와도 잘 팔릴수 있겠냐는 회의론을 정면으로 반박하는 내용인데.

https://www.semianalysis.com/p/amd-ai-software-solved-mi300x-pricing?utm_source=substack&utm_medium=email 

 

AMD AI Software Solved – MI300X Pricing, Performance, PyTorch 2.0, Flash Attention, OpenAI Triton

Matching Nvidia Performance With 0 Code Changes With MosaicML

www.semianalysis.com

AMD주주이기도 하고 AMD가 어디까지 갈수 있을지 관심가지고 지켜보고 계산해보고 있는입장에서 자세히 읽어보았는데. (뒷부분은 유료라 읽을수 없었음) 짧게 요약하면 NVidia A100으로 돌리던 LLM을 MI250으로 코드 한줄 바꾸지 않고 돌렸는데 73%-80% 성능이 쉽게 나왔다는 이야기. 아직 AMD 솔루션을 사용한지 얼마 안된것을 감안하면 이건 엄청난 진전이라는 내용. 게다가 ROCm based에서 OpenAI Triton-based FlashAttention로 바꾸면 84-90%까지 성능이 쉽게 나온다는 이야기.

=> ROCm이 쓰레기구만. Triton은 뭐길래 이렇게 쉽게 잘나와

OpenAI가 밀고 있는 triton은 CUDA보다 더 좋은 성능을 목표로 하는 open source project라 한다. AMD GPU 공식지원은 2023년 말까지 목표라고 함.

https://github.com/openai/triton

 

GitHub - openai/triton: Development repository for the Triton language and compiler

Development repository for the Triton language and compiler - GitHub - openai/triton: Development repository for the Triton language and compiler

github.com

 

위 내용을 기반으로 볼때 여러 업체에서 구할수 없는 NVidia를 바라보기 보다 AMD기반으로 전환을 계획할 가능성이 좀 있을것 같다는 생각이 듬. 처음에는 쉽게 안넘어간다고 봐야 할것 같고. 이 시점을

  • 첫번째 Ryzen이 나온 시점으로 보면 될것 같기도 하고
  • 첫번쩨 서버 CPU EPYC Naples 나폴리가 나온 시점이 될것 같기도 하고

키는 사람들이 괜찬네하면서 다음 세대것이 나오면 많이 넘어가고 그 다음 세대에는 동급으로 되었다가 그 다음 세대에서는 선두가되는... 헉... 정말.. 에이 암레발이지... 

P.S MosaicML 얘네는 뭐야 하고 찾아보니, Databricks라는 회사가 상당히 좋은 value를 쳐주고 최근에 인수했음. AI때문에 인수도 활발하고 시장이 정말 뜨겁다

https://techcrunch.com/2023/06/26/databricks-picks-up-mosaicml-an-openai-competitor-for-1-3b/

 

Databricks picks up MosaicML, an OpenAI competitor, for $1.3B

MosaicML will become a part of the Databricks Lakehouse Platform, providing generative AI tooling alongside the Databricks' existing multi cloud offerings.

techcrunch.com

 

AMD MI250을 사용한 자세한 페이지도 만들어놨다. AMD AI의 엄청난 우군이구만.

https://www.mosaicml.com/blog/amd-mi250

 

Training LLMs with AMD MI250 GPUs and MosaicML

With the release of PyTorch 2.0 and ROCm 5.4, we are excited to announce that LLM training works out of the box on AMD datacenter GPUs, with zero code changes, and at high performance (144 TFLOP/s/GPU)! We are thrilled to see promising alternative options

www.mosaicml.com

'IT이야기' 카테고리의 다른 글

Tiny Corp's Tinybox, MLPerf with AMD  (0) 2023.07.07
AMD ROCm 기대해도 될까  (0) 2023.07.05
한국어는 AI가 인식하기 좋을까?  (0) 2023.06.22
해커뉴스 한국어로 요약해 주는 서비스  (0) 2023.06.20
왜 128 비트 CPU는 없을까?  (0) 2023.06.20
Posted by 쁘레드
IT이야기2023. 6. 22. 09:09

한국어는 AI가 인식하기 좋을까?

한국은 IT강국일까 아닐까 한다면 대체로 한국사람들은 IT강국이 아니다는 것을 잘 알고 있을것 같다. 세계 최고의 인터넷 속도는 이미 일찍 이뤘지만 그것으로 뭘 할지 생각이 없어으니, 그러면서 인터넷은 포탈, 지식인, 인테넷 뱅킹 처럼 한국적이고 폐쇄적인 서비스만 많아졌는데...

한국어는 디지털시대에 너무 잘 만든 언어라 생각이 된다. 우리 주변국인 중국과 일본언어를 보면 더욱 그러하다. 세종대왕께서 디지털 시대를 예상하시고 이것으로 대대후손이 인터넷 기술강국으로 우뚝 서서 많은 풍요를 누리라고 해 주신건데... 이미 초기 디지털 시기와 인터넷 시기에 한국어는 인구비율에도 못미치는 인기를 얻고 있고. AI 서비스가 막 시작하는 지금, 더욱 뒤쳐지지 않을까 우려된다. 그 다음에 올 새로운 wave에는 인구가 반으로 줄어가고 있을터라 다른 방법은 없을텐데...

OpenAI가 만든 Whisper모델을 보고 있으니, 인식률이 너무 좋아 기가막인데, 영어, 스페니쉬가 인식이 잘되는 건 그렇다고 쳐도, 일본어도 상위 6위인데 한국어는 저 바닥이라니... 내가 한국 사람이라 그런것 만은 아니고 한국어는 딱딱 끊어지니 한국어 인식은 영어에 비해서 엄청 쉽겠다 생각하고 그렇다고 전문가들에게 들은것 같은데. 인구수가 적은것 만으로 해석할수는 없고, 한국은 갈라파고스되어 있고 인구도 적은 한국어를 지원해서 얻는게 없어서 노오력(training)을 안하고 있는거 아닐지. 한국은 AI시대에서도 또 뒤쳐지고 뒤만 따라가는 운명일런지... 

openai/whisper: Robust Speech Recognition via Large-Scale Weak Supervision (github.com)

 

GitHub - openai/whisper: Robust Speech Recognition via Large-Scale Weak Supervision

Robust Speech Recognition via Large-Scale Weak Supervision - GitHub - openai/whisper: Robust Speech Recognition via Large-Scale Weak Supervision

github.com

 

오류률이라 낮을 수록 좋음.

'IT이야기' 카테고리의 다른 글

AMD ROCm 기대해도 될까  (0) 2023.07.05
AMD MI300/MI300X 채용이 생각보다 쉬워질수도  (0) 2023.07.01
해커뉴스 한국어로 요약해 주는 서비스  (0) 2023.06.20
왜 128 비트 CPU는 없을까?  (0) 2023.06.20
AMD MI300X 발표에서 좀 놀란점  (0) 2023.06.14
Posted by 쁘레드
IT이야기2016. 7. 14. 03:53

왜 비싸도 NVidia 그래픽 카드를 사야할까 - CUDA

애플이 제품만 잘 만드는 것이 아니라 생태계를 잘 만들어서 들어오면 빠져나갈수 없고 자꾸 애플 제품만을 사게하는 기술로 지금의 자리에 있는 것이지요. 삼성은 그것 못해서 죽어라고 HW만 만들고, 잘 팔아도 맨날 위기라고 하는 것이고요.


그래픽 세상에서 기술력도 중요하지만 이런 생태계를 아직 만는 기업이 없어서 주구장장 치킨게임만 하다가 NVidia가 CUDA라는 GPU API이자 생태계를 만들었는데, 애플처럼 이미 게임의 판도를 업은것 같습니다. AMD-ATI가 이미 죽은 기업으로 돈도없고 투자할 여력도 안되는 입장에서 절대 따라갈수 없는 상황이 된것이지요.


게임하려면 DirectX, OpenGL, OpenCL 지원 GPU를 찾기 마련이지요. 게임만 하려면 새로 나온 GPU중에 적당한 가격만 고르면 AMD던 NVidia든 큰 차이는 없다고 생각됩니다. 게임 이상의 뭔가 더를 원한다면 이제 CUDA 지원 레벨까지 check하게 됩니다. 당연히 CUDA는 NVidia만 지원하지요. CUDA encoder/encoder는 다른 스탠다드 encoder/encoder보다 훨씬 효율적이고 강력합니다. 헐, 그래서 영상 편집, 사진 편집 system은 CUDA 지원 HW/SW가 아주 절실합니다. 학교나 과학자를 위해서도 CUDA는 아주 중요하지요.


요즘 핫한 AI(인공지능)과 machine learning을 위한 환경에서 CUDA는 어떠한 platform보다 우수합니다. 헐~ 물론 이런 쪽은 전문가들과 전공자들을 위한 것이라서 수요가 얼마나 될까하지만, 맹목적으로 추종하는 사람까지 생겨나는거 보면 이미 AMD는 따라올수 없는 상황이 된것 같습니다.

---------------------

https://developer.nvidia.com/cuda-zone



---------------------

그런데 CUDA가 배우기가 쉽지 않다는 것은 함정! C++11 먼저 배우고 오라는 불친절한 엔비디아.

The Power of C++11 in CUDA 7

---------------------

제 노트북이 가진 Nvidia Quadro K1000M은 CUDA 지원버전이 아주 불확실하네요. 지원는 하겠죠.

http://www.nvidia.com/object/quadro-for-mobile-workstations.html


저작자표시 비영리

'IT이야기' 카테고리의 다른 글

퀄컴 안드로이드 폰은 보안의 구멍인가  (0) 2016.08.09
넥슨 - 진경준 주식 대박사건 솜방망이 처벌로 가나  (0) 2016.07.16
핏빗 심장박동 측정기술 PurePulse  (0) 2016.07.13
Intel의 업그레이드 뽐뿌를 잠재우는 benchmark 성능  (0) 2016.07.13
넥슨은 막장 친일기업인가? - 배임·횡령 혐의까지  (0) 2016.07.11
Posted by 쁘레드
IT이야기2015. 11. 11. 02:59

구글 인공지능(AI) 오픈소스 발표

구글이 텐소플로우(TensorFlow)라는 AI open source를 발표했습니다. Python 코드처럼 보입니다. C++로도 가능해보이고요. 엔진은 C++일것으로 생각되네요.

설치환경은 맥과 리눅스에서만 지원합니다. 윈도우는 이런데 쓰라고 있는것은 아니지요.

사용법은... 쓱 훌터봐더 쉽지않을것 같네요. T.T

Data를 tree구조로 표현해서 연산을 하고 연관관계를 찾는다는게 아무리 간단하게 해도 쉽지 않지요. 요즘 최근 PC정도가 10년전 슈퍼컴하고 비슷할수도 있으니 여러서람이 계속하다 보면 좋은 결과는 있겠지요.

오픈소스로 공개해준 구글에 감사.

Tensors Flowing

http://tensorflow.org/

---------------------



---------------------

About TensorFlow

TensorFlow™ is an open source software library for numerical computation using data flow graphs. Nodes in the graph represent mathematical operations, while the graph edges represent the multidimensional data arrays (tensors) communicated between them. The flexible architecture allows you to deploy computation to one or more CPUs or GPUs in a desktop, server, or mobile device with a single API. TensorFlow was originally developed by researchers and engineers working on the Google Brain Team within Google's Machine Intelligence research organization for the purposes of conducting machine learning and deep neural networks research, but the system is general enough to be applicable in a wide variety of other domains as well.

---------------------

An Artificial Neural Network (ANN) is an information processing paradigm that is inspired by the way biological nervous systems, such as the brain, process information. The key element of this paradigm is the novel structure of the information processing system.


저작자표시 비영리

'IT이야기' 카테고리의 다른 글

Small Cell Market  (0) 2015.11.12
가상현실 VR market  (0) 2015.11.12
IT 주요기업들 2015 3Q 어닝(Earnings)  (0) 2015.11.10
HP/DELL Windows 10 설치 금지  (2) 2015.11.08
화웨이 메이트 8 루머  (0) 2015.11.03
Posted by 쁘레드
추천영화드라마2015. 5. 19. 16:15

엑스 마키나, Ex Machina, 2015

스티븐 호킹박사께서 최근에 AI(Artificial Intelligence, 인공지능)으로 인간은 멸망할수도 있다고 경고했지요. 그런데 Terminator 영화가 84년에 발표됐으니 이미 1980년대에 이미 이런 생각까지하고 소설도 쓰고 영화도 만든 사람이 있었다니 정말 놀랍습니다. 인공지능에 대한 개념도 없었을것 같은데요.

Stephen Hawking Warns Artificial Intelligence Could End Humanity



이시점에 가장 보고싶은 AI관련 영화는 엑스 마키나(Ex Machina)입니다. 로봇이 인간의 감정까지 이행할수 있다면 더이상 인간은 필요없겠죠. 너무 약점이 많은 연약한 존재니까요.


-----------------

누구도 믿을 수 없다, 모든 것을 의심하라

유능한 프로그래머 ‘칼렙’(돔놀 글리슨)은 치열한 경쟁 끝에 인공지능 분야의 천재 개발자 ‘네이든’(오스카 아이삭)의 새로운 프로젝트에 참여하게 된다. 외부엔 알려지지 않은 그의 비밀 연구소로 초대받은 ‘칼렙’은 그 곳에서 네이든이 창조한 매혹적인 A.I. ‘에이바’(알리시아 비칸데르)를 만나게 된다. 그녀의 인격과 감정이 진짜인지 아니면 프로그래밍 된 것인 지를 밝히는 테스트를 진행하지만. 점점 에이바도 그녀의 창조자 네이든도 그리고 자신의 존재조차 믿을 수 없게 되고 모든 것을 의심하게 되는데…

-----------------






로봇이 훨씬 더 우월하네요.



아래부터는 스포일러 포함, 주의!

--------------------------




  • 페이스북과 구글을 합쳐놓은것 같은 회사이름 이어야 하는데, Bluebook.에라이 Facebook에 거의 근접한 건 뭐냐. 이름을 지어도 창의성이 부족하냐. 
  • 영화 촬영은 풍경이 아름다운 알래스카와 노르웨이에서 찍었다고 함. 야외장면이나 멋진 view가나오는 장면은 많지 않음. 대부분 실내 세트에서 찍을수 있음. 대부분의 영화는 영국의 세트장 빌딩에서 6주만에 다 찍었음. 그래픽 입히는데 6개월 이상 걸렸다고 함.
  • 위에 나오는 사람같았던 여자도 결국 사이보그 였음. 대사 한마디 없고 요리와 몸빵(?) 용으로 제작된것 같음. 곁에 두고 있는것을 봐서 상당히 안정성이 확인된 로봇인데 왜 칼부림을 하는지 그 이유가 없음. 속샀였다고 프로토콜과 프로그램이 바 뀐다고?
  • 감독이 작가/시나리오/보조감독까지는 해봤는데 진짜 감독은 이번이 처음이라고 함. 그래서 참신한점은 많지만 완성도가 좀 떨어짐
  • 여배우가 머리카락 하나 없을때가 젤 예쁘다. 이런 여배우 쉽게 찾기 어렵지. 알리시아 여배우가 반은 먹어 살린것 같다. 약간 짧은 스타일이라 옷을 어떻게 입느냐에 따라 매력이 많이 틀려지는 배우인듯.
  • 일본계 여배우(Sonoya Mizuno, 소노야 미즈노)는 원래 무용을 했다고 한다. 그래서 대사는 한마디도 안나오는데 댄스는 한다.
  • 순진함 남자는 기계한테도 쉽게 유혹당하는구나.
  • 모든 마이크로폰을 enable을 해서 모든 정보를 모았다고 한다. google님이다. 게다가 Eva는 여차진구도 없는 (한국으로 말하면 자게인) 남자주인공의 포르노 취향에 맞게 특별히 재작되었다. 그래서 쉽게 유혹당했다고 설명하는듯.
  • 미래에는 남자와 로봇 여자의 사람이야기를 많이 볼듯. 여자들의 남자로봇에 대한 수요는 낮은 반면 남자 geeks의 여자 로봇 수요가 많아 여자 로봇이 더 빨리 나올듯.
  • 저큰 연구단지를 완전 사람들과 isolate하게 해놓고 혼자 사는 사장님은 변태인가 천재인가?



여자 배우는 계속 어울리는 배역을 못찾다가 딱 맞는 역을 찾은것 같습니다. 얼굴이 작고 예쁘면서 로봇의 차가운 느낌까지 있습니다. 다른 영화에서는 좀 연기력이 떨어지는것처럼 보였습니다만.

http://movie.naver.com/movie/bi/mi/basic.nhn?code=118361


저작자표시 비영리

'추천영화드라마' 카테고리의 다른 글

Mad Max : 광기의 끝을 보여주는 영화  (0) 2015.06.07
꼭 보고싶은 : 스타워즈: 깨어난 포스  (0) 2015.06.01
Ender's game 2013  (0) 2015.05.15
인피니 infini 2015  (0) 2015.05.15
Hector and the Search for Happiness, 2014  (0) 2015.05.15
Posted by 쁘레드

티스토리툴바