오른손의 좋은 세상만들기

AI가 coding을 도와주는 모델은 나날이 발전하고 있는데요, 예전에 코딩 AI모델 리스트를 여기서 볼수 있다고 정리했는데요.

https://orunson.tistory.com/entry/Python-AI-programming-helper

지금 리스트를 다시 확인하니,

LLama 3 Instruct도 좋고

DeepSeek-Coder-V2-Lite-Instruct 가 들어와 있습니다. DeepSeek에 대해서 좀 더 알아보니,

DeepSeek-V2

> Today, we’re introducing DeepSeek-V2, a strong Mixture-of-Experts (MoE) language model

중국회사라고 소개하고 있네요

> DeepSeek (深度求索), founded in 2023, is a Chinese company dedicated to making AGI a reality.

상당히 작은 parameter숫자로도 높은 성능을 낼수 있다는 주장입니다. 코드 model도 괜찮은 편이라고 합니다.

https://huggingface.co/deepseek-ai/DeepSeek-V2

엔비디아(nvidia nvda)정말 무섭도록 빠르게 성장하고 있습니다. 마켓캡 Market Cap으로 이제 두번째로 큰 회사가 되었습니다.(그리고 다시 3번째로 되었지만). 두번째로 큰회사인데 앞으로 1년간 성장률로는 넘사벽이라 가장큰 회사가 되는것도 시간문제라고 보여집니다.

AI PC는 NPU 전쟁인데, AMD가 7월부터 판매하는 9000 시리즈  APU부터 50 TOPS 성능이 나는 NPU를 탑재했다고 합니다. 경쟁사에 비해서 10-20% 성능격차가 있을것으로 보입니다. 퀄컴도 이번에 많이 따라왔다고 생각은 드는데 AMD도 정말 빠르게 잘 대응중이네요.

차세대 AMD 서버용 CPU는 EPYC Turin (에픽 튜린), 한 패키지에 192코어를 지원한다고 하니 서버용 2 CPU보드는 386 Cores / 768 Threads를 지원한다고 합니다.

차세대 AMD Data Center GPU라인업은, MI350부터 CDNA 4 아키텍쳐가 적용되는데 그전 아키텍쳐대비 무려 35x배나 성능향상이 있을 예정이라고 합니다. 헐~ 2026년에는 MI400이 대기하고 있고 이것도 CDNA NEXT(5?) 가 적용되어 또 한번 점프를 할것이라고 합니다. GPU의 성능향상은 CPU랑 완전 다른 스케일로 점프하고 있습니다.

4월에 누가 정말 일찍 정리해서 만들어놨네요.

AMD는 라이젠 Ryzen 1세대 출시때랑 비슷한 양상이긴하네요. 워낙 빠르게 변해서 내년에 MI400 시리즈를 발표해야할텐데 표 상으로는 어려울것 같기도하고요. 내년에 AMD의 명운을 걸려있다고 보여지네요

https://www.trendforce.com/presscenter/news/20240416-12119.html

https://www.reddit.com/r/AMD_Stock/comments/1dkjrhq/amdnvidia_dc_ai_dgpus_roadmap_visualized/

GFX1100 Navi 31 RDNA3 = Radeon RX 7900 XTX

https://wccftech.com/amd-rdna-3-navi-31-navi-32-navi-33-gpus-radeon-rx-7000-graphics-cards-detailed/

Transformer framework/architecture 덕에 AI가 사람이 사용할만한 진전을 이루었는데, Transformer를 대체하고 AI evolution을 이끌 architecture  는 뭐가 있는지 물어보니.

Pathways를 가장 먼저 꼽니다. 이것도 구글이 만들고 있으니 장단점을 잘 알고 잘 보안할수도 있을듯. 그런데 모든 AI 모델이 transformer로 train되고 있으니, 더 좋을 것을 만들어 내더라도 전환하는데 시간이 많이 걸릴듯.

1. Pathways by Google AI: This architecture focuses on building a single model capable of thousands of tasks by utilizing a flexible foundation and modular components. It tackles the issue of specialized models by enabling a more general-purpose approach (https://blog.google/technology/ai/introducing-pathways-next-generation-ai-architecture/).
2. Generative AI Frameworks: These frameworks like Langchain focus on Generative AI models that create entirely new content. They leverage large language models (LLMs) like me and go beyond pattern recognition in data, aiming for a deeper understanding (https://www.analyticsvidhya.com/blog/2023/04/what-is-generative-ai/).
3. AIfES for Edge AI: This framework targets specifically edge AI, where processing happens on devices themselves. AIfES aims for better hardware integration and flexibility to handle the evolving needs of on-device AI (https://pubmed.ncbi.nlm.nih.gov/38236682/).

-----------

1. Pathways: Google Research is working on a next-generation AI architecture called Pathways. Unlike current models that specialize in individual tasks, Pathways aims to handle thousands or even millions of tasks simultaneously. Rather than training each model from scratch for a specific problem, Pathways synthesizes existing strengths and adapts to new tasks quickly. This architecture reflects a better understanding of the world and has the potential to tackle complex challenges we face today.
2. Mamba: While the Transformer remains dominant, there are contenders like Mamba. Mamba achieves five times higher throughput than Transformers due to its recurrent nature. However, it’s essential to note that the Transformer is unlikely to relinquish its throne anytime soon, especially given the recent successes of language models like ChatGPT and Gemini, which build upon the Transformer’s foundation.
3. BASED

AMD가 Xilinx를 인수한 이후에 젤 큰 업데이트 인것 같습니다. 2-3년 이내에 FPGA가 AI 관련 system에서 아주 중요한 일을 할수 있을것으로 기대하고 있습니다. Spartan family를 유심히 봐야할것 같습니다.

https://ir.amd.com/news-events/press-releases/detail/1186/amd-extends-market-leading-fpga-portfolio-with-amd-spartan

https://www.phoronix.com/news/AMD-Spartan-UltraScale-Plus

https://semiengineering.com/using-fpgas-for-ai/

• FPGA for AI: The article discusses the use of FPGAs (Field Programmable Gate Arrays) for artificial intelligence (AI) and machine learning (ML), highlighting their potential due to inherent parallelism and hardware programmability.
• Power Efficiency: FPGAs are considered for AI applications because they can perform more processing than GPUs (Graphics Processing Units) within a quarter of the power budget, making them a low-power solution.
• Scalability: FPGAs are scalable and can be daisy-chained for larger algorithms or processing jobs, allowing for flexibility in handling complex AI tasks1.
• Programming Challenges: Despite their benefits, FPGAs face challenges such as a lack of a natural programming model for software developers and being power-hungry, which affects their adoption in AI applications2.

https://embeddedcomputing.com/technology/processing/semiconductor-ip/fpga-insights-and-trends-2023-unleashing-the-power-of-fpga

https://www.ml6.eu/blogpost/unlocking-the-secrets-of-life-ai-protein-models-demystified

거대 기업들의 역활을 잘 정리한것 같다

• Google의 Deepmind는 DeepX, Alpahfold
• Meta의 ESM
• Microsoft의 MIF-ST

MS의 protein sequence model은 github에 PyTorch, python opensource로 공개도 되어 있다

https://github.com/microsoft/protein-sequence-models

이 리포트를 만든 사람이 다니는 회사도 상당히 재미있다. Business solution을 E2E로 지원한다고 하는데 사람 숫자는 많지 않고 machine learning과 AI관련 솔루션 정도를 소개하는 수준 정도로 일을 하는것 같다. 오피스는 독일 베를린(Berlin)과 네델란드 암스테르담(Amsterdam).

지금까지는 스타벅스 네트웍이 그남아 안정적이고 빠른 편이라서 스타벅스에서 충전도 하면서 유튜브에 올리면 됐었는데, 스타벅스가 돈이 없는지 upload 속도가 2-4배 느려졌다. 스타벅스는 구글에서 네트웍을 셋업해 줬는데 그 관계까 끝났나?

------------------------

피닉스 아리조나에서 어디가면 좋을까 바드에거 물으니

Sure, here are some places with good wifi near Phoenix, AZ that you can go to upload your soccer videos:

• Jobot Coffee, Diner & Bar at 333 E Roosevelt St, Phoenix, AZ 85004, USA has a rating of 4.5 stars on Google Maps.
• Scooter's Coffee at 4030 N 7th Ave, Phoenix, AZ 85013, USA is a drive-thru chain serving espresso & other coffee drinks, plus a variety of smoothies & pastries. It has a rating of 4.5 stars on Google Maps.
• Songbird Coffee & Tea House - Phoenix, AZ at 812 N 3rd St Ac, Phoenix, AZ 85004, USA is a hip cafe with brewed-to-order coffee & tea, comfy sofas & house-baked pastries (with vegan options). It has a rating of 4.7 stars on Google Maps.
• Window Coffee Bar at 903 W Camelback Rd, Phoenix, AZ 85013, USA has a rating of 5 stars on Google Maps.
• Lola Coffee at 1001 N 3rd Ave #6, Phoenix, AZ 85003, USA is a bright & airy cafe offering fair-trade, hand-roasted coffees, homemade pastries & poetry nights. It has a rating of 4.5 stars on Google Maps.

I hope this helps!

-----------------------

Bing에게 미국에서 어디 가야하는지 물으니

Upload까지 고려하면 Dunkin' Donuts와 Joe & The Juice를 가야한다고 한다. 2024년에는 좀 달라졌을 수도 있을듯.

I can understand that you are looking for a coffee shop chain with fast network speed to upload videos to YouTube. According to a recent study by PCMag, the fastest coffee chain Wi-Fi in 2019 was Joe & the Juice1. They have an average download speed of 42.4Mbps 1. However, if you are looking for a big national chain, Dunkin’ Donuts has the fastest Wi-Fi speed compared to Starbucks 12.

I hope this information helps you find a coffee shop with fast network speed. Let me know if you have any other questions.

Python programming에 도움줄 AI programming helper는 어떤것이 좋을까. 잘 테스트해서 리스트를 계속 업데이트하고 있다

• 13B LosslessMegaCoder
• 15B WizardCoder
• 2.8B Phi-2
• 6.8B Magicoder-S-DS

https://huggingface.co/spaces/mike-ravkine/can-ai-code-results