오른손의 좋은 세상만들기

인텔을 인수하려는 회사가 몇개가 있다고 소문이 돌고 있다. 어떤 회사들이 가능성이 높을까?

우선 인텔은 미국의 전략자산이라 미국회사가 아니면 인수가 안되고, 인수해서 시너지 효과가 분명히 있어야 하고, 인수금액은 지금은 완전 망해버렸지만 껌값에는 안 팔거라 적절한 가격을 제안해야 할테고. 크게 파운드리와 프러덕트로 나뉘는데, 지금은 한꺼번에 사겠다고 제안해야 인수 가능성이 높다고 보는데.

마이크로소프트(Microsoft, MSFT)와 브로드컴(Broadcom, AVGO)가 가능성이 높지 않을지? 둘다 시너지 효과가 충분히 있으면서 반독점 문제도 피해갈 수 있고, 자금력도 충분하고.

Google과 Amazon도 일부분에서 얻을게 있겠지만 이 둘회사는 얻는거에 비해 잃을것이 더 크다고 생각이 된다. 쓸데없이 배팅하지는 않을것 같다.

1. Microsoft (MSFT):

• Why it makes sense:
  • Vertical Integration: Microsoft is heavily invested in cloud computing (Azure), gaming (Xbox), and devices (Surface). Owning a chipmaker like Intel would allow them to control more of the hardware stack, optimize performance, and potentially reduce costs.
  • Cloud Growth: Intel's data center business, while facing competition, could be integrated into Azure to strengthen its offerings and compete more effectively with AWS.
  • AI and Edge Computing: Intel has been investing in AI and edge computing, areas that align with Microsoft's strategic priorities.
• Challenges:
  • Regulatory Scrutiny: An acquisition of this size would face intense scrutiny from antitrust regulators, given Microsoft's already dominant position in software and cloud.
  • Integration Complexity: Integrating a massive company like Intel would be a monumental task, with potential for cultural clashes and operational challenges.

2. Broadcom (AVGO):

• Why it makes sense:
  • Semiconductor Consolidation: Broadcom is a major player in the semiconductor industry and has a history of acquiring other chipmakers. Acquiring Intel would significantly increase its market share and product portfolio.
  • Data Center Synergy: Broadcom already supplies chips for data centers, and Intel's server business would complement this.
  • 5G and IoT Expansion: Intel's technologies in 5G and the Internet of Things (IoT) could enhance Broadcom's offerings in these growing markets.
• Challenges:
  • Debt Burden: Broadcom already carries significant debt from previous acquisitions. Financing an Intel acquisition would add to this burden.
  • Regulatory Approval: Given Broadcom's existing market position, securing regulatory approval would be challenging.

Green500에서 TOP500의 시스템은 소비 전력 와트당 HPL 벤치마크에서 얼마나 많은 계산 성능을 제공하는지에 따라 순위가 매겨집니다. 이 전력 효율은 기가플롭/와트 단위로 측정됩니다. 아직은 전력효율보다는 성능만을 보는 슈퍼컴퓨터이지만, 다행히 이런 순위도 점점 중시하고 있어서 다행입니다. 안그러면 그냥 마구 때려넣어서 크게만 만들려고 할테니까요.

https://top500.org/lists/green500/2024/11/

https://www.theregister.com/2024/11/22/nvidia_green500_amd/?td=readmore

https://landscape.cncf.io/

cloud software에 대한 상당히 자세한 diagram을 제공한다. (심지어 몰라도 될것까지 다...)

두가지 놀라운 모습이네요. 빨간색 Nvidia 정말 무시무시하게 오르네요. 이 블루오우션에서 인텔만 계속 하락. 굳이 비교하면 물반 고기만인데 아무것도 못잡고 집에가는 그런 모습일련가요?

인텔 Data Centen 1년 매출은, 2018부터 이미 더 늘어나지 않는 상태였네요. 2024년에는 12-14B정도로 끝날지도 모르겠네요.

• 2023: $15.52 billion
• 2022: $19.2 billion
• 2021: $22.7 billion
• 2020: $23.5 billion
• 2019: $23.5 billion
• 2018: $22.99 billion

인텔을 AMD와 비교해도, 2024 Q2에 AMD는 $2.8B, 인텔은 $3B 거의 같고요. 다음분기는 최로로 AMD가 Intel을 data center 매출에서 넘어서게 됩니다.

검색 증강 생성 한국말도 어렵구만.

-----------------

https://www.datanet.co.kr/news/articleView.html?idxno=193548

RAG, LLM 정확도 높이는 도구
환각현상이 생기는 이유는 AI가 학습한 정보를 조합해 답을 꺼낼 때 때 왜곡이 생기기 때문이다. 그래서 검색 범위를 좁혀 거짓된 답이 나올 수 있는 가능성을 줄이는 검색 증강 생성(RAG)이 주목받고 있다. RAG는 사전 학습된 대규모 언어모델과 외부 검색 또는 검색 메커니즘을 결합한 기술이다. 

RAG는 ▲검색기(Retriever) ▲생성기(Generator) ▲증강 방법(Augmentation Method)의 세가지 주요 구성요소로 이뤄진다.

검색기는 대규모 데이터 집합에서 정보를 찾아 텍스트 생성을 위한 데이터를 준비한다. 특정 분야 전문지식이나 사실 확인이 필요한 부분에서 검색 기능은 특히 중요하다. LLM의 일반 지식과 현재 맥락에서 정확한 정보의 차이를 해결하기 위해 정확한 의미론적 표현을 추출하고, 사용자 질의와 검색 대상 문서에서 일치된 데이터를 찾는다. 검색 결과를 기반으로 최종 답변을 도출하는 생성기와, 생성기의 답변에 추가 정보를 더하는 증강방법으로 정확한 답변을 내놓는다. 
-----------------

RAG(Retrieval-Augmented Generation)는 대규모 언어 모델의 출력을 최적화하여 응답을 생성하기 전에 학습 데이터 소스 외부의 신뢰할 수 있는 지식 베이스를 참조하도록 하는 프로세스입니다.

RAG stands for Retrieval-Augmented Generation. It’s a technique in natural language processing (NLP) that combines the strengths of retrieval-based and generation-based models. Here’s a breakdown of how it works and its applications:

1. Retrieval: The system first searches through an external dataset or document collection to find relevant pieces of information based on the input query1.
2. Augmentation: The retrieved information is then used to enhance the input query, providing additional context and details1.
3. Generation: Finally, the augmented input is used to generate a more informative, accurate, and contextually relevant response1.

RAG is particularly useful for tasks that require understanding and synthesizing information from large knowledge bases, such as:

• Question Answering: Providing precise answers by retrieving relevant information and generating a coherent response2.
• Text Summarization: Summarizing long documents by retrieving key points and generating concise summaries3.
• Dialogue Systems: Enhancing chatbot responses by retrieving relevant context and generating more accurate replies2.

In the article you mentioned, the author is likely referring to how different language models perform in these RAG-specific tasks. Cohere’s Command-R seems to have impressed them with its ability to ground prompts and provide useful insights from source documents.

--------------

https://aws.amazon.com/ko/what-is/retrieval-augmented-generation/

-----------------

Cohere.ai prompting document

https://docs.cohere.com/docs/prompting-command-r

리눅스계에서 그래도 돈을 버는 기업인 레드햇(Redhat)은 Open Source개발자들에게 욕을 먹기도 하지만 그 돈벌어서 리눅스에 투자해주니 칭찬할수도 있을것 같다. 시장의 독점을 유지하기 위한 전략인 Buy and Kill 전략까지 구사해서 세상이 오픈 소스로 밥 벌어먹고 사는 사람들이 정말 이러기야 하는 상황까지 만들었는데

CentOS를 사버린후 없애버리고 지원은 끊고 그냥 비슷한 이름인 CentOS Stream으로 장기지원같은 건 없애 버린것이다. 장기지원을 원하면 돈주고 Redhat Enterprise버전을 사라는 것이다. 기업들은 공식지원이 짧은 리눅스를 쓸수 없으니 돈주고 Redhat으로 넘어갈 수 밖에 없다

리눅스 배포판별 점유율을 보면 우분투(Ubuntu)가 32.24%로 가장 높고, 개인 개발환경은 우분투가 가장 일반적인 것 같다. 형제 Debian까지 치면 40%에 가깝다.

그러나 CentOS + Redhat + Fedora까지 더하면 50%까이이 된다. 사실상 50%가 넘는 1위 업체로 봐야하고 돈내고 쓰는 기업들은 레드햇 말고는 선택지는 없다고 보면 독점에 가깝다. 개인들이 지랄할것은 아니지만 레드헷에 돈을 내야하는 기업들은 예전의 CentOS처럼 레드햇과 compatible 하면서 patch까지 쉽게 적용할 수 있는 무료 배포판이 엄청 그리울것 같다.

--------------

**What is CentOS Stream?**

CentOS Stream is a Linux distribution that was announced in September 2020 by Red Hat, the company behind RHEL (Red Hat Enterprise Linux). CentOS Stream is a rolling-release 
distribution, which means it receives continuous updates and new features as they become available. It's designed to be a mid-stream distribution between Fedora and RHEL.

CentOS Stream is built from the sources of RHEL, but with some key differences:

* It's not a 1:1 clone of RHEL, unlike CentOS Linux (more on that later).
* It has a faster release cycle than RHEL, with new features and updates arriving more quickly.
* It's intended for developers, testers, and power users who want to stay at the bleeding edge of enterprise Linux.

**What is the relation between Fedora and Red Hat OS?**

Fedora is a community-driven Linux distribution that serves as an upstream project for Red Hat Enterprise Linux (RHEL). This means that Fedora acts as a testing ground for new 
features, packages, and technologies that may eventually make their way into RHEL.

Here's how it works:

1. Fedora developers create and test new features, packages, and updates.
2. The Fedora community provides feedback, reports bugs, and helps refine the changes.
3. Once the changes are stable and well-tested in Fedora, they're incorporated into RHEL, which is a more conservative, enterprise-focused distribution.

RHEL takes the best of what's been tested in Fedora and adds additional features, support, and certifications to make it suitable for large-scale enterprise deployments.

**Why does the open source community hate about new CentOS?**

In December 2020, Red Hat announced that they would be discontinuing CentOS Linux, a popular community-driven distribution that was previously based on RHEL sources. The community 
was shocked and upset by this decision.

The main reasons for the backlash are:

* **Loss of a reliable, stable alternative to RHEL**: CentOS Linux was known for its stability, security, and compatibility with RHEL. Many users relied on it as a free, 
community-driven alternative to RHEL.
* **CentOS Stream is not a direct replacement**: While CentOS Stream shares some similarities with CentOS Linux, it's a rolling-release distribution with a different update cycle and 
feature set. This makes it less suitable for production environments that require stability and predictability.
* **Lack of transparency and communication**: The Red Hat announcement was seen as sudden and unexpected, leaving many users feeling abandoned and without a clear migration path.

Some people in the open source community have referred to this situation as a "disaster" because it leaves a significant gap in the Linux distribution landscape. CentOS Linux was 
widely used in production environments, and its discontinuation has forced many users to scramble for alternative solutions.

In summary, CentOS Stream is a new distribution that fills a specific niche between Fedora and RHEL, while the discontinuation of CentOS Linux has caused widespread concern and 
frustration within the open source community.

--------------

공식적으로 Almalinux와 Rockylinux를 대안으로 제시하고 있습니다.

Consider these replacements: Almalinux, Rockylinux (we mirror those)
	${MIRROR}/pub/mirrors/almalinux/
	${MIRROR}/pub/mirrors/rocky/

AI시대 다시 주목받는 AMD Radeon RX 7900 XTX 24GB

AMD 라데온 Radeon은 원래 성장형 그래픽카드로 유명한데, 벌써 출시된지 2년이 다되어 가기도 해서 이미 성장(?)도 많이 했지만 외장 그래픽카드중에 24GB 메모리를 가진것을 찾기가 너무 어렵다 보니 다시 주목을 받고 있습니다. AI 추론용으로 쓰려면 GPU memory에 model을 올려놓고 써야하는데 24GB가 갖는 강점은 너무 강합니다. 속도가 조금 느린것은 참을 수 있지만, 돌릴 수 없는 것은 못참지요.

Ebay중고가를 살펴보니 800불 정도에 구매할수 있네요. 그래서 가격벙어도 잘되고 있습니다.

AI시대 주목받는 EPYC CPU

AI 모델을 돌리려면 GPU만 가능할거라 생각하지만 AMD는 64/128 코어를 가진 EPYC을 오래전부터 만들어왔습니다. 시스템 메모리가 DDR4/DDR5이지만 대체로 EPYC은 최소 64GB부터 256GB까지 큰 메모리를 갖춘 시스템이 많습니다. 상대적으로 큰 AI모델을 시스템 메모리에 올리고 chatgpt같은 app을 돌리면 속도는 물론 GPU로 돌렸을때 보다 느리지만 모델이 크다보니 상당히 quality있는 답을 얻을 수 있습니다. 그리고 강력한 CPU thread가 많다보니 생각보다는 느리지도 않습니다. 소비자용 GPU 로는 24GB가 max이지만 system memory는 5-10배는 더 크기 때문에 못돌리는 모델도 돌려볼 수 있습니다. 80GB 사이즈 되는 모델을 돌려보고 오, 결과가 상당히 좋은데 했습니다. 돌릴 system이 있다면 한번 돌려보시길 강추.

전자서명은 오래동안 성장이 지지부진했는데, 코로나 팬데믹부터 성장이 10배이상 이뤄진 영역이다. Docusign이 가장 큰 수혜를 입었었는데, 요즘 경쟁회사들도 많이들 생겨나서 small bisiness에서도 사용할수 있을 만큼 가격이 매력적이 된것 같다.

• Adobe Acrobat Sign: Part of the Adobe suite, it offers integration with other Adobe products.
• Dropbox Sign (formerly HelloSign): Known for its simplicity and integration with Dropbox.
• PandaDoc: Offers a comprehensive solution combining document creation, eSignature, and workflow automation.
• SignNow: Focuses on user experience and mobile capabilities.
• Signeasy: Provides a mobile-first approach to electronic signatures.
• OneSpan Sign: Offers a high level of security and compliance features.

IT역사의 가장 중요한 위치에 있었다고 할수 있는 Intel이 최악의 날을 맞았다. 어닝다음날 주가가 -30%를 기록중인것이다. 40년내 최대고비라고 하고 15년내 최저주가를 기록할것 같다.

가장 큰 문제는 AI시대에 전혀 준비가 되어 있지 않다는 점이다. 한때 data center에 들어가는 솔류션은 인텔에서 95%이상 공급했었는데 요즘은 GPU나 AI workload만 구매가 급격하게 늘었기 때문에 인텔의 설자리는 점점 없어지는 분위기 이다. 한때 외계인을 잡아다 고문했다던 넘사벽 기술 리더쉽은 이미 보기 어려워졌다.

새로운 CEO도 한계를 들어내고 있다. IDM2.0라는 전략이 미국 정치권에서 미국내에서 반도체를 생산하자는 방향까지 맞아들면서 Intel Fountry는 그남아 방향은 잘 잡았고 앞으로 2-3년내에 의미있는 실적을 낼것이라고 생각된다. 이것은 CEO의 역량중의 하나라고 생각한다. 하지만 AI시대를 어떻게 준비할지 아무런 생각이 없었던것 같다.

더욱 무서운 것은, 아직 최악은 안왔을 수도 있다는... ㅎㄷㄷ

2024/8/2 미국장 마감후 스크린샷, 인텔은 $21.48로 26% 급락정도로 마무리. 30% 아닌게 다행.

AI Data 기업인 databricks에서는 저렴한 솔루션은 AMD GPU를 통해서 제공하고 있습니다. 물론 대부분은 NVidia GPU를 사용할수 밖에 없지만 작년 6월에 AMD솔류션을 써왔던 MosaicML을 인수하면서 가격대비 성능을 중시하는 고객을 위한 시장을 미리 생각했던것 같습니다. 작년에 읽은 기사인데 지금보니 더 의미가 있는것 같습니다. 시장을 잘 읽고 있는것 같습니다.

----------------

데이터브릭스와 AMD 파트너십: 데이터브릭스는 대규모 언어 모델(LLM) 학습을 위해 MI250과 같은 AMD GPU를 사용하는 AMD와 파트너십을 맺었습니다. 이 파트너십은 상당한 성능 향상을 가져왔습니다.
소프트웨어 혁신: AMD의 ROCm 소프트웨어 플랫폼은 OpenAI Triton 컴파일러에 대한 상당한 업그레이드와 기여를 통해 성공의 핵심 요소로 부각되고 있습니다.
성능 향상: 데이터브릭스는 ROCm 5.7 및 플래시어텐션-2와 함께 트레이닝 성능을 1.13배 향상시켰으며, GPU 클러스터를 통해 강력한 확장성을 입증했습니다.
향후 전망: 데이터브릭스 및 기타 기업들은 AI 트레이닝 능력을 더욱 향상시킬 것으로 기대되는 AMD의 MI300X GPU의 출시를 고대하고 있습니다.

-----------------

Why Databricks is Using AMD GPUs
https://analyticsindiamag.com/ai-origins-evolution/why-databricks-is-using-amd-gpus/