오른손의 좋은 세상만들기

검색 증강 생성 한국말도 어렵구만.

-----------------

https://www.datanet.co.kr/news/articleView.html?idxno=193548

RAG, LLM 정확도 높이는 도구
환각현상이 생기는 이유는 AI가 학습한 정보를 조합해 답을 꺼낼 때 때 왜곡이 생기기 때문이다. 그래서 검색 범위를 좁혀 거짓된 답이 나올 수 있는 가능성을 줄이는 검색 증강 생성(RAG)이 주목받고 있다. RAG는 사전 학습된 대규모 언어모델과 외부 검색 또는 검색 메커니즘을 결합한 기술이다. 

RAG는 ▲검색기(Retriever) ▲생성기(Generator) ▲증강 방법(Augmentation Method)의 세가지 주요 구성요소로 이뤄진다.

검색기는 대규모 데이터 집합에서 정보를 찾아 텍스트 생성을 위한 데이터를 준비한다. 특정 분야 전문지식이나 사실 확인이 필요한 부분에서 검색 기능은 특히 중요하다. LLM의 일반 지식과 현재 맥락에서 정확한 정보의 차이를 해결하기 위해 정확한 의미론적 표현을 추출하고, 사용자 질의와 검색 대상 문서에서 일치된 데이터를 찾는다. 검색 결과를 기반으로 최종 답변을 도출하는 생성기와, 생성기의 답변에 추가 정보를 더하는 증강방법으로 정확한 답변을 내놓는다. 
-----------------

RAG(Retrieval-Augmented Generation)는 대규모 언어 모델의 출력을 최적화하여 응답을 생성하기 전에 학습 데이터 소스 외부의 신뢰할 수 있는 지식 베이스를 참조하도록 하는 프로세스입니다.

RAG stands for Retrieval-Augmented Generation. It’s a technique in natural language processing (NLP) that combines the strengths of retrieval-based and generation-based models. Here’s a breakdown of how it works and its applications:

1. Retrieval: The system first searches through an external dataset or document collection to find relevant pieces of information based on the input query1.
2. Augmentation: The retrieved information is then used to enhance the input query, providing additional context and details1.
3. Generation: Finally, the augmented input is used to generate a more informative, accurate, and contextually relevant response1.

RAG is particularly useful for tasks that require understanding and synthesizing information from large knowledge bases, such as:

• Question Answering: Providing precise answers by retrieving relevant information and generating a coherent response2.
• Text Summarization: Summarizing long documents by retrieving key points and generating concise summaries3.
• Dialogue Systems: Enhancing chatbot responses by retrieving relevant context and generating more accurate replies2.

In the article you mentioned, the author is likely referring to how different language models perform in these RAG-specific tasks. Cohere’s Command-R seems to have impressed them with its ability to ground prompts and provide useful insights from source documents.

--------------

https://aws.amazon.com/ko/what-is/retrieval-augmented-generation/

-----------------

Cohere.ai prompting document

https://docs.cohere.com/docs/prompting-command-r

재미있는 글이 올라와서 여러 커뮤니티에서 뜨거운 반응을 보이고 있다. CUDA때문에 AMD MI300X가 나와도 잘 팔릴수 있겠냐는 회의론을 정면으로 반박하는 내용인데.

https://www.semianalysis.com/p/amd-ai-software-solved-mi300x-pricing?utm_source=substack&utm_medium=email 

AMD주주이기도 하고 AMD가 어디까지 갈수 있을지 관심가지고 지켜보고 계산해보고 있는입장에서 자세히 읽어보았는데. (뒷부분은 유료라 읽을수 없었음) 짧게 요약하면 NVidia A100으로 돌리던 LLM을 MI250으로 코드 한줄 바꾸지 않고 돌렸는데 73%-80% 성능이 쉽게 나왔다는 이야기. 아직 AMD 솔루션을 사용한지 얼마 안된것을 감안하면 이건 엄청난 진전이라는 내용. 게다가 ROCm based에서 OpenAI Triton-based FlashAttention로 바꾸면 84-90%까지 성능이 쉽게 나온다는 이야기.

=> ROCm이 쓰레기구만. Triton은 뭐길래 이렇게 쉽게 잘나와

OpenAI가 밀고 있는 triton은 CUDA보다 더 좋은 성능을 목표로 하는 open source project라 한다. AMD GPU 공식지원은 2023년 말까지 목표라고 함.

https://github.com/openai/triton

위 내용을 기반으로 볼때 여러 업체에서 구할수 없는 NVidia를 바라보기 보다 AMD기반으로 전환을 계획할 가능성이 좀 있을것 같다는 생각이 듬. 처음에는 쉽게 안넘어간다고 봐야 할것 같고. 이 시점을

• 첫번째 Ryzen이 나온 시점으로 보면 될것 같기도 하고
• 첫번쩨 서버 CPU EPYC Naples 나폴리가 나온 시점이 될것 같기도 하고

키는 사람들이 괜찬네하면서 다음 세대것이 나오면 많이 넘어가고 그 다음 세대에는 동급으로 되었다가 그 다음 세대에서는 선두가되는... 헉... 정말.. 에이 암레발이지... 

P.S MosaicML 얘네는 뭐야 하고 찾아보니, Databricks라는 회사가 상당히 좋은 value를 쳐주고 최근에 인수했음. AI때문에 인수도 활발하고 시장이 정말 뜨겁다

https://techcrunch.com/2023/06/26/databricks-picks-up-mosaicml-an-openai-competitor-for-1-3b/

AMD MI250을 사용한 자세한 페이지도 만들어놨다. AMD AI의 엄청난 우군이구만.

https://www.mosaicml.com/blog/amd-mi250