추출-강화된 생성(RAG): 실제 세계 지식으로 AI 언어 모델을 개선합니다

튜토리얼

최근 几年 AI 技术은 대폭 이전하였고, 이를 주요 인수로 대형 언어 모델 (LLM)이나 것입니다. LLM은 인간like 텍스트를 이해하고 생성하는 것에 매우 eptinent하며, 이를 기반으로 고급 챗봇, AI 笔者 등 다양한 새로운 도구가 개발되었습니다.

LLM은 자신like 텍스트를 생성하는 것에 매우 eptinent하나, 정확성이 매우 중요한 경우 실제 사실을 정확히 이해하기 위해 고생합니다.

이러한 문제를 해결하기 위한 솔루션은 무엇인가요? 答え는 Retrieval Augmented Generation (RAG).

RAG은 GPT과 같은 모델의 강력한 기능을 모두 통합하면서, 독적적인 데이터베이스, 記事, 콘텐츠 등을 search하는 기능을 추가하였습니다. 이렇게 AI는 잘 쓰여진 텍스트를 생성하는 것뿐만 아니라 사실적이고 上下文적으로 정확한 텍스트를 생성할 수 있습니다.

텍스트 생성 능력과 정확하고 관련된 정보를 찾는 능력을 결합하여 RAG은 새로운 가능성을 열었습니다. 텍스트를 쓰는 AI와 실제 지식을 사용하는 AI를 연결하는 역할을 합니다.

이 글에서는 RAG의 구성, 동작, 사용 예시에 대해 자세히 보고, 未来에 AI와 我們的 interaction이 어떻게 변할 것인지 예측해보겠습니다.

Retrieval Augmented Generation (RAG)이란?

RAG의 正式한 정의를 시작하자:

Retrieval Augmented Generation (RAG)는 외부 지식 베이스와 연결되어 대형 언어 모델(LLM)을 강화시키는 AI fame work입니다. 이렇게 现代化, 정확한 정보를 통해 결과의 相关성과 사실적 정확性을 향상시킵니다.

现在, 간단한 言語로 이해하기 쉽게 분해하겠습니다.

지난 2년間 우리는 AI 챗봇 like ChatGPT를 사용했습니다. 這些은 대형 언어 모델(LLM)로 구성되어 있으며 Internet 내의 hug amount의 내용/데이터에 기반하여 훈련되었습니다. ほぼ 모든 주제에 대해 사람like 텍스트를 생성할 수 있습니다. 그렇게 우리의 모든 질문에 대해 완전히 답변할 수 있다고 보일 것처럼 하지만 그렇게 하지 않습니다. 정확하지 않고 사실적으로 correct한 정보를 공유하는 것을 때때로 보입니다.

이러한 RAG이 나타났습니다. 여기서는 非常高水位에서 작동方式을 보여드리겠습니다.

  1. 질문하시겠습니다.
  2. RAG은 신뢰할 수 있는 정보의 정의 지식 베이스를 찾습니다.
  3. 관련 정보를 찾습니다.
  4. LLM에 이를 이용합니다.
  5. LLM은 이러한 정확한 정보를 이용하여 당신에게 답변합니다.

이러한 과정의 결과는 정확한 정보를 기반으로 exists는 응답입니다.

전통적인 LLM인 ChatGPT가 말할 경우: “일반적으로, 하나의 체크 인 baggage를 50 磅(lb)까지 가져오고, 하나의 가방을 가져오ます. 하지만 您的 airline에게 具体情况을 문의하십시오.” RAG-enhanced system가 말할 경우: “X airline에서는, 경제 舱(economy class) паASSENGERS는 하나의 50-pound(lb)의 체크 인 baggage를 가져오고, 17-pound(lb)의 가방을 가져오ます. 비즈니스 舱(business class)는 두 개의 70-pound(lb)의 baggage를 가져오ます. スポーツ GEAR 같은 物品에 대한 특정 ルール가 있으므로 警戒하십시오. 항상 체크 인 시에 확인하십시오.”

이를 지orce 하시면 RAG가 具体情况에 따라 더 precise하고 정확한 정보를 제공하는 것을 확인할 수 있습니다. RAG가 이러한 시스템을 더 신뢰할 수 있는 것으로 만들어 줍니다. 실제 세계적인 응용에서 더 신뢰할 수 있는 AI 시스템을 開発하는 것은 매우 중요합니다.

RAG이 어떻게 작동하는지

RAG가 무엇인지 이제 좋은 이해를 끊었습니다. 그럼 어떻게 작동하는지에 대해 이해하겠습니다. 먼저, 간단한 아키텍тура diagram을 시작하겠습니다.

RAG의 주요 구성 요소

上面的diagram에서, 사용자의 질문과 질문에 대한 마지막 답변 사이에, RAG가 작동하는 것에 중요한 3つ의 주요 구성 요소가 있습니다.

  1. 지식 ベース
  2. Retriever
  3. Generator

이제, 하나씩 이해하겠습니다.

지식 기반

이곳은 모든 문서, 記事, 또는 정보를 가지고 있는 저장소로, 모든 질문에 대한 답변을 参照할 수 있습니다. 이것은 정확한 답변을 제공하고 사용자에게 가장 적절한 및 최신의 정보를 제공하기 위해 不断地に 새로운 및 관련 있는 정보로 갱신되어야 합니다.

기술적으로는, 이 것은 벡터 데이터베이스이나 Pinecone, FAISS 등을 사용하여 텍스트를 수치 표현(embedddings)로 저장하여 빠르고 효율적인 Search를 가능하게 합니다.

RETRIEVER

이것은 사용자 질문과 관련된 문서나 정보를 찾는 것이 담당합니다. 질문이 들어오면, RETRIEVER가 지식 기반을 빠르게 search하여 가장 관련된 정보를 찾습니다.

기술적으로는, 이것은 Dense Passage Retrieval이나 BM25과 같은 밀집한 가져오기 方法을 자주 사용합니다. 이러한 方法은 사용자 질문을 지식 기반에서 사용되는 同様의 수치 표현으로 변환하고 관련 정보와 일치시키ます.

GENERATOR

이것은 사용자 질문에 대응하는 지문이 유지되는 유지되는 내용을 생성합니다. 이것은 RETRIEVER에서 얻은 정보를 사용하여 질문에 대한 답변을 생성합니다.

기술적으로는 대형 언어 모델(LLM)인 GPT-4 또는 오픈 소스 alternativessuch as LLAMA or BERT과 같은 것으로 작동합니다. 이러한 모델은 대規模의 dataset을 통해 훈련되며, 수신하는 입력에 따라 인간like text를 생성할 수 있습니다.

RAG의 이점과 응용

RAG이 무엇인지 以及 어떻게 작동하는지 알았으면, RAG이 제공하는 이점과 어떻게 응용되는지 기술해보겠습니다.

RAG의 이점

최신 지식

传统的 AI 모델(ChatGPT)처럼 훈련 데이터로 제한되는 것 不同, RAG 시스템은 지식 베이스에 있는 가장 최신 정보를 이용하여 사용할 수 있습니다.

정확성 향상과 hallucinations 감소

RAG는 지식 베이스에 있는 사실적인, 가장 최신 정보를 사용하여 응답의 정확성을 improve하고, 이를 통해 대부분의 “hallucinations”를 줄이고 있습니다. AI가 더 plausible하지만 incorrec information을 생성하는 인스턴스를 refer to합니다.

ustomization and Specialization

Companies can build RAG systems to their specific needs by using specialized knowledge bases and creating AI assistants that are experts in specific domains.

Transparency and Explainability

RAG 시스템은 자주 정보 ällor를 제공하여 사용자가 정보 ällor을 이해하고, CLAIM을 확인하고, 응답 背后的 이유를 이해할 수 있습니다.

스케일ability and 효율성

RAG은 计算 자원을 効率的하게 사용할 수 있습니다. 대형 모델을 不断的に 다시 트레이닝하거나 새로운 모델을 만들 필요가 없습니다. 조직은 지식 베이스를 更新할 수 있습니다. 이렇게 AI 시스템을 스케일링하고 유지하는 것이 더 容易해집니다.

RAG의 응용

고객 서비스

RAG은 고객 지원 챗봇을 지능적으로 더 나은 것으로 만들어집니다. 이러한 챗봇은 지식 베이스에서 가장 최신 정보에 アクセス할 수 있으며 정확하고 上下文에 따라 적절한 대답을 제공할 수 있습니다.

개인화 지원자

기업은 独自하고 가지고 있는 정보에 접근할 수 있는 customs AI Assistants을 만들 수 있습니다. 조직의 내부 문서를 이용하여 정책, 과정 및 다른 정보를 활용하여 이러한 辅助劳动者는 직원의 질문에 대한 빠른 및 効率的한 답변을 제공할 수 있습니다.

고객의 목소리

기업은 RAG을 사용하여 다양한 고객 피드백 채널을 분석하고 动作 가능한 인사이트를 얻을 수 있습니다. 이렇게 고객의 경험, 감정 및 需要에 대한 일관성있는 이해를 실현할 수 있습니다. 이를 통해 중요한 문제를 빠르게 식별하고 해결할 수 있으며 데이터 기반의 결정을 하고 AI 시스템을 일관성있게 개선할 수 있습니다.

RAG의 미래

RAG(Relational Active Memory)는 자신적으로 정보를 제어하고 있는 것처럼 보이는 지능적 agent이며, 인공지능 분야에서 转折적인 기술로 evolve 하고 있습니다. 대형 언어 모델의 능력과 동적 정보 검색을 결합하여 이러한 기술의 가치를 보여줍니다. 많은 기관이 이미 이러한 기술을 이용하고 있으며, 자신의 需要에 따라 사용자 정의 솔루션을 개발하고 있습니다.

未来에 looking forward, RAG은 우리가 정보와 통신하고 결정을 하는 方法을 根本적으로 변화시킬 것입니다. 未来 RAG 시스템은 다음과 같습니다.

  • 더 많은 contestual understanding과 개인화를 갖추게 됩니다.
  • 문자를 넘어가 이미지, 오디오/비디오를 통합하여 다양한 모드로 동작합니다.
  • 실시간 지식 ベース 갱신을 갖추게 됩니다.
  • 생산성과 협업을 개선하기 위한 많은 workflow과 일관성이 있는 통합을 갖추게 됩니다.

결론

결론적으로 RAG은 AI와 정보에 대한 우리의 인터랙션을 根本적으로 변화시킬 것입니다. AI-generates コンテンツ와 사실적 정확성 사이의 沟を 닫으며, RAG은 기능이 더욱 강하고 정확하고 신뢰할 수 있는 지능적 시스템을 만들어 내는 기반을 제공할 것입니다. 이러한 進歩로 정보와의 沟를 더욱 효율적으로 제어할 수 있습니다.

Source:
https://dzone.com/articles/rag-enhancing-ai-language-models