전체메뉴

[애플경제 전윤미 기자] 생성AI 기반의 LLM의 오류를 최소화하고 더 정확한 결과를 도출하기 위한 노력이 이어지고 있다. 최근엔 이른바 ‘검색 증강 생성(RAG)’을 AI개발 단계에서 접목하는 것도 그런 노력의 일환이다. 이는 LLM이 실시간으로 최신 정보를 활용할 수 있도록 하는 방식이며, 날로 인기가 높아지고 있다.

본래 생성AI 기술은 강력하지만 ‘알고 있는 것’ 또는 훈련된 데이터에 따라 그 성능이 제한될 수 밖에 없다. RAG는 정보 검색과 함께 신중하게 설계된 일련의 시스템 프롬프트를 결합한 것이다. LLM이 외부 정보 소스에서 관련성 있거나, 상황에 맞는 최신 정보를 제공할 수 있도록 하는 방법이다.

예를 들어 최근 있었던 크고 작은 화제나 사용자별 정보, 특정 주제에 대해 깊이 이해하고 있는 챗봇과 상호 작용하는 것도 그런 경우다. 이는 자체 지식 시스템은 물론, 권위있는 논문이나 과학 출판물, 문서, 자료 등을 포함한 정보 소스와 연결되는 것이다.

업계 전문가들에 의한면 이는 특히 “업계 ‘약어’와 같은 도메인별 지식과 관련된 응답의 정확성을 개선하는 데 특히 유용하다”고 한다. 즉, LLM 사용자는 RAG를 사용하여 신뢰할 수 있는 독점 소스에서 콘텐츠를 생성하고, 최신의 관련성 있는 텍스트를 빠르고 반복적으로 생성할 수 있다.

“단, 인간의 필터링이 병행돼야”

현재 시장에는 수많은 AI 도구가 나와있다. 그 가운데, 특히 RAG가 “실질적이고 비즈니스에 도움이 되는 가치를 제공할 수 있는 능력 때문에 날로 인기가 높다”는 평가다. 기존 LLM은 늘 신뢰할 수는 없으며, 자주 ‘환각’이 발생한다. 여기서 ‘환각’은 ‘AI 나름대로 자신감있게 내놓지만 잘못된 답변’이라고 할 수 있다. 그러므로 기업으로선 전적으로 AI 기반 결과를 믿고 중요한 결정을 내리는 것은 위험하다는 지적이다.

그래서 RAG는 사용자의 질문이나 프롬프트를 가져와서, 관련되는 정확한 문서를 검색한다. 그런 다음 이러한 문서를 사용자의 프롬프트와 함께 LLM에 공급, 정확한 결과를 도출하게 하는 것이다. “이를 통해 LLM이 응답에서 ‘출처를 인용’해 사용자가 LLM의 답변을 확인하고 검증할 수 있다”는 얘기다.

물론 아직 국내는 물론, 해외에서도 RAG는 초기단계이나 전문가들은 앞으로 큰 가능성이 있다고 보고 있다. 실리콘 밸리의 AI 거버넌스 기업인 새돗(Saidot)의 CCO 겸 공동 창립자인 비라 시보넨은 RAG의 잠재력에 대해 “AI환각에 대한 완전한 면역을 보장하지는 않는다”면서도 “RAG가 환각 가능성을 줄이고 결과를 사실 확인하기 쉽게 만드는 좋은 메커니즘임엔 틀림없다”고 IT프로포탈을 통해 평가했다.

그러나 그는 “실수가 치명적일 수 있는 영역에서는 RAG 솔루션을 구현해서는 안 된다. 이경우는 잘못된 응답을 걸러내는 인간의 감독이 함께 있어야 한다”면서 “또한 RAG를 유일한 위험 완화 전략으로 신뢰해서는 안 됩니다. 특히 매우 섬세한 고객 인터페이스를 논의하는 경우에는 더욱 그렇다”고 밝혔다.

그래서 (인간의 감독 등을 통해) 질문할 수 있는 질문을 필터링하고, 봇이 답변하도록 설계된 내용에 대한 투명성을 제공하고, 안전을 위해 출력을 필터링하는 것이 포함되어야 한다는 것이다. 그런 다음 “고객 인터페이스에 배포하기 전에 항상 내부적으로 생성 AI를 사용해보고 피드백하는 것이 좋다”고 덧붙였다.

RAG는 생성 기능과 외부 지식에 대한 접근성을 연결하는 ‘지식의 가교’이기도 하다. 마치 시험장에서 질문에 답하는 데 필요한 자료를 가지고 시험을 치르는 것과 비슷하다. 사전에 지식을 암기할 필요는 없다고 할 수 있다. 단지 최신 뉴스를 빠르게 해석하고, 최신 정책 문서를 읽거나, 방대한 복잡한 정보의 변경 사항을 기록할 수 있으면 된다.

RAG는 특히 데이터 검증 및 투자 분석 등과 같은 금융분야, 그리고 의료와 같은 분야에서 유용할 것으로 보인다. 복잡한 의료 정보를 분석하고, 의사와 환자가 정확한 증거에 따라 결정을 내리는 데 도움이 될 수 있기 때문이다.

생성모델, 검색된 데이터와 연동, 위험 최소화

비영리 기관인 ‘Institute of Analytics’의 데이터 교육 전문가인 로한 화이트헤드는 “RAG를 통해 ‘검색 기반 모델’과 ‘생성 모델의 강점’을 결합하면 가장 이상적”이라며 “이는 AI가 실시간으로 방대한 양의 데이터에 액세스할 수 있도록 하기 때문에 매우 바람직한 것”이라고 평가했다.

즉 생성 모델이 검색된 데이터와 연동되어, 사실 여부를 늘 참조하고, 잘못되거나 조작된 정보를 생성할 위험을 최소화한다. 이처럼 RAG는 검색 시스템의 정밀성과, 생성 모델의 창의성을 활용한 것이다. 실제로 오픈AI나 구글 등은 RAG 기술을 개발하고 개선하여 AI 시스템의 정확성과 안정성을 향상시키는 데 중요한 도구로 활용해왔다.

특히 RAG가 지원하는 ‘프런트엔드’인 LLM을 사용하면 AI를 학습하는 데 필요한 시간도 훨씬 줄어든다. 그러면 RAG는 콘텐츠가 항상 최신 상태를 유지하도록 보장하는 강력한 기술이 될 수 있다는 얘기다.

사용자는 더 이상 새 콘텐츠가 있을 때마다 비용을 들여 모델을 재교육하거나, 미세 조정할 필요가 없다. 더 중요한 것은 일부 정보가 더 이상 유효하지 않은 경우 간단한 해결책이 될 수 있다는 사실이다. 즉 ‘코퍼스’에서 문서를 제거하기만 하면 된다. 이에 비해 애당초 모델에 대해 ‘훈련 해제’란 있을 수 없음에 비춰 이는 획기적이라고 할 수 있다.

이는 보안에도 유용하다. 예를 들어, 특정 RAG에 액세스할 수 있는 사람은 누구인지를 특정하고, RAG의 답변은 특정인만이 액세스할 수 있는 특정 문서에만 기반하도록 하는 것이다. 그래서 전문가들은 “자연어 처리(NLP), 정보 검색, 의미 검색과 같은 연구 분야가 AI의 초기부터 연구되었지만, 이제 RAG가 AI기술을 한층 발전시키고 있다”는 의견이 지배적이다.