검색증강생성은 환각을 어떻게 줄이는가

검색증강생성은 환각을 어떻게 줄이는가

언어 모델은 학습한 문장의 패턴을 이용해 답변을 만들지만 모든 사실을 정확하게 저장하는 데이터베이스는 아니다. 학습 이후 변경된 정보도 스스로 알 수 없다. 검색증강생성은 질문과 관련된 외부 자료를 먼저 찾고, 그 내용을 언어 모델의 입력에 포함하여 답변을 생성하는 방식이다. 영어 약자로 RAG라고도 부른다.

기본 과정은 자료 준비, 검색, 답변 생성으로 나뉜다. 먼저 문서들을 일정한 크기의 조각으로 나누고 각 조각을 임베딩 벡터로 변환해 저장한다. 사용자의 질문도 같은 방식의 벡터로 바꾼 뒤 의미가 가까운 문서 조각을 찾는다. 검색된 내용과 질문을 함께 모델에 전달하면 모델은 제공된 근거를 바탕으로 답변을 구성한다.

일반적인 키워드 검색은 같은 단어가 들어간 문서를 잘 찾지만 표현이 다르면 놓칠 수 있다. 벡터 검색은 ‘휴대전화 전원이 빨리 줄어드는 원인’이라는 질문과 ‘스마트폰 배터리 소모 요인’이라는 문서를 의미의 유사성으로 연결할 수 있다. 실제 시스템에서는 키워드 검색과 벡터 검색을 결합해 정확도를 높이기도 한다.

검색증강생성이 환각을 줄이는 이유는 모델이 기억에만 의존하지 않고 답변 시점의 근거를 참고하기 때문이다. 사내 규정, 최신 상품 설명, 최근 수정된 안내서처럼 학습 데이터에 없을 수 있는 내용을 제공할 수 있다. 답변에 출처를 함께 표시하면 사용자가 근거를 직접 확인하기도 쉬워진다.

그러나 검색을 사용한다고 환각이 완전히 사라지는 것은 아니다. 질문과 관련 없는 문서가 검색되면 모델이 잘못된 근거로 답할 수 있고, 관련 문서가 아예 검색되지 않으면 기존 지식으로 빈틈을 채울 수 있다. 검색된 문서를 모델이 잘못 해석하거나 서로 다른 시점의 자료를 섞는 문제도 발생한다.

문서를 나누는 방법도 성능에 큰 영향을 준다. 조각이 너무 짧으면 필요한 문맥이 잘리고, 너무 길면 관련 없는 내용이 많이 포함된다. 제목과 표의 머리글, 문단의 연결 관계를 보존하고 일정 부분을 겹쳐 나누는 방식이 자주 사용된다. 문서의 작성일, 부서, 제품 종류 같은 메타데이터를 함께 저장하면 검색 범위를 더 정확히 제한할 수 있다.

검색 결과의 순서를 다시 평가하는 재정렬 과정도 중요하다. 처음 검색된 후보 가운데 질문에 실제로 답할 수 있는 조각을 상위에 배치하면 모델에 전달되는 근거의 품질이 좋아진다. 반대로 너무 많은 자료를 넣으면 핵심 내용이 묻히고 컨텍스트 사용량만 늘 수 있으므로 필요한 자료를 선별해야 한다.

답변 지침에는 제공된 자료만으로 답하고 근거가 없으면 모른다고 표시하도록 명시할 수 있다. 각 주장 옆에 출처를 붙이게 하고, 인용된 문장이 실제 출처의 내용을 지지하는지 검사하는 절차도 필요하다. 출처 번호만 표시되어 있다고 해서 답변이 자동으로 사실이 되는 것은 아니다.

품질 평가는 검색과 생성을 나누어 진행하는 것이 좋다. 정답 문서가 검색 결과에 포함되었는지, 상위에 배치되었는지 먼저 측정한다. 이어서 생성된 답변이 검색 자료에 근거하는지, 질문에 충분히 답하는지 확인한다. 두 단계를 분리하면 오류가 자료 검색에서 생겼는지 모델의 해석에서 생겼는지 찾기 쉽다.

결국 검색증강생성은 언어 모델의 유창한 생성 능력과 외부 자료의 최신성 및 정확성을 결합하는 방법이다. 적절한 문서 분할과 검색, 재정렬, 출처 표시와 검증이 함께 이루어져야 효과가 있다. 잘 설계된 RAG는 환각 가능성을 낮추고 답변의 근거를 보여 주지만, 최종적인 신뢰성을 위해서는 자료 관리와 지속적인 평가가 필요하다.