생성형 AI의 환각 현상이 발생하는 구조적 원인

생성형 AI의 환각 현상이 발생하는 구조적 원인

생성형 인공지능이 실제로 존재하지 않는 정보나 틀린 내용을 자연스럽게 답하는 현상을 흔히 환각이라고 한다. 모델이 거짓말을 하려는 의도를 가진 것은 아니다. 언어 모델의 기본 목표가 사실을 조회하는 것이 아니라 주어진 문맥 다음에 올 가능성이 높은 토큰을 생성하는 데 있기 때문에 발생하는 구조적인 문제다.

언어 모델은 학습 과정에서 수많은 문장의 패턴을 파라미터에 압축한다. 특정 질문에 대한 답을 데이터베이스의 한 행처럼 그대로 꺼내기보다, 관련 표현과 문맥을 조합해 새로운 문장을 만든다. 이 과정은 유연한 글쓰기를 가능하게 하지만 정확한 이름, 날짜, 수치와 출처를 요구할 때는 비슷한 패턴을 잘못 결합할 위험을 만든다.

예를 들어 실제 논문의 제목과 저자 이름을 묻는 질문에서 모델은 학술 문헌에 자주 나타나는 제목 형식과 연구자 이름을 조합할 수 있다. 결과는 그럴듯해 보여도 실제로 존재하지 않을 수 있다. 문법적으로 자연스럽다는 것과 사실이라는 것은 별개의 조건이며, 다음 토큰 예측만으로 두 조건이 항상 함께 충족되지는 않는다.

학습 데이터의 한계도 환각에 영향을 준다. 어떤 정보가 데이터에 거의 없거나 서로 모순되게 기록되어 있으면 모델이 안정적인 관계를 학습하기 어렵다. 학습 시점 이후에 바뀐 정보도 파라미터만으로는 알 수 없다. 지역의 작은 기관이나 개인적인 사건처럼 공개 자료가 부족한 질문에서는 익숙한 일반 패턴을 빈칸에 채워 넣기 쉽다.

질문의 전제가 잘못되었을 때도 문제가 생긴다. 사용자가 존재하지 않는 인물의 업적을 물으면 모델은 전제를 바로잡기보다 요구된 형식에 맞춰 설명을 이어 갈 수 있다. 대화에 협조적으로 답하도록 조정된 특성이 불확실성을 인정하는 행동보다 답변을 완성하는 행동을 강화할 수 있기 때문이다.

생성 과정의 확률적 선택 역시 결과에 영향을 준다. 모델은 가능한 다음 토큰들에 확률을 부여하고 설정에 따라 하나를 선택한다. 온도 값이 높으면 다양한 표현이 나오는 대신 가능성이 낮은 선택도 늘어난다. 그러나 온도를 낮춘다고 사실성이 자동으로 보장되는 것은 아니다. 가장 높은 확률의 답이 학습 데이터의 오류를 반영할 수도 있다.

긴 대화나 문서에서는 중요한 정보가 충분히 반영되지 않는 경우도 있다. 입력이 컨텍스트 범위를 넘으면 일부 내용이 제외될 수 있고, 범위 안에 있더라도 여러 지시와 정보가 섞이면 모델이 핵심 근거를 놓칠 수 있다. 앞부분의 수치와 뒷부분의 조건을 잘못 연결하면 계산이나 요약 결과가 사실과 달라진다.

환각을 줄이기 위해서는 최신의 신뢰할 수 있는 자료를 검색해 답변에 제공하는 방식이 유용하다. 모델이 외부 문서에서 근거를 찾아 인용하도록 하고, 답변의 각 주장과 출처가 실제로 연결되는지 확인해야 한다. 검색 결과 자체가 부정확할 수 있으므로 공식 문서와 원문을 우선하고 여러 출처를 비교하는 절차도 필요하다.

프롬프트에서 모르는 내용을 추측하지 말고 불확실성을 표시하도록 요구하는 것도 도움이 된다. 날짜, 수치, 고유명사, 인용문은 별도로 검증하고 계산은 계산 도구를 이용하는 편이 안전하다. 의료, 법률, 금융처럼 오류의 피해가 큰 분야에서는 전문가 검토와 승인 절차를 두어야 한다.

결국 환각은 단순한 실수가 아니라 생성형 모델의 확률적 문장 생성 방식에서 비롯되는 현상이다. 자연스러운 문장을 만드는 능력이 높아질수록 틀린 내용도 더 설득력 있게 보일 수 있다. 따라서 답변의 유창함을 신뢰성의 증거로 받아들이지 말고, 근거 검색과 출처 확인, 불확실성 표시를 결합해 사용하는 것이 중요하다.