생성형 AI 평가 지표의 종류와 한계

생성형 AI 평가 지표의 종류와 한계

생성형 인공지능의 품질은 하나의 정확도만으로 평가하기 어렵다. 같은 질문에도 여러 표현의 좋은 답이 존재하고, 문장이 자연스러워도 사실이 틀릴 수 있기 때문이다. 모델을 올바르게 비교하려면 작업의 목적에 따라 정확성, 관련성, 사실성, 안전성과 효율성을 나누어 평가해야 한다.

언어 모델의 기본 학습 지표로는 다음 토큰을 얼마나 잘 예측하는지를 나타내는 손실과 퍼플렉서티가 있다. 값이 낮을수록 평가 데이터의 문장 패턴을 잘 예측한다는 뜻이다. 그러나 이 값이 낮다고 지시를 더 잘 따르거나 사실적인 답변을 만든다고 단정할 수는 없다.

번역과 요약에서는 생성 결과와 기준 답안의 단어나 구절이 얼마나 겹치는지 계산하는 지표가 사용된다. 자동으로 빠르게 평가할 수 있고 같은 조건의 모델을 반복 비교하기 쉽다. 하지만 뜻은 같아도 표현이 다르면 낮은 점수를 받을 수 있고, 기준 문장과 단어가 겹치면서도 핵심 의미가 틀린 결과를 구분하지 못할 수 있다.

질의응답과 분류 작업에서는 정확 일치율, 정답률과 정밀도, 재현율 같은 지표를 사용할 수 있다. 답이 명확한 계산 문제나 선택형 질문에는 유용하다. 반면 설명의 충분함, 근거의 적절성, 사용자의 실제 만족도처럼 복합적인 품질은 숫자 하나에 담기 어렵다.

최근에는 다른 언어 모델을 평가자로 사용해 답변의 유용성과 논리성을 점수화하기도 한다. 많은 결과를 빠르게 검토하고 평가 기준을 일정하게 적용할 수 있다는 장점이 있다. 그러나 평가 모델도 편향과 오류를 가지며, 긴 답변이나 특정 말투를 선호할 수 있다. 평가 대상과 비슷한 모델을 사용하면 약점을 함께 놓칠 가능성도 있다.

사람의 평가는 자연스러움과 실제 유용성을 직접 판단할 수 있지만 비용과 시간이 많이 든다. 평가자마다 기준이 달라 결과가 흔들릴 수 있고 전문 분야에서는 해당 지식을 가진 평가자가 필요하다. 명확한 채점 기준과 예시를 제공하고 여러 평가자의 일치도를 확인해야 신뢰도를 높일 수 있다.

사실성을 평가할 때는 답변의 주장을 원문이나 신뢰할 수 있는 자료와 대조해야 한다. 출처가 있다는 사실만 보지 말고 해당 출처가 실제 주장을 뒷받침하는지 확인해야 한다. 최신 정보와 전문 지식은 일반적인 평가 세트만으로 충분하지 않아 별도의 검색과 전문가 검토가 필요하다.

안전성 평가는 유해 요청에 대한 거절뿐 아니라 정상적인 요청을 과도하게 거절하는지도 함께 보아야 한다. 위험한 답변을 줄였지만 무해한 질문까지 막는다면 실제 사용성은 떨어진다. 개인정보 노출, 편향, 공격적 표현과 잘못된 조언 등 여러 유형을 나누어 시험해야 한다.

평가 데이터가 학습 자료에 포함되었을 가능성도 주의해야 한다. 모델이 문제 유형을 일반적으로 해결한 것이 아니라 공개된 답을 기억해 높은 점수를 얻을 수 있기 때문이다. 새로운 비공개 문제와 실제 사용 중 발생한 사례를 포함하고, 데이터 오염 가능성을 점검하는 절차가 필요하다.

결국 좋은 평가는 하나의 순위표가 아니라 사용 목적을 반영한 여러 지표의 조합이다. 자동 지표로 넓게 검사하고 사람과 전문가가 중요한 사례를 깊게 검토하며 실제 환경의 실패율을 지속적으로 관찰해야 한다. 평균 점수뿐 아니라 어떤 조건에서 실패하는지를 함께 공개할 때 생성형 AI의 능력과 한계를 더 정확하게 판단할 수 있다.