언어 모델의 사전학습과 미세조정 비교

언어 모델의 사전학습과 미세조정 비교

언어 모델은 처음부터 질문에 답하거나 문서를 요약하는 능력을 갖고 태어나지 않는다. 방대한 텍스트에서 언어의 기본 구조를 익힌 뒤, 특정한 목적에 맞게 행동을 조정하는 과정을 거친다. 앞의 넓은 학습 단계를 사전학습이라고 하고, 이후 제한된 데이터로 성능과 행동을 다듬는 단계를 미세조정이라고 한다.

사전학습의 목표는 특정 업무의 정답을 외우는 것이 아니라 언어에 반복적으로 나타나는 규칙을 익히는 것이다. 모델은 문장의 일부를 보고 다음 토큰을 예측하거나 가려진 토큰을 맞히는 연습을 대규모로 수행한다. 이 과정에서 문법, 단어의 쓰임, 문장 구조, 여러 분야의 표현과 일정한 사실 관계가 모델의 파라미터에 반영된다.

사전학습에는 웹 문서, 책, 기사, 코드처럼 종류가 다양한 자료가 사용될 수 있다. 데이터의 범위가 넓을수록 여러 주제에 대응할 기반이 생기지만, 학습에 필요한 연산량과 시간이 매우 크다. 데이터에 오류나 편향이 포함되어 있으면 그것도 함께 학습될 수 있으므로 수집, 정제, 중복 제거와 품질 관리가 중요하다.

사전학습을 마친 기본 모델은 자연스러운 문장을 이어 쓰는 능력은 있어도 사용자의 지시를 안정적으로 따르지 못할 수 있다. 질문을 받았을 때 답변 대신 질문과 비슷한 문장을 계속 만들거나, 원하는 형식과 다른 내용을 출력하기도 한다. 언어의 일반적인 패턴을 학습한 것과 유용한 도우미로 행동하는 것은 서로 다른 목표이기 때문이다.

미세조정은 이미 학습된 모델을 특정 데이터와 목적에 맞춰 추가로 훈련하는 과정이다. 질문과 모범 답변의 쌍을 보여 주어 지시를 따르는 방법을 가르치거나, 법률 문서 분류와 고객 문의 응답처럼 한 분야의 작업에 적응시킬 수 있다. 처음부터 모델을 다시 학습하지 않으므로 사전학습보다 적은 데이터와 연산으로 원하는 변화를 만들 수 있다.

두 과정은 사용하는 데이터의 성격도 다르다. 사전학습 데이터는 규모와 다양성이 중요하며 명시적인 정답이 없는 텍스트도 활용할 수 있다. 미세조정 데이터는 양이 비교적 적더라도 목적에 맞고 품질이 높아야 한다. 잘못 작성된 예시를 학습시키면 모델이 형식이나 오류까지 따라 할 수 있어 검수된 데이터가 필요하다.

미세조정에도 여러 방식이 있다. 모델의 모든 파라미터를 업데이트하는 전체 미세조정은 큰 변화를 줄 수 있지만 많은 자원이 필요하다. 일부 파라미터만 학습하는 방식은 비용과 저장 공간을 줄이면서도 특정 작업에 적응시킬 수 있다. 상황에 따라서는 모델을 바꾸지 않고 프롬프트에 예시와 지침을 제공하는 방법이 더 간단할 수도 있다.

미세조정이 새로운 지식을 항상 정확하게 추가하는 수단은 아니다. 특정 정보를 자주 보여 주더라도 모델이 그것을 데이터베이스처럼 정확히 기억한다고 보장할 수 없다. 자주 변하는 회사 정책이나 상품 정보는 검색 시스템과 연결하는 편이 적합할 수 있다. 미세조정은 지식 저장보다 답변 형식, 말투, 분류 기준과 반복되는 행동 양식을 조정할 때 특히 유용하다.

지나친 미세조정은 기존 능력을 약화할 위험도 있다. 데이터가 한 분야에 치우치거나 양이 너무 적으면 모델이 특정 표현만 반복하고 일반적인 질문에 대한 성능을 잃을 수 있다. 이를 줄이려면 다양한 검증 자료로 학습 전후 성능을 비교하고, 목표 작업뿐 아니라 안전성과 일반 능력도 함께 평가해야 한다.

결국 사전학습은 언어 모델의 넓은 기초를 만드는 단계이고, 미세조정은 그 기초 위에서 목적에 맞는 행동을 다듬는 단계다. 사전학습 없이 작은 데이터만으로 범용 언어 능력을 만들기는 어렵고, 사전학습만으로 사용자의 요구를 세밀하게 따르게 하기도 어렵다. 두 과정의 역할을 구분하면 모델을 새로 학습할지, 미세조정할지, 검색이나 프롬프트로 보완할지를 더 합리적으로 결정할 수 있다.