분류 전체보기20 인간 피드백 기반 강화학습의 개념과 한계 인간 피드백 기반 강화학습의 개념과 한계대규모 언어 모델은 사전학습을 통해 자연스러운 문장을 만들 수 있지만, 그것만으로 사람의 의도를 잘 따르는 답변을 보장하지는 못한다. 인간 피드백 기반 강화학습은 사람이 선호하는 답변의 특징을 모델에 반영하여 더 유용하고 안전한 출력을 만들기 위한 방법이다. 흔히 RLHF라고 부르며, 지시를 따르는 대화형 인공지능을 만드는 과정에서 널리 알려졌다.첫 단계에서는 사람이 작성하거나 검토한 모범 답변으로 모델을 미세조정한다. 질문에 어떻게 답해야 하는지, 어떤 형식을 지켜야 하는지, 위험한 요청에는 어떻게 반응해야 하는지를 예시로 보여 준다. 이 지도 미세조정을 거치면 단순히 문장을 이어 쓰던 모델이 사용자의 요청에 답하는 기본적인 행동을 익힌다.다음으로 하나의 질문에 .. 2026. 8. 5. 언어 모델의 사전학습과 미세조정 비교 언어 모델의 사전학습과 미세조정 비교언어 모델은 처음부터 질문에 답하거나 문서를 요약하는 능력을 갖고 태어나지 않는다. 방대한 텍스트에서 언어의 기본 구조를 익힌 뒤, 특정한 목적에 맞게 행동을 조정하는 과정을 거친다. 앞의 넓은 학습 단계를 사전학습이라고 하고, 이후 제한된 데이터로 성능과 행동을 다듬는 단계를 미세조정이라고 한다.사전학습의 목표는 특정 업무의 정답을 외우는 것이 아니라 언어에 반복적으로 나타나는 규칙을 익히는 것이다. 모델은 문장의 일부를 보고 다음 토큰을 예측하거나 가려진 토큰을 맞히는 연습을 대규모로 수행한다. 이 과정에서 문법, 단어의 쓰임, 문장 구조, 여러 분야의 표현과 일정한 사실 관계가 모델의 파라미터에 반영된다.사전학습에는 웹 문서, 책, 기사, 코드처럼 종류가 다양한 .. 2026. 8. 5. 셀프 어텐션은 문맥을 어떻게 계산하는가 셀프 어텐션은 문맥을 어떻게 계산하는가사람은 문장을 읽을 때 단어를 따로 떼어 이해하지 않는다. 앞에서 나온 대상과 뒤의 표현을 연결하고, 같은 단어라도 주변 문맥에 따라 의미를 다르게 판단한다. 셀프 어텐션은 언어 모델이 이와 비슷한 관계를 수치로 계산하도록 만든 기술이다. 문장 속 각 단어가 다른 단어와 얼마나 관련되어 있는지를 비교해 현재 단어를 이해하는 데 필요한 정보를 모은다.예를 들어 ‘철수가 영희에게 책을 주었고 그녀는 고맙다고 말했다’라는 문장에서 ‘그녀’가 누구를 가리키는지 알려면 앞부분의 ‘영희’를 살펴야 한다. 셀프 어텐션은 ‘그녀’를 처리할 때 문장 안의 여러 단어에 서로 다른 중요도를 부여한다. 영희와의 관련성은 높게, 책이나 주었다와의 관련성은 상대적으로 낮게 계산하는 방식이다... 2026. 8. 4. 트랜스포머 구조가 자연어 처리에 가져온 변화 트랜스포머 구조가 자연어 처리에 가져온 변화트랜스포머는 오늘날 대규모 언어 모델의 기반이 되는 인공지능 구조다. 번역, 문서 요약, 질문 답변, 문장 생성과 같은 자연어 처리 기술이 빠르게 발전한 배경에는 트랜스포머의 등장이 있다. 이전의 언어 모델도 문장을 분석하고 생성할 수 있었지만, 긴 문장의 관계를 처리하는 데 한계가 있었고 학습 속도도 비교적 느렸다. 트랜스포머는 문장 전체를 효율적으로 살펴보는 방식을 도입해 이러한 문제를 크게 개선했다.트랜스포머 이전에는 순환 신경망이라는 구조가 자연어 처리에 널리 사용되었다. 순환 신경망은 문장을 앞에서부터 한 단어씩 순서대로 읽는다. 현재 단어를 처리할 때 앞에서 읽은 내용을 내부 상태에 저장하고, 그 정보를 다음 단계로 전달한다. 문장의 순서를 반영할 수.. 2026. 8. 4. 임베딩은 단어의 의미를 어떻게 숫자로 표현하는가 임베딩은 단어의 의미를 어떻게 숫자로 표현하는가인공지능은 사람이 사용하는 단어를 그대로 이해하지 못한다. 컴퓨터는 글자와 문장을 수치로 변환해야 계산할 수 있기 때문이다. 언어 모델은 입력된 문장을 먼저 토큰으로 나눈 뒤, 각 토큰을 일정한 길이의 숫자 목록으로 바꾼다. 이처럼 단어나 토큰의 의미를 여러 개의 숫자로 표현한 것을 임베딩이라고 한다.임베딩은 단어에 단순한 번호를 붙이는 것과 다르다. 예를 들어 ‘사과’를 1번, ‘바나나’를 2번, ‘자동차’를 3번으로 정하면 컴퓨터는 각 단어를 구분할 수는 있지만 의미의 관계까지 알기는 어렵다. 숫자 1과 2가 가깝다고 해서 사과와 바나나가 비슷한 의미라는 사실이 자동으로 표현되는 것은 아니다. 임베딩은 이러한 한계를 보완하기 위해 단어를 하나의 숫자가 아.. 2026. 8. 3. 토큰화가 AI의 문장 이해에 미치는 영향 토큰화가 AI의 문장 이해에 미치는 영향인공지능 언어 모델은 사람이 문장을 읽는 방식과 다르게 글을 처리한다. 사람은 문장을 단어와 의미의 흐름으로 이해하지만, 인공지능은 입력된 글을 곧바로 의미로 받아들이지 못한다. 먼저 문장을 일정한 크기의 작은 단위로 나누고, 각 단위를 숫자로 바꾸어 계산해야 한다. 이때 문장을 작은 단위로 분리하는 과정을 토큰화라고 하며, 분리된 각각의 단위를 토큰이라고 부른다.토큰은 반드시 하나의 완전한 단어와 일치하는 것은 아니다. 짧고 자주 사용되는 단어는 하나의 토큰으로 처리될 수 있지만, 길거나 드물게 사용되는 단어는 여러 조각으로 나뉠 수 있다. 문장 부호와 숫자, 띄어쓰기 역시 모델의 방식에 따라 별도의 토큰으로 처리될 수 있다. 따라서 사람이 보기에는 같은 길이의 .. 2026. 8. 3. 이전 1 2 3 4 다음