멀티모달 AI가 텍스트와 이미지를 함께 처리하는 원리

멀티모달 AI가 텍스트와 이미지를 함께 처리하는 원리

멀티모달 인공지능은 텍스트, 이미지, 음성처럼 형태가 다른 정보를 하나의 작업에서 함께 처리한다. 사진을 보고 질문에 답하거나 문장으로 장면을 설명하고, 설명에 맞는 이미지를 만드는 기능이 대표적이다. 서로 다른 데이터가 바로 호환되는 것은 아니므로 각 입력을 모델이 계산할 수 있는 공통된 수치 표현으로 바꾸는 과정이 필요하다.

텍스트는 토큰으로 나뉜 뒤 임베딩 벡터로 변환된다. 이미지는 일정한 크기의 작은 영역으로 나누거나 시각 인코더를 통과시켜 특징 벡터로 바꾼다. 각 벡터는 색상이나 모서리 같은 낮은 수준의 특징부터 사물의 형태와 장면의 관계 같은 복합적인 특징을 담을 수 있다.

이미지와 설명이 함께 있는 대규모 데이터를 학습하면 두 표현의 관계를 맞출 수 있다. 고양이 사진과 ‘소파 위에 앉은 고양이’라는 문장을 반복해서 접하면서 시각적 특징과 단어의 의미가 가까운 위치에 놓이도록 조정된다. 관련 없는 이미지와 문장은 멀어지게 학습하여 검색과 분류에도 활용할 수 있다.

질문에 답하는 모델에서는 이미지 특징을 언어 모델이 이해할 수 있는 형태로 변환한 뒤 텍스트 토큰과 함께 처리한다. 모델은 어텐션 계산을 이용해 질문의 단어가 이미지의 어느 부분과 관련되는지 살핀다. ‘왼쪽 사람이 들고 있는 물건은 무엇인가’라는 질문에서는 사람의 위치와 손 주변의 시각 특징에 집중하게 된다.

이미지 설명을 생성할 때는 시각 인코더가 장면의 특징을 추출하고 언어 모델이 이를 바탕으로 문장을 한 토큰씩 만든다. 반대로 텍스트에서 이미지를 생성할 때는 문장의 의미 표현을 이미지 생성 과정의 조건으로 사용한다. 두 기능은 입력과 출력 방향이 다르며 같은 멀티모달 모델이라도 지원 범위가 다를 수 있다.

위치 정보는 시각 처리에서도 중요하다. 이미지 안에 어떤 사물이 있는지만 알아서는 ‘책상 아래의 가방’과 ‘가방 아래의 책상’을 구분하기 어렵다. 이미지 조각의 위치와 객체 사이의 공간 관계를 함께 표현해야 질문의 대상과 배치를 정확히 이해할 수 있다.

멀티모달 모델이 이미지를 사람처럼 완전히 보는 것은 아니다. 작은 글자, 복잡한 표, 미세한 개수 세기와 가려진 물체에서 오류가 발생할 수 있다. 사진의 촬영 각도와 해상도, 조명에 따라 같은 대상도 다르게 인식할 수 있으며 보이지 않는 정보를 일반적인 상식으로 추측할 위험도 있다.

학습 데이터의 편향은 시각과 언어의 연결에도 반영된다. 특정 직업과 성별이 반복적으로 함께 나타나면 중립적인 설명에서도 고정관념이 나타날 수 있다. 이미지의 출처와 설명의 정확성, 다양한 지역과 사람의 포함 여부를 관리하고 집단별 성능을 평가해야 한다.

실제 활용에서는 입력 자료의 품질을 높이고 질문을 구체적으로 작성하는 것이 좋다. 표나 문서 이미지는 글자가 선명하도록 제공하고, 확인해야 할 위치와 기준을 명시한다. 중요한 수치와 개인정보는 사람이 다시 확인하고 의료 영상처럼 전문 판단이 필요한 분야에서는 전문가의 검토를 거쳐야 한다.

결국 멀티모달 AI는 서로 다른 입력을 벡터로 변환하고 그 관계를 학습하여 텍스트와 이미지를 연결한다. 시각 인코더, 언어 모델과 어텐션이 협력해 장면을 설명하고 질문에 답한다. 다양한 정보를 한꺼번에 다룰 수 있다는 장점이 있지만 각 데이터의 오류와 편향도 함께 전달될 수 있으므로 결과를 검증하며 사용해야 한다.