네트워크TranslationTransformerTokenizationAttentionLLM

번역기는 어떻게 다른 언어를 만들까?

한영·영한 예제로 보는 토큰화, 문맥 표현, Attention과 다음 토큰 생성

시각화 로드 중...

개요

번역의 핵심: 문맥을 바탕으로 목표 문장을 생성

나는 사과를 먹는다. → I eat apples. 한국어에서 뒤에 있던 동사가 영어에서는 주어 다음에 등장합니다. 번역 모델은 사전의 단어를 같은 자리에 끼우는 대신 원문과 이미 생성한 토큰을 조건으로 다음 목표 토큰을 예측 합니다. 단어 선택, 조사, 어순, 문체가 이 생성 과정에서 함께 결정됩니다.

이 페이지는 Encoder–Decoder Transformer의 대표적인 추론 흐름을 보여줍니다. 모든 번역 서비스가 같은 구조를 쓰는 것은 아닙니다. 화면의 토큰 분할·ID·행렬·참조 강도·후보 확률은 교육용 고정 예시 이며, 실제 모델을 실행하거나 내부 값을 측정한 결과가 아닙니다.

01

번역할 때마다 새로 배우는 걸까?

구분학습 · Training실제 번역 · Inference
입력원문과 번역문 쌍, 다국어 텍스트 등사용자의 원문, 목표 언어, 선택적 문체·용어 지시
핵심 작업정답 토큰과 예측의 차이를 손실로 계산학습된 가중치로 다음 토큰 후보 계산
가중치역전파와 최적화로 갱신일반적인 번역 요청에서는 고정
결과번역 패턴이 반영된 모델목표 언어의 토큰 나열과 번역문

전용 번역 모델은 병렬 말뭉치의 대응 관계를 배울 수 있고, 다국어 언어 모델은 사전학습과 번역 과제·지시 학습 등을 조합할 수 있습니다. 학습에서는 정답 접두사를 주고 다음 토큰을 맞히는 Teacher Forcing 을 사용할 수 있습니다. 추론에서는 정답이 없으므로 자신이 생성한 접두사 를 다시 사용합니다. 사용자 한 문장이 전달될 때마다 가중치가 갱신되는 과정과는 구분해야 합니다. TensorFlow 구현 예제는 학습 입력의 한 칸 이동과 추론 루프를 함께 보여줍니다.

02

문장 → 토큰 ID → 숫자 벡터

  • 토큰화: 텍스트를 모델의 어휘 단위로 분할하고 정수 ID로 변환. 한 토큰은 단어 전체, 단어 일부, 문자, 바이트 등일 수 있음.
  • 서브워드: 희귀 단어를 여러 조각으로 다뤄 제한된 어휘로도 다양한 문자열을 표현. BPE 기반 번역 연구의 핵심 아이디어.
  • 임베딩: 토큰 ID에 대응하는 학습된 벡터를 조회. ID 자체의 크기가 뜻의 크기나 유사도를 나타내지는 않음.
  • 위치 정보: 같은 토큰이라도 위치와 순서가 영향을 주도록 반영. 원래 Transformer는 위치 인코딩을 더하며 다른 구조는 별도 위치 표현을 사용할 수 있음.

화면에서는 이해를 위해 한국어 조사를 나눈 조각을 사용합니다. 실제로는 같은 문장도 토크나이저에 따라 다르게 나뉩니다. 벡터의 첫 칸은 주어, 둘째 칸은 감정 처럼 사람이 정한 의미가 들어 있지도 않습니다. 여러 차원과 층에 정보가 분산됩니다.

03

인코더: 원문 위치마다 문맥을 반영

원문의 각 토큰이 다른 원문 토큰을 참고하는 Self-Attention 을 거칩니다. 예를 들어 ‘배’는 ‘먹었다’와 함께 있는지 ‘항구’와 함께 있는지에 따라 다른 문맥 표현을 갖게 됩니다. 어휘만 보고 의미가 하나로 확정되는 것은 아닙니다.

원문 길이가 n이고 은닉 차원이 d라면, 인코더 출력은 개념적으로 n × d의 표현 입니다. 하나의 언어 중립 문장이나 단일 숫자로 바꾸는 필수 단계는 없습니다. 여러 Attention head, Feed-Forward 층, 잔차 연결과 정규화를 반복하면서 표현을 갱신합니다. 원문을 읽는 계산은 여러 위치에서 병렬로 수행할 수 있습니다.

Attention에서 Q, K, V는 무엇인가?

  • Q · Query: 지금 필요한 정보를 찾기 위한 벡터.
  • K · Key: 각 위치의 정보를 얼마나 참고할지 비교하는 벡터.
  • V · Value: 계산한 참조 비중에 따라 섞어 가져올 정보.

대표적인 계산은 softmax(QKᵀ / √dₖ)V 입니다. Self-Attention은 같은 시퀀스에서 Q/K/V를 만들고, 디코더의 Cross-Attention 은 생성 측의 Q와 인코더 출력에서 만든 K/V를 연결합니다. 여러 위치의 정보를 가중 합산하므로 사전에서 단어 한 개를 조회하는 동작과 다릅니다. 시각화의 강조 셀은 참조 개념을 설명하는 예시이며, 실제 Attention 점수가 번역 결정의 완전한 원인 설명이 되는 것도 아닙니다.

04

디코더: 어순을 바꾸며 하나씩 생성

디코더는 시작 표시 또는 목표 언어 표시 등으로 생성을 시작합니다. 화면은 이를 <BOS> 로 단순화합니다. Masked Self-Attention 으로 현재까지의 목표 토큰을 참고하고, Cross-Attention으로 원문 문맥을 참고한 뒤 출력 어휘 전체에 대한 점수를 계산합니다. Softmax는 점수를 다음 토큰의 확률 분포로 바꿉니다.

생성 순서이미 생성한 접두사다음 출력 예시원문에서 관련된 표현
1시작 표시I나 + 는
2Ieat문장 뒤쪽의 먹는다
3I eatapples사과 + 를
4I eat apples.마침표
5I eat apples.종료 토큰완성된 문장과 전체 문맥

이 표는 설명을 위한 대응이며 실제로 단어마다 딱 하나의 원문 위치만 읽는 것은 아닙니다. 원문을 먼저 물리적으로 재배열하는 단계 없이 목표 언어의 생성 순서가 달라질 수 있습니다. 영→한에서는 같은 원리로 목적어와 조사를 먼저 만들고 동사를 뒤에 생성합니다.

다음 토큰을 선택하면 접두사에 추가하고 같은 과정을 반복합니다. P(y | x) = ∏ P(yₜ | x, y₍<t₎) 는 원문 x와 앞서 생성한 토큰에 조건부로 문장을 생성한다는 뜻입니다. 토큰 확률 70%는 번역이 맞을 확률 70%가 아닙니다.

05

후보 선택과 종료, 텍스트 복원

선택 방식하는 일번역 결과에 미치는 영향
Greedy매 순간 가장 높은 후보 선택빠르고 단순하지만 뒤의 문장 전체에 유리한 경로를 놓칠 수 있음
Beam Search여러 접두사 후보를 유지하고 점수로 가지치기길이 보정 등 설정에 따라 최종 문장이 달라짐. 정답 보장은 아님
Samplingtemperature·top-p 등의 설정으로 후보를 뽑음표현의 변동 가능. 충실한 번역을 자동으로 보장하지는 않음

시각화는 다음 토큰을 하나 선택해 피드백하는 단일 경로입니다. GNMT 논문은 beam search의 길이 보정과 원문 커버리지 같은 실제 설계 문제를 다룹니다. GNMT의 당시 모델은 LSTM 기반이므로 이 페이지의 Transformer와 동일 구조로 보면 안 됩니다.

종료 토큰을 선택하거나 출력 제한에 도달하면 생성을 끝냅니다. 출력 토큰 ID를 텍스트로 복원하고 특수 표시를 제거해 결과를 반환합니다. 후처리·용어집·형식 검증 등은 서비스별로 추가할 수 있습니다. 토큰 단위로 생성되어도 스트리밍 여부와 화면 표시 단위는 서비스 구현에 달려 있습니다.

06

번역 전용 모델과 대화형 LLM의 차이

관점Encoder–Decoder 번역 모델Decoder-only LLM의 번역
원문 처리인코더가 원문 표현 생성번역 지시와 원문을 접두사 문맥으로 처리
생성 시 참조목표 측 Self-Attention + 원문 Cross-Attention인과적 Attention으로 지시·원문·이전 출력 참조
공통 원리원문을 조건으로 목표 토큰 생성문맥을 조건으로 목표 토큰 생성
주의점지원 언어·도메인·학습 데이터에 영향지시 이해·추가 설명·문체·출력 형식에도 영향

모든 LLM에 별도의 인코더와 Cross-Attention이 있는 것은 아닙니다. GPT-3 연구는 자기회귀 언어 모델이 텍스트 지시·예시만으로 번역 과제를 수행하는 사례를 제시합니다. 이 표는 대표 구조의 비교이며 특정 상용 번역기의 현재 내부 구성을 단정하는 설명은 아닙니다.

07

같은 문장인데 왜 모델마다 다를까?

차이가 생기는 지점달라지는 부분번역문에서 보이는 차이
학습 데이터언어쌍 규모, 도메인, 문체, 번역쌍 품질전문용어, 관용구, 자연스러운 표현
토크나이저·모델 가중치문자열 분할, 표현 능력, 학습된 분포희귀어·고유명사·복합어 처리
학습 목표·후속 학습번역 충실도, 지시 준수, 응답 선호직역·의역, 부연 설명, 말투
입력 문맥·지시·용어집다의어 해석, 존댓말, 제품명 표기bank → 은행 / 강둑, 일관된 용어
후보 선택·서비스 처리탐색·샘플링·길이 제한·후처리동의어 선택, 문장 길이, 일부 내용 누락

예를 들어 ‘확인 부탁드립니다.’를 Please check. 또는 Could you please take a look? 으로 옮기는 선택은 문맥과 관계에 따라 달라집니다. 이는 특정 제품의 실측 비교가 아닌 표현 차이 예시입니다. 후자는 더 완곡하지만 항상 더 정확한 번역은 아닙니다. 문법적으로 자연스럽다는 것과 원문 의미를 보존한다는 것은 별도 평가 대상 입니다.

원문에서 주어가 생략되었거나, ‘배’처럼 여러 뜻이 가능하거나, 존댓말과 문화적 전제가 번역에 필요한 경우 정답이 하나로 고정되지 않을 수 있습니다. 앞뒤 문장과 목적·독자를 함께 주면 해석의 범위를 좁힐 수 있습니다.

결과를 확인할 때

  • 의미 보존: 부정, 조건, 수량, 날짜, 이름이 누락·추가·반전되지 않았는지 원문과 대조.
  • 문맥과 용어: 생략된 주어, 전문용어, 문서 전체의 호칭·말투 일관성 확인.
  • 형식 유지: 코드, 변수명, URL, 줄바꿈, 마크업을 번역 대상과 구분.
  • 역번역의 한계: 참고 신호로 사용하되, 비슷한 표현으로 돌아온다고 정확성이 입증되는 것은 아님.

모델은 높은 확률의 자연스러운 문장을 생성하면서도 원문의 정보를 놓칠 수 있습니다. 중요한 문서는 토큰 확률이나 유창함만으로 판단하지 말고 원문과 대조해 검토해야 합니다.

학습 목표

  • 학습의 가중치 갱신과 추론의 다음 토큰 생성을 구분한다.
  • 토큰화·임베딩·문맥 표현·디코딩으로 번역문이 만들어지는 과정을 설명한다.
  • Attention과 목표 토큰 생성이 어순 변화와 연결되는 이유를 설명한다.
  • 번역 전용 모델과 LLM의 구조 차이, 모델별 번역 차이의 원인을 구분한다.

자주 하는 오해

  • 번역을 원문 단어와 목표 단어의 일대일 치환으로 생각하기.
  • 모든 모델이 원문을 언어 중립의 단일 문장 벡터로 압축한다고 생각하기.
  • Attention 강조 위치를 유일한 번역 근거나 정확도 점수로 해석하기.
  • 다음 토큰의 높은 확률을 문장 전체의 번역 정확도로 해석하기.

핵심 정리

  • 번역은 원문과 생성된 접두사를 조건으로 목표 언어의 토큰을 만드는 과정입니다.
  • Encoder–Decoder는 대표 구조이며 Decoder-only LLM은 별도 인코더 없이도 번역할 수 있습니다.
  • 학습 데이터·토큰화·가중치·지시·후보 선택이 달라지면 번역문도 달라집니다.
  • 시각화 수치는 교육용 예시이며 토큰 확률이나 Attention만으로 번역 정확도를 보장할 수 없습니다.

학습 확인

문제 1

한국어 끝의 ‘먹는다’가 영어에서 eat로 먼저 나올 수 있는 이유는?

문제 2

두 모델의 번역문이 다르면 반드시 하나가 오역인가요?

핵심 단계

  1. 1

    원문과 번역 방향 지정 — 목표 언어와 필요한 문맥·문체를 정합니다.

  2. 2

    토큰화 — 텍스트를 모델 어휘의 토큰 ID 나열로 바꿉니다.

  3. 3

    임베딩과 위치 — 토큰을 벡터로 표현하고 순서를 반영합니다.

  4. 4

    인코더 — Self-Attention으로 원문 위치별 문맥 표현을 만듭니다.

  5. 5

    디코더 반복 — 생성된 접두사와 원문을 참고해 다음 토큰을 선택하고 재입력합니다.

  6. 6

    종료 — 종료 토큰이나 서비스 제한에 도달하면 생성을 끝냅니다.

  7. 7

    텍스트 복원 — 토큰을 결합해 목표 언어의 문장을 표시합니다.

핵심 개념 및 실무 적용 분야

✓한→영: 나는 사과를 먹는다. → I eat apples. 동사가 목적어보다 먼저 생성되는 과정.
✓영→한: I eat apples. → 나는 사과를 먹는다. 조사 생성과 동사의 뒤쪽 배치.
✓문맥: bank는 금융 문맥에서 은행, 강 주변 문맥에서 강둑으로 해석될 수 있습니다.
✓문체: 확인 부탁드립니다. → Please check. / Could you please take a look? 목적과 독자에 따른 표현 선택.

참고 자료

개념과 기술 규격을 추가로 확인할 수 있는 외부 자료입니다. 시각화는 교육 목적에 맞게 일부 절차를 단순화할 수 있습니다.