의사결정 모델과 생성형 AI
같은 문의에서 답변을 쓰는 흐름과 담당 큐를 고르는 흐름 · Jev와 OpenAI Decisions API
개요
고객이 “같은 주문이 두 번 결제됐어요”라고 문의했습니다. 고객에게 보낼 문장을 만드는 일과 문의를 어느 팀으로 보낼지 판단하는 일은 입력이 같아도 결과물이 다릅니다. 답변 초안은 문장으로, 큐 배정에 필요한 판단은 앱이 읽을 수 있는 후보와 확률로 받을 수 있습니다. 이 글에서 의사결정 모델은 문맥을 보고 답의 범위가 정해진 질문에 응답하는 모델이나 서비스를 가리킵니다.
같은 문의에서 무엇이 달라질까?
| 비교 지점 | 생성형 LLM으로 답변 초안 작성 | 의사결정 API로 담당 큐 평가 |
|---|---|---|
| 요청 | 문의를 읽고 고객에게 보낼 답변을 작성해 줘 | 결제·기술·기타 중 어느 큐가 이 문의를 담당하나? |
| 모델 처리 | 자동회귀 방식의 텍스트 모델은 앞선 토큰을 바탕으로 다음 토큰을 고르는 과정을 반복합니다. | 요청에 정의한 후보 또는 척도에 따라 입력을 평가합니다. 내부 구현은 제품마다 다릅니다. |
| 응답 | 상담원이 수정할 수 있는 문장 | 선택된 후보와 후보별 확률 등 타입이 정해진 결과 |
| 다음 동작 | 상담원이 초안을 확인한 뒤 답변을 보낼 수 있습니다. | 서버가 응답, 임계값, 권한을 확인한 뒤 큐에 배정하거나 수동 검토로 보냅니다. |
생성형 LLM도 Structured Outputs로 스키마에 맞는 JSON이나 enum을 반환할 수 있습니다. 함수 호출을 쓰면 도구와 인자를 제안할 수도 있습니다. 이미 같은 LLM으로 긴 문맥을 분석하거나 설명까지 작성한다면 그 결과에서 분류를 함께 받을 수 있습니다. 전용 의사결정 API는 분류·평가를 호출 계약으로 제공하고, 지원되는 질문에서는 선택지나 등급별 확률도 돌려줍니다. 스키마가 맞는지와 판단이 맞는지는 별개입니다.
Jev와 OpenAI Decisions API
Jev는 TypeSafe AI가 공개한 첫 System One 모델입니다. TypeSafe는 제한된 답을 빠르게 평가하기 위해 전용 아키텍처, 병렬 샘플러, RLCD(Reinforcement Learning for Calibrated Decisions) 훈련을 사용한다고 설명합니다. 여러 질문을 함께 보내면 같은 상태를 기준으로 각각 독립적으로 평가합니다. OpenAI Decisions API는 GPT-6 Luna 기반의 별도 API입니다. 참고 자료의 Hugging Face 글은 프리뷰 시점의 커뮤니티 설명이고, OpenAI는 2026년 10월 22일 정식 제공을 발표했습니다.
| 질문 | TypeSafe Jev | OpenAI Decisions API | 문의 처리 예시 |
|---|---|---|---|
| 이 조건이 참인가? | noul | predicate | 중복 결제를 신고하는 문의인가? |
| 어느 후보인가? | choice | choice | 결제·기술·기타 중 담당 큐는? |
| 척도에서 어디에 속하는가? | score | score | 긴급도를 낮음·보통·높음으로 평가하면? |
표는 두 제품에 공통으로 있는 질문 유형을 비교합니다. TypeSafe는 이미지에서 특정 요소의 위치를 좌표로 찾는 실험적 box 유형도 문서화했습니다. 각 API의 요청 필드와 응답 계약은 제품별로 다릅니다. OpenAI가 발표한 최대 10배 속도는 자사 GPT-6 Luna의 Responses API 경로와 비교한 수치입니다. 실제 서비스에서는 같은 입력과 품질 기준으로 오류율과 종단 간 p95 지연을 함께 비교해야 합니다.
확률이 높으면 바로 실행해도 될까?
예제 서버는 허용된 후보 중 최상위 확률이 80% 이상이고 실행 계정에 배정 권한이 있을 때 자동 배정합니다. 예제의 기타 후보, 낮은 확률, 권한 없음, API 타임아웃, 유효하지 않은 응답은 수동 검토로 보냅니다. 시각화의 확률과 임계값은 학습용 고정값입니다.
Jev의 choice 응답에서 선택지 확률과 confidence는 의미가 다릅니다. 이 예제는 실제로 실행하려는 후보의 확률에 임계값을 적용합니다. 모델이 0.92를 반환했다고 해서 운영 환경에서 92%의 정확도가 관측된 것은 아닙니다. 사람의 정답 라벨이 있는 문의를 모아 높은 확률 구간의 실제 정답률, 잘못 배정된 비율, 자동 배정 비율을 확인합니다. 결제처럼 오분류 비용이 큰 큐는 별도 임계값을 둘 수 있습니다.
어디에 연결할까?
담당 큐를 배정한 뒤 LLM으로 안내 초안을 만들면 두 방식을 한 워크플로우에서 사용할 수 있습니다. 에이전트에서도 의사결정 API가 다음 작업 후보를 고르고, 앱이 권한과 인자를 확인한 뒤 도구를 실행하는 구조가 가능합니다. 입력 필드로 이미 담당 큐가 정해지는 요청은 코드 규칙만으로 처리할 수 있습니다.
학습 목표
- 생성형 LLM과 의사결정 API의 요청·응답 형태를 비교할 수 있다.
- 모델의 평가와 앱이 권한을 확인하고 실행하는 단계를 구분할 수 있다.
핵심 정리
- 모델이 반환한 후보와 확률은 서버 정책의 입력입니다. 실제 배정 여부는 서버가 결정합니다.
학습 확인
핵심 단계
- 1
상태 준비 — 같은 문의 본문을 두 흐름에 전달하고, 서버는 배정 권한을 별도로 관리합니다.
- 2
질문 정의와 평가 — 생성형 LLM에는 답변 작성 지시를 보내고, 의사결정 API에는 담당 큐와 허용 후보를 보냅니다.
- 3
응답 확인 — 답변 초안과 후보별 확률 분포를 비교합니다.
- 4
정책 적용 — 서버가 후보, 최상위 확률, 배정 권한을 확인한 뒤 자동 배정 또는 수동 검토로 분기합니다.
핵심 개념 및 실무 적용 분야
참고 자료
개념과 기술 규격을 추가로 확인할 수 있는 외부 자료입니다. 시각화는 교육 목적에 맞게 일부 절차를 단순화할 수 있습니다.