오픈AI, 분류·선택 특화 디시전스 API 정식 출시 — 판단 작업 최대 10배 빠르게, 입력 토큰 100만개당 0.10달러

왜 중요한가

1. 반복 판단의 누적 비용에 초점을 맞췄다. 분류·라우팅·다음 행동 선택은 개별로는 단순하지만 대규모 서비스에서는 지연과 비용이 쌓인다. 오픈AI는 이 구간을 전용 API로 분리했다.
2. 속도 개선 폭이 크다. 오픈AI API 제품 책임자 니쿤지 한다는 테크크런치 인터뷰에서 1~3초 걸리던 작업을 100~180밀리초 수준으로 줄였다고 말했다. 스픽(Speak)은 GPT-라이브와 통합한 시험에서 다음 행동까지 1.4초에서 0.13초로 줄었다고 밝혔다.
3. 새 모델 없이 기존 모델을 최적화했다. 별도 의사결정 전용 모델을 새로 훈련하지 않고 GPT-6 루나의 추론 과정을 최적화하는 방식이라고 한다.

실무자가 얻어갈 것

1. 분류·라우팅·재시도 판단을 별도 호출로 분리할 수 있는지 점검하라. 긴 응답 생성 없이 선택지나 점수만 필요한 단계가 후보다.
2. 입력 토큰 기준 과금 구조를 감안해 설계하라. 출력 토큰 요금이 없으므로, 반복되는 문맥은 캐싱 단가(100만개당 0.01달러)와 함께 비용을 따져볼 수 있다.
3. 음성 서비스라면 GPT-라이브 연동을 검토하라. 대화 도중 추가 질문, 담당자 전달, 에스컬레이션 같은 판단을 실시간으로 붙일 수 있다고 오픈AI는 설명한다.

우리 회사에 적용하면

• 고객 문의가 많은 중소 서비스 기업이라면 문의 분류와 담당 부서 전달 단계에 적용 가능성을 따져볼 수 있다.
• 문서가 많은 제조사라면 접수 문서의 유형 분류와 우선순위 점수화를 후보로 볼 수 있다.
• 공공기관 민원 담당자라면 민원 유형 분류 단계를 검토할 수 있다. 다만 데이터 처리 지역과 보존 조건은 확인이 필요하다.