GPT-6, COBOL·포트란 등 레거시 언어 성능 대폭 개선 — MultiLangBench 평균 87.4%

무엇이 바뀌었나사실

• OpenAI는 새 평가 두 가지를 만들었다. MultiLangBench는 지정한 언어로 SQLite 호환 데이터베이스 엔진을 처음부터 구현하는 능력을, COBOL 마이그레이션 평가는 기존 프로그램을 다른 언어로 옮기면서 동작을 보존하는 능력을 측정한다.
• MultiLangBench에서 GPT-6 Astra(최대 추론 강도)는 20개 언어 평균 테스트 통과율 87.4%를 기록했다. OpenAI 발표 기준 GPT-5.6 Sol은 26.8%였다. 테스트한 모든 언어에서 향상됐고, 20개 중 19개 언어에서 83% 이상이다.
• 언어별로 COBOL은 10.9%에서 72.1%, OCaml은 25.6%에서 85.8%, Fortran은 21.4%에서 83.5%, Visual Basic은 27.5%에서 89.4%가 됐다. COBOL이 가장 어려운 언어로 남았다.
• GPT-6 Luna는 평균 40.3%로 GPT-5.6 Sol을 모든 언어에서 앞섰다. 샘플당 추정 API 비용은 $0.77로, GPT-5.6 Sol의 $3.48보다 약 78% 낮다고 OpenAI는 밝혔다.
• COBOL을 C++, Java, Kotlin, Python, Rust로 옮기는 평가에서 GPT-6.1 Sol은 낮은 추론 강도에서 정확도 86.6%(GPT-5.6 Sol은 5.4%)를 기록했고, 추론 강도를 높이면 97.9%에 도달했다.

왜 중요한가편집 해설

1. 오래된 핵심 시스템이 대상이다. OpenAI는 COBOL이 온라인 뱅킹 시스템의 40% 이상, 대면 신용카드 거래의 80%, ATM 거래의 95%를 지탱한다고 설명했다. Fortran은 기상 예보와 원자로 안전 해석에 쓰인다고 했다.
2. 마이그레이션 평가가 동작 보존을 요구한다. 숨겨진 테스트에서 관찰 가능한 출력이 바이트 단위로 일치해야 하고, 모든 테스트를 통과해야 성공으로 친다. 소수점 처리 같은 COBOL 고유 동작이 달라져 금융 결과가 바뀌는 문제를 겨냥한 설계다.
3. 성능과 비용이 함께 개선됐다고 발표했다. 낮은 추론 강도의 COBOL 마이그레이션에서 GPT-6.1 Sol은 GPT-5.6 Sol 대비 API 비용이 39% 낮다고 OpenAI는 밝혔다.

시장 반응편집 해설

The Decoder는 이 결과가 핵심 금융 인프라 현대화에 의미가 있을 수 있다고 보도했다. 다만 The Decoder가 비교 기준으로 제시한 GPT-5.6 Terra의 약 38%는 OpenAI 발표문의 GPT-5.6 Sol 26.8%와 기준 모델과 수치가 다르다. 두 출처의 비교 대상이 다르다는 점을 감안해 읽어야 한다.

실무자가 얻어갈 것편집 해설

1. 평가 설정과 언어별 결과가 GitHub에 공개됐으므로, 자사가 쓰는 언어의 결과를 직접 확인해 볼 수 있다.
2. 마이그레이션은 반올림 규칙이나 누락 레코드 처리 같은 비즈니스 규칙의 보존이 핵심이다. 실행 오류가 없어도 결과가 달라질 수 있다.
3. OpenAI도 실제 운영 소프트웨어에 적용하려면 전문가 검토와 업무 규칙 기준 테스트가 여전히 필요하다고 밝혔다.

우리 회사에 적용하면적용 시나리오

• 오래된 COBOL 배치 프로그램을 운영하는 금융·유통 기업이라면, 문서가 부족한 프로그램의 동작 설명과 이관 후보 선별에 모델을 먼저 활용해 볼 수 있다.
• 기상·연구 계산 코드가 Fortran으로 남은 기관이라면, 기존 코드의 버그 수정과 다른 언어 이관 가능성을 소규모로 비교해 볼 수 있다.
• 담당 개발자가 이미 퇴사한 레거시 시스템을 가진 중견 제조사라면, 비즈니스 규칙이 코드에만 남아 있는 부분부터 목록화하는 것이 첫 단계다.
• 바로 해볼 테스트 1개: 입출력 기록이 충분한 작은 COBOL 프로그램 하나를 골라 Python으로 옮기게 하고, 기존 출력과 새 출력이 소수점 처리까지 모두 일치하는지 샘플 데이터로 비교한다. 기준은 전체 일치 여부이며, 11월 30일까지 결과를 정리한다.

확인 필요미확인

• 국내 제공 여부와 모델별 API 가격은 원문에서 확인되지 않았다.
• 모델 출시일과 일반 사용자에게 제공되는 시점은 원문에서 확인되지 않았다.
• 두 매체가 이전 세대 모델 비교 기준(GPT-5.6 Terra, GPT-5.6 Sol)과 수치를 다르게 제시해, 어느 쪽이 더 적절한 비교인지는 원문만으로 판단하기 어렵다.

출처

• OpenAI says GPT-6 is much better with legacy programming languages such as COBOL and Fortran — The Decoder
• Advancing coding in low‑resource programming languages — OpenAI