OpenAI GPT-5.5 Realtime API — 한국어 통역 정확도 90%인데 30분 후 80%로 떨어집니다

Realtime API의 정확도 저하는 알려진 현상입니다. context 길어질수록 attention 분산. 정착 패턴.

원인 — context 길이 + 음성 노이즈 누적

• 음성 인식 — 30분 누적 시 일부 미세 오류 누적


• context — 25K 토큰 누적 시 needle in haystack 정확도 -12%p (기존 측정)


• 화자 음성 특징 누적 — 모델이 stable identity 못 잡음

해결 — context reset

30분마다 session 새로 시작:

const sessionTimeout = 25 * 60 * 1000  // 25분
let sessionStart = Date.now()

audioStream.on('chunk', async (chunk) => {
  if (Date.now() - sessionStart > sessionTimeout) {
    // session 새로 시작
    await session.close()
    session = await openai.realtime.session.create({
      model: 'gpt-5.5-realtime',
      instructions: TRANSLATION_PROMPT,
    })
    sessionStart = Date.now()
  }
  await session.appendAudio(chunk)
})

25분마다 reset → 정확도 90%+ 유지.

또는 — 화자 식별 정착

30분 안에서 화자 임베딩 활용. 화자별 음성 특징을 별도 vector로 저장 → 다음 session에 inject.

// 화자 임베딩 저장
const speakerEmbedding = await whisperX.encode(audioChunks)
sessionInstructions += `\nSpeaker 1 has ${speakerEmbedding} characteristics.`

또는 — chunk 별 처리

전체 대화를 하나로 처리 말고 30초 chunk 단위로 처리. 각 chunk는 독립 + 컨텍스트 손실 적음. 대신 화자 식별 어려움.

저희 운영

화상회의 통역 — 20분마다 reset + 화자 임베딩 유지. 60분 회의 1회에 3번 reset. 정확도 평균 88% 유지. 비용은 약 10% 증가 (session 비용).

완벽한 해결은 없지만 reset이 가장 효과적. session 1시간+ 운영은 정확도 큰 손해.

Anthropic Realtime이 곧 발표될 가능성 있습니다. 그쪽 채용 공고 보면 Realtime API 개발 중. OpenAI Realtime 한계 부담스러우면 검토.