Realtime Protocols on Kubernetes

Info

실시간/지연 민감 트래픽(WebRTC, SIP, 게임, 커스텀 UDP 등)을 Kubernetes 위에서 운영할 때의 패턴을 정리한다. 기본 K8s Service/Ingress 모델은 HTTP·짧은 연결을 전제로 하므로 충돌 지점이 있다. 사례별 분석을 누적하는 형식이며, 한 회사·한 글에서만 유효한 디테일은 가능한 일반화한다.

사례

OpenAI — Voice AI WebRTC 데이터플레인 (2026-05)

Delivering Low-Latency Voice AI at Scale

9억+ 사용자 voice AI를 위해 WebRTC 데이터플레인을 재설계한 사례.

• Split relay + transceiver: packet routing과 protocol termination을 분리. 가벼운 UDP forwarding relay (Go·userspace)와 stateful WebRTC transceiver를 별도 컴포넌트로.
• ICE ufrag에 라우팅 메타데이터 임베드: relay가 deep inspection 없이 username fragment만 보고 적절한 transceiver로 분배.
• 고정 UDP 포트 surface: K8s에서 동적 포트 범위를 노출하기 어려운 문제를 작은 fixed 포트 집합으로 해결. 일반 Service/LB 모델로 배포 가능.
• Global relay ingress: 사용자에 가까운 relay에서 first-hop 종단해 latency 감소. transceiver는 모델 위치 기준으로 선택.

일반화된 패턴

1. Routing과 Termination 분리

• 무거운 stateful 처리(프로토콜 termination, 세션, 코덱)와 가벼운 stateless 처리(패킷 분배)를 같은 노드에 두면 스케일 한계.
• L4 relay + L7 termination, edge proxy + origin, ingress + workload 등 다른 도메인의 동일 사고.
• 이점: relay는 수평 확장 쉬움, transceiver는 별도 정책으로 스케줄.

2. Stateless 라우팅을 위한 프로토콜 헤더 활용

• LB가 connection state를 자체 보유하면 failover/scale 비용 큼.
• 라우팅 키를 프로토콜 헤더에 박아 LB는 그 키만 본다: HTTP Host/SNI, gRPC metadata, JWT claim, ICE ufrag 등.
• 일반 원칙: 세션 식별자를 프로토콜이 처음 노출하는 지점에 위치시키기. 그 위 계층은 stateless하게 결정 가능.

3. K8s에 비친화적 프로토콜의 포트 surface 축소

• 동적 UDP 포트 범위, 임의 포트 punch-through 등은 K8s Service 모델·CNI·클라우드 LB와 충돌.
• 해법: 애플리케이션 레벨에서 포트 surface를 작은 고정 집합으로 압축. 다중 세션을 같은 포트에서 multiplex.
• 응용 도메인: SIP/RTP, 게임 서버, QUIC custom, WireGuard, 일부 P2P.

4. Global ingress = first-hop latency

• 실시간 트래픽은 지리적 거리가 곧 품질. 단일 리전 ingress는 한계.
• Anycast·multi-region front door·CDN PoP과 같은 사고. relay만 글로벌 분산하고 무거운 워크로드는 모델/데이터 가까이.

5. Userspace로 충분한 경우의 판단

• 모든 데이터플레인이 eBPF/XDP/커널 우회를 요구하지는 않음. Go userspace forwarding으로 충분한 throughput 확보 가능.
• 판단 축: 패킷당 처리 비용, 동시 흐름 수, latency budget. over-engineering 회피.

참고 자료

• Delivering Low-Latency Voice AI at Scale | OpenAI