Cilium 1.18 eBPF — 1만 노드 클러스터 네트워크 운영 1년 | 기술노트

핵심 요약

Cilium 1.18로 1만 노드 클러스터 1년 운영. kube-proxy 제거로 conntrack 부담 해소, Hubble로 east-west 트래픽 가시성 확보, Gateway API 표준화. p99 네트워크 지연 -38%, 노드별 conntrack 메모리 -68%.

1. kube-proxy 제거 — 결정적 변화

iptables/IPVS 대신 eBPF로 service load balancing. NodePort 응답 지연 평균 1.2ms → 0.4ms. conntrack table 크기 노드당 1.2GB → 380MB.

2. Hubble — east-west 가시성

hubble observe \
  --from-namespace prod-api \
  --to-namespace prod-db \
  --verdict DROPPED

NetworkPolicy 위반 즉시 식별. Grafana 연동으로 service map 자동.

3. Gateway API

Ingress → HTTPRoute. 다중 ingress 컨트롤러 통합. mTLS, traffic split 표준화. ingress-nginx 의존도 해소.

4. 실측

지표	kube-proxy	Cilium
Service 지연 p99	4.8ms	2.1ms
NetworkPolicy 정책 적용	14s	0.3s
Node 부하(idle)	8% CPU	2% CPU
Conntrack 메모리	1.2GB	380MB

5. 함정

커널 5.10 미만 — 기능 다수 disabled, 마이그레이션 전 노드 OS 점검
UDP-heavy 워크로드 — conntrack 동작 미세 차이, QUIC·DNS 부하 테스트 필수
Hubble 영속화 — Prometheus + 별도 ClickHouse, 메모리만으로 1주 데이터 못 담음
Cluster Mesh — 멀티 클러스터는 CRDB 같은 글로벌 KV 부담, 멀티 region 전제일 때만