본문 바로가기

TECH NOTES

기술노트

현장에서 검증된 개발 지식을 기록합니다.

전체 2건
2
Backend2분 읽기
API rate limiting, 어떻게 구현하나 (토큰 버킷)
남용·DoS·비용 폭증을 막는 rate limit. 고정 윈도우의 경계 문제와 토큰 버킷·슬라이딩 윈도우 비교, Redis 구현.
#API#RateLimit#Redis
2026.06.12
1
Infra4분 읽기
Envoy AI Gateway — LLM 라우팅·할당량·레이트 리밋 프로덕션
Envoy AI Gateway로 멀티 LLM 프로바이더 라우팅·팀별 할당량·토큰 기반 레이트 리밋을 한 곳에서. 사내 운영 6개월.
#Envoy#AIGateway#LLM
2026.05.22