기술노트 — AI·풀스택·인프라 실전 개발 지식 | 영삼넷

본문 바로가기

프롬프트 인젝션, LLM 앱의 가장 흔한 취약점 방어

사용자/문서에 숨긴 지시가 시스템 프롬프트를 덮어쓰는 공격. 신뢰 경계 분리·출력 검증·권한 최소화로 막는다.

#LLM#Security#PromptInjection

RAG 검색 품질이 낮을 때 — 청킹부터 다시

RAG가 엉뚱한 답을 하면 대개 검색 단계가 문제다. 청크 크기·오버랩·메타데이터·하이브리드 검색·리랭킹으로 적합도를 올린다.

#RAG#LLM#Embedding

Google Gemini 3.5 Pro — 한국어 + 코딩 평가 40시간

Gemini 3.5 Pro 출시 후 40시간 평가. SWE-bench 80.2%, 한국어 KMMLU 85.8%, 2M 컨텍스트. Claude 4.9 비교.

#Google#Gemini#LLM

Anthropic Claude 4.9 출시 — 100시간 사용 평가

Claude 4.9 (Opus·Sonnet·Haiku) 출시 후 100시간 사용 평가. SWE-bench 82.1%, 1M needle 정확도, 가격 정책 변화.

#Claude#Anthropic#LLM

NVIDIA Project DIGITS — 사무실 책상 AI 워크스테이션 6개월

NVIDIA Project DIGITS(GB10) 6개월 사용기. 200B 모델 로컬 실행, fine-tune, 가정·사무실 power 한계.

#NVIDIA#LLM#Workstation

Mobile3분 읽기

Apple Foundation Models — on-device 4B로 만든 사이드로드 챗봇

iOS 19의 Foundation Model API + 사이드로드 챗봇 만들기. 토큰 비용 0, 평균 응답 280ms. 한계와 한국어 품질.

Claude Opus 5 1M 컨텍스트 — 실측 200K 이후 정확도 곡선

1M 토큰 윈도우의 진짜 한계는 200K 이후 needle-in-haystack 정확도. 자사 코드베이스 7개 실측, 캐싱·청킹 전략 정리.

#Claude#LLM#Context

Infra4분 읽기

Envoy AI Gateway — LLM 라우팅·할당량·레이트 리밋 프로덕션

Envoy AI Gateway로 멀티 LLM 프로바이더 라우팅·팀별 할당량·토큰 기반 레이트 리밋을 한 곳에서. 사내 운영 6개월.

#Envoy#AIGateway#LLM

Speculative Decoding 프로덕션 — LLM 추론 2배 빠르게 만드는 법

draft 모델 + verifier 구조로 토큰 생성을 병렬화. n-gram, Medusa, EAGLE-2 비교와 vLLM 적용 실측 1.8~2.4배.

#LLM#Inference#Speculative

DSPy 2.7 프로덕션 — 프롬프트 자동 최적화 실전 사례

DSPy 2.7로 분류 파이프라인 자동 최적화. 정확도 +9.2%p, 사람-튜닝 1주 vs MIPROv2 4시간, 비용 변화 솔직 공개.

#DSPy#Prompt#Optimization

Mamba SSM 모델 프로덕션 — Transformer 대체, 어디서 빠른가

Mamba-2/3 SSM 아키텍처 실측. 32K 컨텍스트 처리량 Transformer 대비 3.8배, 정확도 격차와 한계 명확히 정리.

vLLM 1.0 vs SGLang vs TGI — LLM 추론 서버 실측 비교

vLLM 1.0·SGLang·TGI 3대 LLM 추론 서버 실측. Llama 70B 처리량·레이턴시·메모리, 양자화 지원과 운영 부담을 워크로드별로 비교.

#vLLM#SGLang#TGI