기술노트 — AI·풀스택·인프라 실전 개발 지식 | 영삼넷

본문 바로가기

추론 모델은 언제 쓰나 — effort와 비용의 균형

추론 모델을 언제 켜고 끄나. effort와 적응형 사고로 생각의 깊이를 조절하는 법, 작업 유형별 라우팅, 출력 토큰이 잘리는 max_tokens 함정까지 지능과 지연과 비용의 삼각형을 저울질하는 실전 감각을 정리했다.

#추론모델#reasoning#effort

AI 코딩 도구 잘 쓰는 법 — 프롬프트보다 컨텍스트 관리

Copilot·Cursor·Claude Code가 엉뚱한 코드를 낸다면 프롬프트가 아니라 컨텍스트 문제일 때가 많다. 좋은 결과를 얻는 실전 습관을 정리한다.

#AI#Coding#Productivity

LLM temperature와 top_p — 출력이 매번 다를 때 조절법

같은 질문에 답이 들쭉날쭉하거나 너무 뻔하다면 샘플링 파라미터를 만질 때다. temperature와 top_p가 무엇을 조절하는지, 용도별 권장값까지.

#LLM#Temperature#Sampling

LLM 컨텍스트 윈도우 — 길다고 다 좋은 게 아니다

컨텍스트 윈도우가 크면 다 넣으면 될까? "중간을 잊는" 현상과 비용·지연 때문에 무작정 채우면 오히려 답이 나빠진다. 제대로 쓰는 법.

#LLM#Context#Prompt

LLM 함수 호출(tool calling) 설계 — 안정적으로 도구 쓰기

모델이 외부 도구를 부르게 하는 tool calling. 스키마 설계·검증·에러 복구·무한 루프 방지로 신뢰성을 확보한다.

#LLM#ToolCalling#Agent

LLM 환각(hallucination) 줄이는 실전 방법

모델은 모르는 것도 자신 있게 지어낸다. 근거 제공(RAG)·"모르면 모른다"·출력 구조화·검증으로 환각을 억제한다.

#LLM#Hallucination#RAG

LLM 스트리밍 응답 구현 — SSE로 체감 속도 올리기

응답을 다 기다리지 말고 토큰을 흘려보내자. SSE 기본 구조, 프록시 버퍼링·중단 처리·에러 전송까지.

#LLM#Streaming#SSE

LLM API 비용 줄이기 — 캐싱·모델 라우팅·프롬프트 다이어트

LLM 비용은 토큰에 비례한다. 프롬프트 캐싱·작은 모델 라우팅·컨텍스트 압축·출력 제한으로 같은 품질에 비용을 크게 낮춘다.

#LLM#Cost#Optimization

프롬프트 인젝션, LLM 앱의 가장 흔한 취약점 방어

사용자/문서에 숨긴 지시가 시스템 프롬프트를 덮어쓰는 공격. 신뢰 경계 분리·출력 검증·권한 최소화로 막는다.

#LLM#Security#PromptInjection

RAG 검색 품질이 낮을 때 — 청킹부터 다시

RAG가 엉뚱한 답을 하면 대개 검색 단계가 문제다. 청크 크기·오버랩·메타데이터·하이브리드 검색·리랭킹으로 적합도를 올린다.

#RAG#LLM#Embedding

Google Gemini 3.5 Pro — 한국어 + 코딩 평가 40시간

Gemini 3.5 Pro 출시 후 40시간 평가. SWE-bench 80.2%, 한국어 KMMLU 85.8%, 2M 컨텍스트. Claude 4.9 비교.

#Google#Gemini#LLM

Anthropic Claude 4.9 출시 — 100시간 사용 평가

Claude 4.9 (Opus·Sonnet·Haiku) 출시 후 100시간 사용 평가. SWE-bench 82.1%, 1M needle 정확도, 가격 정책 변화.

#Claude#Anthropic#LLM