기술노트

학습·인덱싱·에이전트 요청이 뒤섞인 2026년의 봇 트래픽을 어떻게 구분하고 통제하는지 정리한다. robots.txt가 하는 일과 못 하는 일, 엣지 차단 전략, 검색 노출을 잃지 않는 선택적 허용까지 다룬다.