인터넷 아카이브, 웨이백 머신 접근 안내 개편 — 대량 자동 트래픽과 429의 시대 | 뉴스

인터넷 아카이브가 2026년 9월 15일 웨이백 머신 접근에 관한 공지를 게시했다. 요지는 두 가지다. 대량 자동 트래픽의 파도에 대응하는 보호 장치를 운영 중이고, 그 장치가 때때로 정상 사용자까지 차단하고 있다는 것.

이에 따라 요청이 차단될 때 표시되는 HTTP 429(too many requests) 안내 문구를 다시 썼다. 오차단을 당한 사용자는 운영체제·브라우저·IP 주소를 적어 문의하면 조사를 받을 수 있다고 안내했다. VPN 사용자가 자주 막힌다는 보고가 특히 많았다.

웹 아카이브는 인터넷에서 가장 조용하고 가장 중요한 공공 인프라 중 하나다. 사라진 페이지를 확인하고, 기사 원문의 변경을 추적하고, 라이브러리 문서의 옛 버전을 찾는 일 — 개발자라면 매달 몇 번씩 쓰게 된다. 그 인프라가 지금 트래픽 압력에 눌려 있다.

공지 내용 정리

대량 자동 트래픽(waves of high-volume automated traffic)에 대응하는 보호 조치를 운영 중이다.
보호 장치가 정상 사용자를 잘못 차단하는 경우가 있다는 점을 인정했다.
HTTP 429 차단 시 표시되는 안내 문구를 다시 작성했다.
오차단이 발생하면 운영체제·브라우저·IP 주소를 포함해 문의하면 조사한다.
VPN 경유 접속이 자주 차단된다는 보고가 있다.

왜 VPN이 자주 막히나 차단 판단은 대개 IP 단위로 이뤄진다. VPN 출구 노드 하나를 수천 명이 공유하면, 그중 일부의 자동화 트래픽 때문에 노드 전체가 임계치를 넘긴다. 같은 문제가 기업 NAT, 대학 네트워크, 모바일 캐리어 그레이드 NAT에서도 발생한다. 사용자는 아무 잘못이 없는데 막힌다.

배경 — 크롤 트래픽의 구조가 바뀌었다

지난 2년간 공개 웹 서비스들이 공통으로 겪는 문제가 있다. 사람 트래픽은 완만하게 늘거나 정체하는데, 자동 트래픽이 폭증한다. 학습 데이터 수집, 인덱싱, 그리고 최근에는 에이전트가 실시간으로 자료를 찾는 요청까지 더해졌다. 아카이브처럼 광범위한 과거 스냅샷을 가진 사이트는 특히 매력적인 표적이 된다.

여기에 반대 방향의 압력도 있다. 일부 주요 언론사가 아카이브 크롤러의 자사 사이트 접근을 제한하기 시작했다는 보도도 나왔다. 즉 아카이브는 들어오는 트래픽 때문에 힘들고, 나가서 수집하는 일도 어려워지는 중이다.

개발자가 아카이브를 쓸 때 지킬 것

자동화 이용 시 최소한의 예의

✓동시 요청 수를 1~2로 제한하고, 요청 사이에 충분한 간격을 둘 것

✓429를 받으면 즉시 멈추고 지수 백오프로 재시도 — 병렬로 더 때리지 말 것

✓같은 URL을 반복 조회하지 말고 로컬에 캐싱할 것

✓식별 가능한 User-Agent와 연락처를 넣을 것 (차단 시 소명 가능)

✓대량 수집이 필요하면 공개 데이터셋·벌크 접근 경로를 먼저 문의할 것

✓프로덕션 서비스의 실시간 경로에 외부 아카이브를 의존시키지 말 것

# 아카이브 API를 예의 있게 쓰는 최소 형태
import time, requests

UA = "my-research-tool/1.0 (contact: me@example.com)"

def fetch(url, tries=5):
    for i in range(tries):
        r = requests.get(url, headers={"User-Agent": UA}, timeout=20)
        if r.status_code == 429:
            wait = int(r.headers.get("Retry-After", 2 ** i * 5))
            time.sleep(wait)          # 병렬 증가가 아니라 후퇴
            continue
        r.raise_for_status()
        return r
    raise RuntimeError("rate limited; stop and reconsider the approach")

# 원칙: 실패하면 더 세게 때리는 게 아니라 더 천천히 간다.

더 큰 질문 — 공공 아카이브의 비용은 누가 내나

이 문제의 본질은 기술이 아니라 경제다. 아카이브 운영비는 기부에 의존하는데, 트래픽 비용은 자동화 수요와 함께 늘어난다. 그 수요의 상당 부분은 상업적 AI 개발에서 나온다. 무료 공공재에 상업적 대량 수요가 붙으면 반드시 어떤 형태로든 제한이 생긴다. 레이트 리밋, 유료 API, 인증 요구 — 순서만 다를 뿐 방향은 같다.

깃랩이 레이트 리밋을 요금제에 연동하고, 여러 플랫폼이 미인증 접근을 조이는 흐름과 같은 그림이다. 개발자로서 할 수 있는 건 두 가지다. 필요한 만큼만 요청하는 습관을 들이는 것, 그리고 실제로 의존하는 공공 인프라에는 기부하는 것.

출처

Internet Archive Blogs, "An Update on Wayback Machine Access" (2026-09-15) — https://blog.archive.org/2026/09/15/an-update-on-wayback-machine-access/
Hacker News 토론 — https://news.ycombinator.com/item?id=49716176
Archivarix, "Web Archive in 2026: What Has Changed" — https://archivarix.com/en/blog/webarchive-2026/

자주 묻는 질문

웨이백 머신에서 왜 차단(429)되나요?

대량 자동 트래픽에 대응하는 보호 장치가 작동하기 때문입니다. 판단이 IP 단위로 이뤄지다 보니 VPN·기업 NAT·모바일 캐리어 NAT처럼 여러 사용자가 IP를 공유하는 환경에서는 정상 사용자도 함께 막힐 수 있습니다.

잘못 차단됐을 때 어떻게 하나요?

인터넷 아카이브는 운영체제·브라우저·IP 주소를 포함해 문의하면 조사하겠다고 안내했습니다. 즉시 재시도를 반복하면 상황이 더 나빠질 수 있으니, 잠시 기다린 뒤 다른 네트워크에서 접속해 보는 것도 방법입니다.

아카이브 API를 자동화에 써도 되나요?

가능하지만 요청 빈도를 낮추고 캐싱하는 것이 전제입니다. 동시 요청을 1~2개로 제한하고, 429를 받으면 지수 백오프로 물러나며, 식별 가능한 User-Agent와 연락처를 넣으세요. 대량 수집이 필요하면 벌크 접근 경로를 먼저 문의하는 것이 좋습니다.

왜 이런 상황이 됐나요?

사람 트래픽은 완만한 반면 학습 데이터 수집·인덱싱·에이전트 요청 같은 자동 트래픽이 급증했기 때문입니다. 기부로 운영되는 공공 아카이브가 상업적 대량 수요를 감당하면서 비용 압력이 커졌고, 그 결과 접근 제한이 강화되는 흐름입니다.

프로덕션 서비스에서 아카이브를 참조해도 되나요?

실시간 경로에 의존시키는 것은 권하지 않습니다. 차단이나 지연이 발생하면 서비스 품질이 함께 떨어집니다. 필요한 데이터는 사전에 수집해 자체 저장소에 보관하고, 아카이브는 보조 경로나 수동 확인용으로 두는 설계가 안전합니다.