Claude Computer Use 프로덕션 — UI 자동화 실전 케이스 5선

핵심 요약

Claude Computer Use가 일반 가용 단계로 진입한 후 6개월간 5개 자동화 시스템을 프로덕션에 올렸다. 성공 사례 3개, 실패 2개. 결론: "DOM 접근이 막힌 레거시 SaaS"에선 압도적이지만 비용은 호출당 평균 $0.18로 RPA·Playwright의 30배. 하이브리드 설계가 핵심이다.

1. Computer Use의 동작 원리

Claude가 스크린샷을 보고 (x, y) 좌표를 반환, 도구 콜로 마우스·키보드를 조작. 반복. 한 사이클당 평균 2초, 작업당 12~40 사이클.

tools: [{
  type: "computer_20250420",
  name: "computer",
  display_width_px: 1280,
  display_height_px: 800
}, {
  type: "bash_20250420",
  name: "bash"
}]

2. 케이스 1 — 보험사 레거시 ERP 청구서 입력(성공)

1998년 만들어진 Java Swing 기반 ERP. DOM·API 전무. RPA(UiPath) 시도했으나 OS 업데이트마다 셀렉터 깨짐. Computer Use로 옮긴 후 6개월간 셀렉터 유지보수 0건. 일 처리량 1,200건, 정확도 99.1%.

3. 케이스 2 — 광고 플랫폼 보고서 다운로드(성공)

8개 광고 채널 대시보드 로그인 -> 날짜 필터 -> CSV 다운로드. Playwright로 짜면 각 사이트마다 셀렉터 관리가 지옥. Computer Use 단일 프롬프트로 8개 모두 대응. 일 1회, 1회당 약 4분, 비용 $0.62.

4. 케이스 3 — 모바일 앱 회귀 테스트(실패)

Android 에뮬레이터 스크린샷을 받아 회귀 테스트 시도. 작은 버튼·튜토리얼 오버레이에 자주 헷갈리고, 평균 1회 테스트에 32 사이클·1분 40초·$0.41. Maestro로 작성하면 8초·$0.001. 비용·속도 둘 다 비교 불가. 철수.

5. 케이스 4 — Excel 파일 정제(성공)

거래처가 매월 보내는 형식 제각각인 엑셀을 표준 양식으로 변환. 규칙이 매번 미묘하게 다르다. Computer Use가 Excel을 직접 열고 "거래처명 컬럼이 어디든 찾아서 B열로 옮겨"라는 지시를 이해. 사람 검수 시간 월 18h -> 1h.

6. 안정성 패턴

# 1. 화면 변화 감지 후에만 다음 액션
def wait_for_change(prev_hash):
    for _ in range(10):
        time.sleep(0.5)
        cur = hash_screenshot()
        if cur != prev_hash:
            return cur
    raise Timeout("no UI change")

# 2. 핵심 단계마다 보조 검증
assert "저장되었습니다" in ocr(screenshot)

7. 비용 분석

8. 결론

적합: 셀렉터 잡기 불가능한 레거시, 매번 형식이 미묘하게 바뀌는 화면, 월 1만 회 이하 저빈도 자동화. 부적합: 고빈도 안정 UI, 실시간 응답, 모바일. 하이브리드(Playwright + Computer Use 폴백)가 베스트 프랙티스로 굳었다.

참고

• docs.anthropic.com/en/docs/build-with-claude/computer-use
• github.com/anthropics/anthropic-quickstarts
• playwright.dev