Linear AI Cycles로 sprint 추정 자동화 6개월. 처음 3개월은 정확도 좋아서 만족했는데 최근 한 달부터 갑자기 빗나갑니다.
추정 vs 실제 변화
| 달 | 오차율 |
|---|---|
| 1~3개월 | ±8% |
| 4개월 | ±18% |
| 5개월 (현재) | ±34% |
팀원들이 AI 추정 신뢰 잃고 무시하기 시작. 어떻게 회복하나요? 데이터 모델이 stale 된 건가요?
Linear AI Cycles로 sprint 추정 자동화 6개월. 처음 3개월은 정확도 좋아서 만족했는데 최근 한 달부터 갑자기 빗나갑니다.
추정 vs 실제 변화
| 달 | 오차율 |
|---|---|
| 1~3개월 | ±8% |
| 4개월 | ±18% |
| 5개월 (현재) | ±34% |
팀원들이 AI 추정 신뢰 잃고 무시하기 시작. 어떻게 회복하나요? 데이터 모델이 stale 된 건가요?
댓글 6
Linear AI Cycles의 정확도 저하 원인 몇 가지 패턴이 있습니다.
1. 팀 구성 변경 — 신규 인력 비율
AI는 과거 팀원의 추정 정확도 학습. 신규 인력이 30% 이상 들어오면 과거 데이터가 stale. 신규 인력은 추정 어려움.
해결 — Linear settings에서 신규 인력 capacity 수동 조정 + AI에 "training period" 명시.
2. 작업 유형 변화
한 분야(예: backend) 위주 sprint에서 다른 분야(infra·ML)로 비중 이동. AI가 새 작업 유형에 대한 데이터 부족.
해결 — 작업에 label 명확화. ML, infra, design 같은 카테고리 label이 있으면 AI가 카테고리별 학습.
3. 외부 의존 증가
다른 팀 input 대기, 클라이언트 컨펌 대기 같은 외부 요인이 늘면 AI 추정 자체가 못 함. AI는 내부 작업만 추정 가능.
해결 — "blocked by external" 작업은 추정 대상에서 제외. 별도 카테고리 부여.
4. 인센티브 변화
팀원이 "AI 추정 = 자동 평가"로 인식하면 일부러 추정 낮게 적기 시작. AI가 그 추정으로 학습하면 데이터 자체가 오염.
해결 — AI 추정 vs 실제는 평가 도구 아니라 sprint 계획 도구라고 명확히. 평가에서 분리.
신뢰 회복 — 4단계
저희도 비슷한 슬럼프 후 위 패턴으로 정확도 ±28% → ±12% 회복. 가장 큰 변화는 4번 — AI 신뢰 회복이 정확도보다 중요.
AI 추정 무조건 신뢰는 위험합니다. 도구로만 활용하고 최종 결정은 담당자. 신뢰 회복하려면 "도구"로 redefine.