RNN이란?
입력을 순서대로 처리하며 은닉 상태를 다음 타임스텝에 전달한다.
한계
- 장기 의존성 학습 어려움 (vanishing gradient)
- 병렬화 불가
현재
Transformer에 대부분 대체. 아주 짧은 시퀀스·엣지 제약 환경에서만 여전히 사용.
시퀀스 데이터에 재귀적으로 상태를 전달하는 신경망. Transformer에 밀린 역사적 모델.
입력을 순서대로 처리하며 은닉 상태를 다음 타임스텝에 전달한다.
Transformer에 대부분 대체. 아주 짧은 시퀀스·엣지 제약 환경에서만 여전히 사용.