기술노트 — AI·풀스택·인프라 실전 개발 지식 | 영삼넷

본문 바로가기

플래시 어텐션(FlashAttention) — 어텐션을 메모리로 다시 설계하다

결과는 똑같이 내면서 GPU 메모리 왕복을 줄인 플래시 어텐션의 원리. 타일링과 online softmax로 n×n 행렬을 저장하지 않고 같은 값을 더 빠르게 얻는 법을 설명한다.

#FlashAttention#어텐션#트랜스포머