논문 리뷰약 16분
논문 리뷰: Geometric and Dynamic Scaling in Deep Transformers
Transformer를 100층, 200층으로 깊게 쌓으면 어떤 일이 벌어질까요? 파라미터가 늘어난 만큼 표현력이 좋아질 것 같지만, 실제로는 랭크 붕괴(Rank Collapse)라는 벽에 부딪힙니다. 층을 통과할수록 토큰 표현들이 서로 비슷해지다가 결국 하나의 방향으로 수렴해버리는 현상인데, Dong et al. (2021)은 순수 self-attenti