논문 리뷰약 32분
논문 리뷰: Rare Tokens Degenerate All Tokens: Improving Neural Text Generation via Adaptive Gradient Gating for Rare Token Embeddings
언어모델 임베딩이 좁은 원뿔 모양으로 퇴화하는 근본 원인을 희귀 토큰의 그래디언트 한 부분에서 찾아내고, 그 부분만 선택적으로 차단하는 Adaptive Gradient Gating(AGG)으로 전체 임베딩의 등방성을 되살린 ACL 2022 논문.