#transformer

논문 리뷰: Why Mean Pooling Works: Quantifying Second-Order Collapse in Text Embeddings

토큰 임베딩을 그냥 평균 내는 mean pooling이 어째서 잘 작동하는지를, "2차 통계량 붕괴"라는 개념과 이를 측정하는 SOCM 지표로 정량화한 논문.