논문 리뷰약 36분
논문 리뷰: TALAS - Teacher-Anchored Layer Alignment with Adaptive Sharpness-Aware Minimization for Embedding Distillation
캐싱해둔 교사 임베딩만으로 LLM 임베딩 모델을 BERT급 소형 인코더로 증류하되, 상위 레이어만 교사에 앵커링하고 나머지는 위→아래로 자기 증류하며, ASAM으로 평평한 최소점을 찾아 일반화를 끌어올린 프레임워크.
Tags /
#sentence-embedding
3개의 글
논문 리뷰약 35분
논문 리뷰: Why Mean Pooling Works: Quantifying Second-Order Collapse in Text Embeddings
토큰 임베딩을 그냥 평균 내는 mean pooling이 어째서 잘 작동하는지를, "2차 통계량 붕괴"라는 개념과 이를 측정하는 SOCM 지표로 정량화한 논문.
논문 리뷰약 18분
논문 리뷰: Semantic Geometry of Sentence Embeddings
문장 임베딩의 내부 구조를 정보이론으로 해석하고, 해석 가능한 의미 방향(feature direction)을 식별하는 프레임워크를 제안한 논문