#knowledge-distillation

논문 리뷰: EMO - Embedding Model Distillation via Intra-Model Relation and Optimal Transport Alignments

서로 다른 토크나이저를 쓰는 대형 임베딩 모델에서 소형 모델로, 어텐션 구조와 표현을 동시에 증류하는 프레임워크