논문 리뷰약 27분
논문 리뷰: Mixture of Experts Approaches in Dense Retrieval Tasks
Dense Retrieval 모델의 마지막 Transformer 층 뒤에 단 하나의 MoE 블록(SB-MoE)만 붙여, 파라미터 증가를 최소화하면서 특히 경량 모델의 검색 성능을 끌어올린 연구.
Tags /
#MSMARCO
1개의 글
Tags /
1개의 글
Dense Retrieval 모델의 마지막 Transformer 층 뒤에 단 하나의 MoE 블록(SB-MoE)만 붙여, 파라미터 증가를 최소화하면서 특히 경량 모델의 검색 성능을 끌어올린 연구.