논문 리뷰약 30분
논문 리뷰: RouterRetriever: Routing over a Mixture of Expert Embedding Models
도메인마다 학습한 경량 LoRA 전문가를 여러 개 두고, 쿼리마다 가장 알맞은 전문가를 골라 임베딩을 뽑는 방식으로 단일 임베딩 모델의 한계를 넘어선 리트리버.
Tags /
#BEIR
3개의 글
논문 리뷰약 27분
논문 리뷰: Mixture of Experts Approaches in Dense Retrieval Tasks
Dense Retrieval 모델의 마지막 Transformer 층 뒤에 단 하나의 MoE 블록(SB-MoE)만 붙여, 파라미터 증가를 최소화하면서 특히 경량 모델의 검색 성능을 끌어올린 연구.
논문 리뷰약 41분
논문 리뷰: LEAF - Knowledge Distillation of Text Embedding Models with Teacher-Aligned Representations
RAG와 시맨틱 검색이 실서비스에 들어오면서 텍스트 임베딩 모델은 조용히 인프라의 핵심이 됐다. 문제는 성능을 끌어올리려고 모델을 키우다 보니, 검색 파이프라인 전체의 비용과 지연시간이 임베딩 인코딩에서 결정되는 상황이 자주 생긴다는 점이다. 특히 정보 검색(IR, Information Retrieval)에서는 문서와 쿼리를 같은 모델로 인코딩하는 게 당연