논문 리뷰약 26분
논문 리뷰: Training Sparse Mixture Of Experts Text Embedding Models
RAG 시스템을 실제로 운영해 본 사람이라면 임베딩 모델의 크기가 얼마나 골치 아픈 변수인지 안다. 검색 품질을 올리려면 파라미터를 키우는 게 가장 확실한 방법인데, 그 순간 두 가지 비용이 동시에 튄다. 하나는 코퍼스 전체를 색인할 때 드는 메모리와 스토리지, 다른 하나는 쿼리마다 발생하는 추론 지연(latency)이다. 특히 다국어 검색으로 넘어가면 상