Tags /
8개의 글
질의: "Industrial Designer는 회의가 브레인스토밍에 우호적이지 않다고 생각했다. 제약은 분위기가 아니라 실제 환경과 제한된 논의 시간에 관한 것이었다. 게다가 상호작용이 구조화되어 각자 한 가지 과제만 맡고 충분한 협업이 없었다. 이메일을 통한 소통도 비효율적이었다." 골드 문서 내 국소 근거: "the meetings ... are mo
긴 문서는 여러 토픽을 담고 있어 크로스 인코더의 지식을 바이 인코더로 그대로 증류하면 잘 먹히지 않는다. 이 논문은 문서 전체가 아니라 문단, 문장 단위의 세밀한 표현으로 지식을 증류하는 Fine-Grained Distillation(FGD) 프레임워크를 제안해, 추론 효율은 그대로 유지하면서 장문서 검색에서 SOTA를 달성한다.
문서 하나를 벡터 하나로 압축할 때 쓰는 [CLS]/mean 풀링의 고질적 약점을 짚고, 시퀀스 중간중간에 landmark 토큰을 꽂아 그 임베딩만 평균 내는 단순한 풀링으로 장문 검색 성능을 크게 끌어올린 연구.
Dense retrieval에서 임베딩 차원을 늘리면 성능이 좋아진다는 건 거의 상식처럼 통용된다. Qwen-Embedding-8B는 4096차원, OpenAI text-embedding-3-large는 3072차원을 쓴다. 그런데 이 고차원 벡터의 모든 좌표가 검색에 도움이 될까? 이 논문의 출발점은 "그렇지 않다"는 관찰이다. 특정 질의(query)에
도메인마다 학습한 경량 LoRA 전문가를 여러 개 두고, 쿼리마다 가장 알맞은 전문가를 골라 임베딩을 뽑는 방식으로 단일 임베딩 모델의 한계를 넘어선 리트리버.
Dense Retrieval 모델의 마지막 Transformer 층 뒤에 단 하나의 MoE 블록(SB-MoE)만 붙여, 파라미터 증가를 최소화하면서 특히 경량 모델의 검색 성능을 끌어올린 연구.
두 언어로 번역된 쿼리 임베딩을 비율을 바꿔가며 선형 보간하면 어떤 일이 벌어지는지를 105개 조건에서 통제 실험으로 파헤친 논문. 답은 "섞으면 대체로 이득이지만, 문서 색인에 영어가 끼어 있으면 이야기가 완전히 달라진다"이다.
실제 코퍼스에 접근하지 않고도, LLM이 생성한 합성 프록시 코퍼스만으로 컨텍스트 기반 임베딩 모델을 도메인에 적응시키는 프레임워크