kangnlp

Tags /

#information-retrieval

22개의 글

논문 리뷰약 58분

논문 리뷰: On the Robustness of LLM-Based Dense Retrievers: A Systematic Analysis of Generalizability and Stability

오픈소스 LLM 기반 dense retriever 6종을 BM25, 인코더 모델 2종과 함께 30개 데이터셋, 5가지 쿼리 변형, 2가지 코퍼스 포이즈닝 위협 모델 위에서 시험해, "리더보드 상위 LLM 리트리버는 실제로 얼마나 강건한가"를 일반화성(generalizability)과 안정성(stability) 두 축으로 해부한 체계적 분석 논문.

논문 리뷰약 27분

논문 리뷰: CharacterBERT and Self-Teaching for Improving the Robustness of Dense Retrievers on Queries with Typos

검색창에 "infromation retrieval"이라고 오타를 낸 적이 있을 것이다. 구글이나 빙이라면 대개 "혹시 이걸 찾으셨나요?"라며 알아서 교정해 준다. 그런데 요즘 검색 시스템의 1차 후보 생성을 책임지는 밀집 검색기(Dense Retriever, DR)는 이 한 글자 오타에 의외로 취약하다. BERT로 쿼리와 문서를 벡터로 바꾸고 벡터 유사도로

논문 리뷰약 31분

논문 리뷰: Lost in a Single Vector - Improving Long-Document Retrieval with Chunk Evidence Aggregation

질의: "Industrial Designer는 회의가 브레인스토밍에 우호적이지 않다고 생각했다. 제약은 분위기가 아니라 실제 환경과 제한된 논의 시간에 관한 것이었다. 게다가 상호작용이 구조화되어 각자 한 가지 과제만 맡고 충분한 협업이 없었다. 이메일을 통한 소통도 비효율적이었다." 골드 문서 내 국소 근거: "the meetings ... are mo

논문 리뷰약 24분

논문 리뷰: Fine-Grained Distillation for Long Document Retrieval

긴 문서는 여러 토픽을 담고 있어 크로스 인코더의 지식을 바이 인코더로 그대로 증류하면 잘 먹히지 않는다. 이 논문은 문서 전체가 아니라 문단, 문장 단위의 세밀한 표현으로 지식을 증류하는 Fine-Grained Distillation(FGD) 프레임워크를 제안해, 추론 효율은 그대로 유지하면서 장문서 검색에서 SOTA를 달성한다.

논문 리뷰약 39분

논문 리뷰: LMK > CLS: Landmark Pooling for Dense Embeddings

문서 하나를 벡터 하나로 압축할 때 쓰는 [CLS]/mean 풀링의 고질적 약점을 짚고, 시퀀스 중간중간에 landmark 토큰을 꽂아 그 임베딩만 평균 내는 단순한 풀링으로 장문 검색 성능을 크게 끌어올린 연구.

논문 리뷰약 28분

논문 리뷰: Learning to Select: Query-Aware Adaptive Dimension Selection for Dense Retrieval

Dense retrieval에서 임베딩 차원을 늘리면 성능이 좋아진다는 건 거의 상식처럼 통용된다. Qwen-Embedding-8B는 4096차원, OpenAI text-embedding-3-large는 3072차원을 쓴다. 그런데 이 고차원 벡터의 모든 좌표가 검색에 도움이 될까? 이 논문의 출발점은 "그렇지 않다"는 관찰이다. 특정 질의(query)에

논문 리뷰약 23분

논문 리뷰: Beyond instruction-conditioning, MoTE: Mixture of Task Experts for Multi-task Embedding Models

RAG, 검색, 추천, 분류 - 요즘 실무에서 쓰이는 머신러닝 파이프라인의 상당수가 텍스트를 밀집 벡터(dense embedding)로 바꾸는 임베딩 모델에 기대고 있다. 그런데 하나의 임베딩 모델이 이 모든 작업을 동시에 잘하기란 쉽지 않다. 문제의 뿌리는 작업마다 "가깝다"의 정의가 다르다는 데 있다.

논문 리뷰약 26분

논문 리뷰: Training Sparse Mixture Of Experts Text Embedding Models

RAG 시스템을 실제로 운영해 본 사람이라면 임베딩 모델의 크기가 얼마나 골치 아픈 변수인지 안다. 검색 품질을 올리려면 파라미터를 키우는 게 가장 확실한 방법인데, 그 순간 두 가지 비용이 동시에 튄다. 하나는 코퍼스 전체를 색인할 때 드는 메모리와 스토리지, 다른 하나는 쿼리마다 발생하는 추론 지연(latency)이다. 특히 다국어 검색으로 넘어가면 상

논문 리뷰약 41분

논문 리뷰: LEAF - Knowledge Distillation of Text Embedding Models with Teacher-Aligned Representations

RAG와 시맨틱 검색이 실서비스에 들어오면서 텍스트 임베딩 모델은 조용히 인프라의 핵심이 됐다. 문제는 성능을 끌어올리려고 모델을 키우다 보니, 검색 파이프라인 전체의 비용과 지연시간이 임베딩 인코딩에서 결정되는 상황이 자주 생긴다는 점이다. 특히 정보 검색(IR, Information Retrieval)에서는 문서와 쿼리를 같은 모델로 인코딩하는 게 당연