kangnlp

Tags /

#dense-retrieval

10개의 글

논문 리뷰약 58분

논문 리뷰: On the Robustness of LLM-Based Dense Retrievers: A Systematic Analysis of Generalizability and Stability

오픈소스 LLM 기반 dense retriever 6종을 BM25, 인코더 모델 2종과 함께 30개 데이터셋, 5가지 쿼리 변형, 2가지 코퍼스 포이즈닝 위협 모델 위에서 시험해, "리더보드 상위 LLM 리트리버는 실제로 얼마나 강건한가"를 일반화성(generalizability)과 안정성(stability) 두 축으로 해부한 체계적 분석 논문.

논문 리뷰약 27분

논문 리뷰: CharacterBERT and Self-Teaching for Improving the Robustness of Dense Retrievers on Queries with Typos

검색창에 "infromation retrieval"이라고 오타를 낸 적이 있을 것이다. 구글이나 빙이라면 대개 "혹시 이걸 찾으셨나요?"라며 알아서 교정해 준다. 그런데 요즘 검색 시스템의 1차 후보 생성을 책임지는 밀집 검색기(Dense Retriever, DR)는 이 한 글자 오타에 의외로 취약하다. BERT로 쿼리와 문서를 벡터로 바꾸고 벡터 유사도로

논문 리뷰약 31분

논문 리뷰: Lost in a Single Vector - Improving Long-Document Retrieval with Chunk Evidence Aggregation

질의: "Industrial Designer는 회의가 브레인스토밍에 우호적이지 않다고 생각했다. 제약은 분위기가 아니라 실제 환경과 제한된 논의 시간에 관한 것이었다. 게다가 상호작용이 구조화되어 각자 한 가지 과제만 맡고 충분한 협업이 없었다. 이메일을 통한 소통도 비효율적이었다." 골드 문서 내 국소 근거: "the meetings ... are mo

논문 리뷰약 24분

논문 리뷰: Fine-Grained Distillation for Long Document Retrieval

긴 문서는 여러 토픽을 담고 있어 크로스 인코더의 지식을 바이 인코더로 그대로 증류하면 잘 먹히지 않는다. 이 논문은 문서 전체가 아니라 문단, 문장 단위의 세밀한 표현으로 지식을 증류하는 Fine-Grained Distillation(FGD) 프레임워크를 제안해, 추론 효율은 그대로 유지하면서 장문서 검색에서 SOTA를 달성한다.

논문 리뷰약 39분

논문 리뷰: LMK > CLS: Landmark Pooling for Dense Embeddings

문서 하나를 벡터 하나로 압축할 때 쓰는 [CLS]/mean 풀링의 고질적 약점을 짚고, 시퀀스 중간중간에 landmark 토큰을 꽂아 그 임베딩만 평균 내는 단순한 풀링으로 장문 검색 성능을 크게 끌어올린 연구.

논문 리뷰약 28분

논문 리뷰: Learning to Select: Query-Aware Adaptive Dimension Selection for Dense Retrieval

Dense retrieval에서 임베딩 차원을 늘리면 성능이 좋아진다는 건 거의 상식처럼 통용된다. Qwen-Embedding-8B는 4096차원, OpenAI text-embedding-3-large는 3072차원을 쓴다. 그런데 이 고차원 벡터의 모든 좌표가 검색에 도움이 될까? 이 논문의 출발점은 "그렇지 않다"는 관찰이다. 특정 질의(query)에