kangnlp

Tags /

#text-embedding

19개의 글

논문 리뷰약 31분

논문 리뷰: Lost in a Single Vector - Improving Long-Document Retrieval with Chunk Evidence Aggregation

질의: "Industrial Designer는 회의가 브레인스토밍에 우호적이지 않다고 생각했다. 제약은 분위기가 아니라 실제 환경과 제한된 논의 시간에 관한 것이었다. 게다가 상호작용이 구조화되어 각자 한 가지 과제만 맡고 충분한 협업이 없었다. 이메일을 통한 소통도 비효율적이었다." 골드 문서 내 국소 근거: "the meetings ... are mo

논문 리뷰약 39분

논문 리뷰: LMK > CLS: Landmark Pooling for Dense Embeddings

문서 하나를 벡터 하나로 압축할 때 쓰는 [CLS]/mean 풀링의 고질적 약점을 짚고, 시퀀스 중간중간에 landmark 토큰을 꽂아 그 임베딩만 평균 내는 단순한 풀링으로 장문 검색 성능을 크게 끌어올린 연구.

논문 리뷰약 28분

논문 리뷰: Learning to Select: Query-Aware Adaptive Dimension Selection for Dense Retrieval

Dense retrieval에서 임베딩 차원을 늘리면 성능이 좋아진다는 건 거의 상식처럼 통용된다. Qwen-Embedding-8B는 4096차원, OpenAI text-embedding-3-large는 3072차원을 쓴다. 그런데 이 고차원 벡터의 모든 좌표가 검색에 도움이 될까? 이 논문의 출발점은 "그렇지 않다"는 관찰이다. 특정 질의(query)에

논문 리뷰약 23분

논문 리뷰: Beyond instruction-conditioning, MoTE: Mixture of Task Experts for Multi-task Embedding Models

RAG, 검색, 추천, 분류 - 요즘 실무에서 쓰이는 머신러닝 파이프라인의 상당수가 텍스트를 밀집 벡터(dense embedding)로 바꾸는 임베딩 모델에 기대고 있다. 그런데 하나의 임베딩 모델이 이 모든 작업을 동시에 잘하기란 쉽지 않다. 문제의 뿌리는 작업마다 "가깝다"의 정의가 다르다는 데 있다.

논문 리뷰약 26분

논문 리뷰: Training Sparse Mixture Of Experts Text Embedding Models

RAG 시스템을 실제로 운영해 본 사람이라면 임베딩 모델의 크기가 얼마나 골치 아픈 변수인지 안다. 검색 품질을 올리려면 파라미터를 키우는 게 가장 확실한 방법인데, 그 순간 두 가지 비용이 동시에 튄다. 하나는 코퍼스 전체를 색인할 때 드는 메모리와 스토리지, 다른 하나는 쿼리마다 발생하는 추론 지연(latency)이다. 특히 다국어 검색으로 넘어가면 상

논문 리뷰약 41분

논문 리뷰: LEAF - Knowledge Distillation of Text Embedding Models with Teacher-Aligned Representations

RAG와 시맨틱 검색이 실서비스에 들어오면서 텍스트 임베딩 모델은 조용히 인프라의 핵심이 됐다. 문제는 성능을 끌어올리려고 모델을 키우다 보니, 검색 파이프라인 전체의 비용과 지연시간이 임베딩 인코딩에서 결정되는 상황이 자주 생긴다는 점이다. 특히 정보 검색(IR, Information Retrieval)에서는 문서와 쿼리를 같은 모델로 인코딩하는 게 당연

논문 리뷰약 32분

논문 리뷰: Diffusion-Pretrained Dense and Contextual Embeddings

디코더 전용 LLM을 디퓨전 목적 함수로 계속 사전학습하여 양방향 어텐션을 갖춘 임베딩 모델로 변환하고, 다단계 대조 학습과 네이티브 INT8 양자화를 결합해 웹 스케일 검색에 최적화된 다국어 임베딩 모델 pplx-embed을 제안한다.