논문 리뷰약 20분
논문 리뷰: Drift-Adapter — 벡터 데이터베이스에서 임베딩 모델을 거의 무중단으로 업그레이드하는 법
새 임베딩 모델의 쿼리를 기존 임베딩 공간으로 변환하는 경량 어댑터를 학습시켜, 전체 코퍼스를 다시 인코딩하지 않고도 95–99%의 검색 성능을 회복하는 실용적 방법론
Tags /
#retrieval
4개의 글
논문 리뷰약 24분
논문 리뷰: Diffusion vs. Autoregressive Language Models: A Text Embedding Perspective
디퓨전 언어 모델이 텍스트 임베딩에서 LLM보다 나은 이유를 실증적으로 밝힌 최초의 체계적 연구
논문 리뷰약 20분
논문 리뷰: Randomly Removing 50% of Dimensions in Text Embeddings has Minimal Impact on Retrieval and Classification Tasks
텍스트 임베딩에서 차원의 50%를 무작위로 제거해도 검색·분류 성능이 10% 미만만 하락한다는 현상을 발견하고, 그 원인을 "성능을 오히려 악화시키는 차원(degrading dimensions)"의 존재로 설명한 논문.
논문 리뷰약 32분
논문 리뷰: Diffusion-Pretrained Dense and Contextual Embeddings
디코더 전용 LLM을 디퓨전 목적 함수로 계속 사전학습하여 양방향 어텐션을 갖춘 임베딩 모델로 변환하고, 다단계 대조 학습과 네이티브 INT8 양자화를 결합해 웹 스케일 검색에 최적화된 다국어 임베딩 모델 pplx-embed을 제안한다.