논문 리뷰약 24분
논문 리뷰: Diffusion vs. Autoregressive Language Models: A Text Embedding Perspective
디퓨전 언어 모델이 텍스트 임베딩에서 LLM보다 나은 이유를 실증적으로 밝힌 최초의 체계적 연구
Tags /
#diffusion-language-model
2개의 글
논문 리뷰약 32분
논문 리뷰: Diffusion-Pretrained Dense and Contextual Embeddings
디코더 전용 LLM을 디퓨전 목적 함수로 계속 사전학습하여 양방향 어텐션을 갖춘 임베딩 모델로 변환하고, 다단계 대조 학습과 네이티브 INT8 양자화를 결합해 웹 스케일 검색에 최적화된 다국어 임베딩 모델 pplx-embed을 제안한다.