논문 리뷰: Diffusion-Pretrained Dense and Contextual Embeddings

Diffusion-Pretrained Dense and Contextual Embeddings 리뷰

디코더 전용 LLM을 디퓨전 목적 함수로 계속 사전학습하여 양방향 어텐션을 갖춘 임베딩 모델로 변환하고, 다단계 대조 학습과 네이티브 INT8 양자화를 결합해 웹 스케일 검색에 최적화된 다국어 임베딩 모델 pplx-embed을 제안한다.

논문 정보

---

1. 들어가며

텍스트 임베딩 모델은 검색 시스템의 근간이다. 쿼리와 문서를 동일한 벡터 공간에 매핑한 뒤 근사 최근접 이웃(ANN) 검색으로 관련 문서를 찾아내는 구조인데, 최근 몇 년간 이 임베딩 모델의 백본이 BERT 계열에서 디코더 전용 LLM으로 빠르게 이동했다. Qwen3-Embedding, Gemini Embedding, NV-Embed 등이 대표적이다.

그런데 디코더 전용 모델에는 구조적 한계가 있다. 인과적 마스킹(causal masking) 때문에 각 토큰이 이전 토큰만 참조할 수 있어서, 문서 전체의 맥락을 포착하기 어렵다. 이 문제를 우회하려고 last-token pooling을 쓰거나 instruction prefix를 붙이는 등의 트릭이 필요했다.

Perplexity AI의 이 논문은 다른 길을 택한다. 디퓨전 언어 모델(Diffusion Language Model)을 백본으로 사용하는 것이다. 기존 Qwen3 모델의 causal mask를 제거하고 디퓨전 목적 함수로 계속 사전학습하면 양방향 어텐션을 갖춘 인코더가 되는데, 이 구조가 mean pooling과 자연스럽게 결합되면서 문서 전체의 글로벌 컨텍스트를 효과적으로 캡처할 수 있게 된다. 여기에 네이티브 INT8 양자화 훈련까지 결합해서, 성능과 효율을 동시에 잡은 실용적인 임베딩 모델 pplx-embed 패밀리를 공개했다.

---

2. 기존 연구의 한계

2.1 디코더 전용 LLM 기반 임베딩

최근 임베딩 모델 연구의 주류는 사전학습된 디코더 전용 LLM을 활용하는 방향이다. Qwen3-Embedding, Gemini Embedding, NV-Embed 등이 이 계열에 속한다. 사전학습 과정에서 축적된 풍부한 언어 지식을 임베딩에 전이할 수 있다는 점이 큰 장점이지만, 인과적 어텐션 마스크 때문에 양방향 문맥 정보를 직접 활용하지 못한다. 시퀀스의 마지막 토큰만 전체 정보를 요약하는 구조여서 last-token pooling에 의존해야 하고, 긴 문서에서 글로벌 컨텍스트를 보존하기 어렵다.

2.2 BERT 계열 인코더 기반 임베딩

BERT 기반 모델(BGE-M3, Jina Embeddings 등)은 양방향 어텐션을 자연스럽게 활용할 수 있지만, 사전학습 데이터와 모델 스케일 면에서 최신 LLM에 뒤처진다. 수십억 파라미터 규모의 LLM이 축적한 지식을 BERT 크기의 모델로 따라잡기는 쉽지 않다.

2.3 컨텍스트 임베딩의 부재

대부분의 임베딩 모델은 개별 청크를 독립적으로 인코딩한다. 긴 문서를 청크로 나눈 뒤 각 청크의 임베딩을 따로 만들면, 전체 문서의 맥락이 유실된다. Late chunking(Günther et al., 2024)이나 contextual document embedding(Morris & Rush, 2025) 같은 접근이 제안됐지만, 표준 임베딩 벤치마크와 컨텍스트 벤치마크 양쪽에서 모두 강한 성능을 보이는 모델은 드물었다.

이런 한계들이 pplx-embed의 설계 동기가 된다. 디퓨전 사전학습으로 양방향 어텐션을 확보하면서도 LLM의 지식을 계승하고, 다단계 학습 파이프라인으로 dense 검색과 contextual 검색 모두를 커버하겠다는 것이다.

---

3. 핵심 아이디어

pplx-embed의 접근은 간결하게 정리하면 이렇다: 기존 디코더 전용 LLM(Qwen3)의 causal mask를 벗기고, 디퓨전 목적 함수로 다시 사전학습하여 양방향 인코더로 전환한다. 디퓨전 언어 모델은 각 토큰이 독립적으로 마스킹 상태로 붕괴하는 흡수 상태(absorbing state) 프로세스를 역전시키도록 학습하는데, 이 과정에서 자연스럽게 양방향 어텐션이 필요하다. BERT의 masked language modeling과 유사하지만, 마스킹 비율을 0~1 사이에서 균일하게 샘플링한다는 점이 다르다.

이렇게 만들어진 양방향 인코더 위에 mean pooling을 적용하면, 시퀀스의 모든 토큰 표현을 균등하게 반영하는 임베딩을 얻을 수 있다. 이는 디코더 모델의 last-token pooling보다 정보 활용 효율이 높고, 특히 late chunking 기반의 컨텍스트 임베딩에서 결정적인 이점을 제공한다 — 하나의 긴 문서를 한 번의 forward pass로 처리한 뒤, 청크별로 mean pooling하면 각 청크가 문서 전체의 맥락을 자연스럽게 품게 되기 때문이다.

여기에 하나 더, 학습 시점부터 INT8 양자화를 적용한다. 추론 시 양자화를 적용하면 성능 손실이 불가피한데, 처음부터 양자화를 의식하며 학습하면 그 손실을 최소화할 수 있다. Straight-through gradient estimation으로 비미분적인 반올림 연산을 통과시켜 역전파하는 방식이다.

---

4. 제안 방법 (Method)

4.1 전체 학습 파이프라인

pplx-embed의 학습은 크게 네 단계로 이루어지며, 마지막에 모델 병합(merging)으로 최종 모델을 산출한다.

Figure 1: pplx-embed-v1과 pplx-embed-context-v1의 학습 파이프라인. (원논문)

Figure 1의 흐름을 따라가 보면: (1) Continued Pretraining으로 Qwen3 백본을 양방향 디퓨전 모델로 전환하고, (2) Pair Training으로 쿼리-문서 쌍 기반의 기본적 의미 정렬을 수행한다. 여기서 파이프라인이 갈라지는데, (3a) Contextual Training은 청크 수준의 컨텍스트 임베딩을 학습하여 pplx-embed-context-v1을 생성하고, (3b) Triplet Training은 하드 네거티브를 활용해 더 정교한 구분 능력을 부여한다. Contextual 체크포인트와 Triplet 체크포인트를 Pair Training 후 각각 만든 뒤, 최종적으로 Spherical Linear Interpolation(SLERP)으로 병합하여 pplx-embed-v1을 얻는다. 모든 모델은 0.6B와 4B 두 가지 스케일로 제공된다.

4.2 Continued Diffusion Pretraining

Gong et al. (2025)의 방법론을 따라, Qwen3-0.6B-Base와 Qwen3-4B-Base의 causal attention mask를 제거하고 디퓨전 목적 함수로 계속 사전학습한다.

연속 시간(continuous-time) 공식에서 흡수 상태 프로세스를 사용한다. 타임스텝 $t \in [0, 1]$에서 각 토큰이 독립적으로 확률 $t$로 [MASK] 상태로 붕괴한다. [MASK] 상태는 Qwen3 어휘에서 드물게 사용되는 토큰을 재활용한다. 학습 시 각 입력 시퀀스에 대해 $t \sim U(0.001, 1)$을 샘플링하고, 입력의 각 토큰을 확률 $t$로 마스킹한 뒤, 마스킹된 위치의 토큰별 교차 엔트로피를 $1/t$로 스케일링한 ELBO 손실로 학습한다.

학습 데이터는 영어(FineWebEdu) 50%와 29개 비영어 언어(FineWeb2, FineWeb2-HQ) 50%로 구성된다. 60,000 스텝, 글로벌 배치 크기 1024, 시퀀스 길이 4096으로 약 2,500억 토큰에 대해 사전학습을 수행한다. AdamW 옵티마이저와 warmup-stable-decay 스케줄을 사용하며, 학습률은 0.6B에 $5 \times 10^{-4}$, 4B에 $3.16 \times 10^{-4}$를 적용한다.

causal attention mask를 점진적으로 어닐링하는 실험도 수행했으나 유의미한 성능 향상이 없어서 채택하지 않았다고 한다.

4.3 풀링 및 양자화

양방향 아키텍처 덕분에 mean pooling을 자연스럽게 적용할 수 있다. 길이 $L$인 시퀀스의 토큰별 임베딩 $(v_l)_{l=1}^L \in \mathbb{R}^{L \times d}$로부터 시퀀스 수준 임베딩을 다음과 같이 정의한다:

$e = \text{round}\left(127 \cdot \tanh\left(\frac{1}{L}\sum_{l=1}^{L} v_l\right)\right)$

결과 벡터의 각 원소는 $\{-127, \ldots, 127\}$ 범위의 정수, 즉 signed 8-bit integer로 표현 가능하다. 이 양자화는 추론 시뿐 아니라 모든 대조 학습 단계에서도 적용된다. 비미분적인 반올림 연산은 straight-through gradient estimation으로 역전파한다. 양자화된 임베딩 간의 유사도는 코사인 유사도로 계산한다.

바이너리 양자화도 지원한다. Mean-pooled 임베딩의 각 원소를 -1 또는 1로 설정하는 방식인데, 별도의 학습 없이 사후 이진화(post-hoc binarization)만으로 최소한의 성능 손실을 달성한다.

$e^{\text{bin}} = \text{sign}\left(\frac{1}{L}\sum_{l=1}^{L} v_l\right)$

4.4 Pair Training

첫 번째 대조 학습 단계로, 쿼리-문서 쌍 간의 기본적인 의미 정렬을 수립한다. InfoNCE 손실을 사용하되, 배치 내의 다른 문서뿐 아니라 다른 쿼리도 네거티브로 활용한다. $N$개의 쿼리-문서 쌍에서 임베딩 $\mathbf{q}_i, \mathbf{d}_i \in \mathbb{R}^d$를 얻은 뒤, 온도 $\tau > 0$에 대해 손실을 다음과 같이 정의한다:

$\mathcal{L}^{\text{pair}} = -\frac{1}{N}\sum_{i=1}^{N}\log\frac{e^{s(\mathbf{q}_i, \mathbf{d}_i)/\tau}}{\sum_{j=1}^{N} m_i(\mathbf{d}_j)e^{s(\mathbf{q}_i, \mathbf{d}_j)/\tau} + \sum_{j \neq i}^{N} m_i(\mathbf{q}_j)e^{s(\mathbf{q}_i, \mathbf{q}_j)/\tau}}$

여기서 $m_i(x) = \mathbb{1}\{s(\mathbf{q}_i, x) \leq s(\mathbf{q}_i, \mathbf{d}_i) + 0.1\}$은 거짓 부정(false negative) 문제를 완화하기 위한 마스킹 함수다. 배치 내의 네거티브 샘플이 실제로는 쿼리와 관련된 문서일 수 있는데, 해당 네거티브의 유사도가 정답 쌍의 유사도보다 0.1 이상 높으면 손실 계산에서 제외한다. Qwen3-Embedding에서 영감을 받은 설계다.

Pair training은 세 단계에 걸쳐 비영어 데이터를 점진적으로 도입한다: 먼저 영어만, 그다음 영어+교차 언어, 마지막으로 다국어 전체 데이터셋. 양 모델 모두 글로벌 배치 크기 16,384, 시퀀스 길이 256, 50,000 스텝으로 학습하며, 온도는 0.02다.

4.5 Contextual Training

Contextual training은 긴 문서를 청크로 나눈 뒤 각 청크의 임베딩이 문서 전체의 맥락을 보존하도록 학습하는 단계다. $N$개의 쿼리-문서 쌍에서 각 문서가 $C$개의 청크 $d_i = \{c_{ik}\}_{k=1}^C$를 포함할 때, 로컬(청크 수준)과 글로벌(문서 수준) 두 가지 목적 함수를 결합한다.

로컬 손실: 시퀀스 내 대조 손실(in-sequence loss)과 배치 내 대조 손실(in-batch loss)의 결합이다.

시퀀스 내 손실에서는 정답 청크(gold chunk)를 양성 샘플, 같은 문서의 나머지 청크를 음성 샘플로 취급한다:

$\mathcal{L}^{\text{seq}} = -\frac{1}{N}\sum_{i=1}^{N}\log\frac{e^{s(\mathbf{q}_i, \mathbf{c}_{i*})/\tau}}{\sum_{k=1}^{C} e^{s(\mathbf{q}_i, \mathbf{c}_{ik})/\tau}}$

배치 내 손실에서는 정답 청크를 양성, 배치 내 모든 다른 청크(같은 문서 포함)를 음성으로 사용한다:

$\mathcal{L}^{\text{batch}} = -\frac{1}{N}\sum_{i=1}^{N}\log\frac{e^{s(\mathbf{q}_i, \mathbf{c}_{i*})/\tau}}{\sum_{j=1}^{N}\sum_{k=1}^{C} e^{s(\mathbf{q}_i, \mathbf{c}_{jk})/\tau}}$

최종 로컬 손실은 이 둘의 가중 합이다:

$\mathcal{L}^{\text{local}} = \alpha \mathcal{L}^{\text{seq}} + (1-\alpha)\mathcal{L}^{\text{batch}}, \quad \alpha = 0.2$

글로벌 손실: 쿼리-문서 수준의 InfoNCE 목적 함수를 사용한다. 배치 내에 같은 문서에 대응하는 쿼리가 여러 개 있을 수 있으므로, 해시 기반의 중복 문서 마스킹 행렬 $M^{\text{dup}}$를 도입한다:

$M^{\text{dup}}_{ij} = \begin{cases} 0, & \text{if } h(d_i) = h(d_j) \text{ and } i \neq j \\ 1, & \text{otherwise} \end{cases}$

이를 유사도 임계값 마스킹, 쿼리-쿼리 네거티브와 결합하여 글로벌 손실을 정의한다:

$\mathcal{L}^{\text{global}} = -\frac{1}{N}\sum_{i=1}^{N}\log\frac{e^{s(\mathbf{q}_i, \mathbf{d}_i)/\tau}}{\sum_{j=1}^{N} M^{\text{dup}}_{ij} m_i(\mathbf{d}_j)e^{s(\mathbf{q}_i, \mathbf{d}_j)/\tau} + \sum_{j \neq i}^{N} m_i(\mathbf{q}_j)e^{s(\mathbf{q}_i, \mathbf{q}_j)/\tau}}$

총 손실: 로컬과 글로벌을 스케줄링된 가중치 $\beta$로 결합한다. $\beta$는 코사인 스케줄로 0.2에서 0.5까지 증가시키는데, 초기에는 청크 수준의 로컬 의미를 먼저 학습하고 점차 문서 수준의 글로벌 의미를 강화해 가겠다는 전략이다.

$\mathcal{L}^{\text{context}} = \beta \mathcal{L}^{\text{global}} + (1 - \beta)\mathcal{L}^{\text{local}}$

학습에는 Matryoshka 방식의 다중 임베딩 차원 [128, 256, 512, 1024, 2048, 2560]을 동시에 사용하며, 문서를 256 토큰씩 16개 청크로 분할한다. 7,000 스텝 학습.

4.6 Triplet Training

Pair training으로 기본 정렬을 수행한 뒤, 하드 네거티브를 포함한 트리플렛 학습으로 임베딩의 판별력을 정교화한다. 각 쿼리 $\mathbf{q}_i$에 대해 $K$개의 하드 네거티브 임베딩 $\{\mathbf{d}^h_{ik}\}_{k=1}^K$를 사용한 InfoNCE 손실을 정의한다:

$\mathcal{L}^{\text{triplet}} = -\frac{1}{N}\sum_{i=1}^{N}\log\frac{e^{s(\mathbf{q}_i, \mathbf{d}_i)/\tau}}{\sum_{j=1}^{N} e^{s(\mathbf{q}_i, \mathbf{d}_j)/\tau} + \sum_{j=1}^{N}\sum_{k=1}^{K} e^{s(\mathbf{q}_i, \mathbf{d}^h_{jk})/\tau}}$

시퀀스 길이를 512로 늘리고, 글로벌 배치 크기 512, 쿼리당 하드 네거티브 3개, 온도 0.03으로 2,000 스텝 학습한다.

4.7 모델 병합 및 최종 산출

Contextual training 후 얻은 체크포인트와, pair training + triplet training 후 얻은 체크포인트를 SLERP(Spherical Linear Interpolation)으로 병합하여 pplx-embed-v1을 산출한다. pplx-embed-context-v1은 contextual training 단계에서 직접 산출된다.

최종적으로 네 가지 모델이 공개된다: pplx-embed-v1 (0.6B, 4B), pplx-embed-context-v1 (0.6B, 4B). 모든 모델은 instruction-tuned가 아니므로, 사용자가 instruction prefix를 관리할 필요가 없다.

4.8 대조 학습 데이터셋

대조 학습에는 영어, 다국어, 합성 데이터셋을 활용한다. 최종 데이터 구성은 영어 65.6%, 교차 언어 6.7%, 코드 1%, 다국어 26.7%로 60개 언어를 포괄한다. 합성 데이터는 Qwen3-30B-A3B-Instruct-2507 모델로 생성하며, top-5 페르소나 기반의 2단계 파이프라인으로 다양한 쿼리-문서 쌍을 생성한다.

Triplet training 데이터는 양은 적지만 품질이 높으며, 12개 데이터셋으로 구성된다(영어 92%, 코드 1%, 다국어 7%, 15개 언어).

---

5. 실험 결과

5.1 실험 설정

• 공개 벤치마크: MTEB(Multilingual, v2), MTEB(Code), MIRACL, ConTEB, BERGEN, ToolRet
• 내부 벤치마크: PPLXQuery2Query (PPLXQ2Q), PPLXQuery2Doc (PPLXQ2D)
• 비교 모델: Qwen3-Embedding (0.6B/4B), gemini-embedding-001, text-embedding-3-large, BGE-M3, embed-gemma-0.3B, NV-Embed-v1, GritLM-7B, voyage-context-3, Anthropic Contextual 등
• 평가 지표: 주로 nDCG@10, Recall@K

5.2 MTEB Multilingual 및 MTEB Code

Table 1 (원논문): 저장 효율(메가바이트당 문서 임베딩 수, 높을수록 좋음)과 다국어·코드 검색 성능.

pplx-embed-v1-4B는 MTEB Multilingual에서 69.66%로 Qwen3-Embedding-4B(69.60%)와 거의 동등한 성능을 보이면서, 저장 효율은 4배(390 vs 97 Docs/MB)다. INT8 양자화 덕분에 동일한 저장 공간에 4배 더 많은 임베딩을 넣을 수 있는 셈이다. 바이너리 양자화를 적용하면 3,125 Docs/MB까지 올라가면서도 68.22%를 유지한다.

0.6B 모델 간 비교에서는 pplx-embed-v1-0.6B가 Qwen3-Embedding-0.6B를 Multilingual(65.41 vs 64.65)과 Code(75.85 vs 75.42) 양쪽에서 앞선다. 바이너리 양자화 시 7,812 Docs/MB라는 극단적 효율을 달성한다.

MTEB Code에서는 Qwen3-Embedding-4B(80.07)가 pplx-embed-v1-4B(78.73)를 약간 앞서지만, gemini-embedding-001(76.00)과 text-embedding-3-large(66.54)는 크게 웃돈다.

5.3 MIRACL: 언어별 세부 성능

Table 2 (원논문): MIRACLRetrievalHardNegatives 태스크의 언어별 nDCG@10.

MIRACL 결과에서 가장 눈에 띄는 점은 pplx-embed-v1-0.6B(INT8)의 평균 점수가 68.6으로, 자사의 4B 모델(66.2)보다 높다는 것이다. 0.6B 모델이 모든 18개 언어에서 Qwen3-Embedding-0.6B를 앞서고, 바이너리 양자화 버전조차 Qwen3-Embedding-0.6B의 평균을 넘긴다(64.2 vs 61.2).

전체 1위는 gemini-embedding-001(70.4)이지만, 저장 효율을 고려하면 pplx-embed-v1-0.6B가 매우 경쟁력 있는 선택지다. 특히 yo(요루바), sw(스와힐리) 같은 저자원 언어에서 pplx-embed-v1-0.6B가 82.1, 74.3을 기록하며 강한 모습을 보인다.

5.4 ConTEB: 컨텍스트 임베딩 평가

Table 3 (원논문): ConTEB 벤치마크 성능 비교. 선 위는 비컨텍스트 모델, 선 아래는 컨텍스트 모델.

pplx-embed-context-v1-4B가 평균 81.96%로 voyage-context-3(79.45%)를 2.5%p 이상 앞서며 SOTA를 달성했다. Insurance 데이터셋에서 100점 만점, Geography에서 93.04, Football에서 78.13을 기록하는데, 비컨텍스트 모델과의 격차가 극적이다 — 예를 들어 Football에서 비컨텍스트 pplx-embed-v1-4B는 34.26인데 컨텍스트 버전은 78.13이다. 문서 전체의 맥락이 청크 수준의 검색 품질에 얼마나 결정적인지를 잘 보여준다.

pplx-embed-context-v1-0.6B(76.53)도 modernBERT-Large(75.60)와 Anthropic Contextual(72.40)을 넘긴다. 0.6B 규모에서 이 수준의 컨텍스트 임베딩 성능은 상당히 인상적이다.

5.5 BERGEN: RAG 파이프라인 평가

Table 4 (원논문): BERGEN 벤치마크 Match 메트릭. Qwen2.5-32B-Instruct로 top-5 검색 패시지 기반 답변 생성.

BERGEN은 임베딩 모델을 실제 RAG 파이프라인에 배치했을 때의 end-to-end 성능을 측정한다. KILT Wikipedia 덤프(2,480만 패시지)에서 검색한 top-5 패시지를 Qwen2.5-32B-Instruct에 주입하여 답변을 생성하고, 정답 포함 여부(Match)를 측정한다.

pplx-embed-v1-4B가 5개 태스크 중 3개(NQ, HotpotQA, TriviaQA)에서 1위다. 더 재미있는 것은 pplx-embed-v1-0.6B가 ASQA(72.6)와 PopQA(70.0)에서 Qwen3-Embedding-4B(72.7, 66.4)와 맞먹거나 앞선다는 점이다. 0.6B 모델이 4B 모델의 RAG 성능을 이기는 것은 임베딩 품질이 단순히 파라미터 수에 비례하지 않음을 시사한다.

5.6 ToolRet: 도구 검색

Table 5 (원논문): ToolRet 벤치마크 결과. N=nDCG, C=Comprehensiveness (모두 @10).

pplx-embed-v1-4B가 평균 nDCG@10 44.45%로, 7B 규모의 NV-Embed-v1(42.71%)과 GritLM-7B(41.13%)를 넘기며 2위를 기록했다. 1위는 gte-qwen2-1.5B(45.96%)다. Web 카테고리에서는 pplx-embed-v1-4B가 42.07%로 단독 1위인데, API 문서 검색이라는 실용적 과제에서 INT8 양자화 모델이 풀 정밀도 대형 모델과 경쟁할 수 있다는 것은 배포 관점에서 큰 의미가 있다.

5.7 내부 벤치마크: PPLXQ2Q와 PPLXQ2D

공개 벤치마크의 한계를 보완하기 위해 Perplexity AI가 자체 구축한 웹 스케일 벤치마크다. 실제 프로덕션 검색 로그에서 구성했으며, 최대 10억 개 웹 페이지에서 풀링한 3,000만 개 이상의 문서를 대상으로 평가한다.

PPLXQuery2Query

Table 6 (원논문): PPLXQ2Q 벤치마크 쿼리-쿼리 검색 성능.

PPLXQ2Q는 같은 목적 URL로 이어진 쿼리들이 의미적으로 유사하다는 가정 하에, 실제 검색 로그에서 구축한 쿼리-쿼리 검색 벤치마크다. Large 코퍼스(240만 쿼리)에서 pplx-embed-v1-4B가 R@10 73.46%, R@100 86.17%로 Qwen3-Embedding-4B(67.90%, 81.96%)를 각각 5.56%p, 4.21%p 앞선다. 이 격차는 코퍼스가 커질수록 더 벌어지는 패턴으로, 웹 스케일에서 pplx-embed의 장점이 더 두드러진다.

PPLXQuery2Doc (English)

Table 7 (원논문): PPLXQ2D 벤치마크 영어 쿼리-문서 검색 성능.

PPLXQuery2Doc (Multilingual)

Table 8 (원논문): PPLXQ2D 벤치마크 다국어 쿼리-문서 검색 성능.

PPLXQ2D는 15,000개 쿼리를 BM25, BGE-M3, e5-large-instruct, Qwen3-Embedding 네 가지 검색 시스템의 결과를 RRF로 종합하여 관련성 레이블을 부여한 벤치마크다. 10억 개 실제 웹 페이지에서 풀링한 최대 3,000만 개 문서 코퍼스를 대상으로 평가한다.

Large 코퍼스에서 pplx-embed-v1-4B의 R@1000은 영어 88.23%, 다국어 91.66%로, Qwen3-Embedding-4B(83.13%, 88.58%)를 크게 앞선다. 1단계 검색기(first-stage retriever)로서의 역할에 집중한 Recall@1000 지표에서 이 정도 격차는 실제 배포 환경에서 유의미한 차이다. 리랭킹 단계가 후속되는 캐스케이드 시스템에서 1단계 리콜이 높을수록 최종 품질이 올라가기 때문이다.

5.8 바이너리 양자화의 영향

모든 벤치마크에 걸쳐 바이너리 양자화의 성능 하락 패턴이 일관된다. pplx-embed-v1-4B는 최대 1.6%p의 하락에 그치는 반면, 0.6B 모델은 2~4.4%p 하락한다. 컨텍스트 모델에서도 동일한 경향으로, 4B는 약 1%p, 0.6B는 최대 5%p 하락이다.

이 차이는 출력 차원과 관련이 있다. 4B 모델의 출력 차원은 2560인 반면 0.6B는 1024다. 차원이 클수록 이진화 과정에서 보존되는 정보량이 많아 양자화에 더 강건한 것이다.

---

6. Ablation Study: 디퓨전 vs 오토리그레시브 사전학습

디퓨전 사전학습의 효과를 검증하기 위한 ablation을 수행했다. 두 가지 백본(Qwen3 causal vs Diffusion bidirectional) × 두 가지 풀링(mean vs last-token)의 4가지 조합을 비교한다. 소량의 영어 pair training만 수행하여 각 구성의 잠재력을 평가한다.

Figure 2: 지수 이동 평균(α=0.02)으로 스무딩한 학습 손실. (원논문)

Figure 2에서 양방향 디퓨전 백본(파란색, 노란색)의 학습 손실이 인과적 마스킹 Qwen3 백본(보라색, 빨간색)보다 현저히 낮다. mean pooling과 last-token pooling 간의 차이보다 백본 아키텍처 간의 차이가 훨씬 크다는 것을 시각적으로 확인할 수 있다. 학습 초기부터 디퓨전 백본이 더 빠르게 수렴하며, 최종 손실도 낮다.

Table 9 (원논문): 계속 사전학습이 선택된 태스크에 미치는 효과.

Diffusion + mean pooling 조합이 평균 40.6%로 가장 높다. Qwen3 + last-token(39.9%)보다 약 1%p 높은데, 이 차이가 작아 보일 수 있지만 pair training을 1 에포크 미만으로만 수행한 조건에서의 결과다. FiQA(26.6→31.1), HotpotQA(51.7→54.2), MSMARCO(28.3→31.3)처럼 개별 태스크에서는 더 큰 격차를 보이는 경우도 있다.

Qwen3에 mean pooling을 적용하면 오히려 성능이 떨어지는데(39.9→38.8), causal masking 하에서는 각 토큰이 이전 정보만 포함하므로 mean pooling이 적합하지 않기 때문이다. 반면 디퓨전 백본에서는 mean pooling이 last-token pooling보다 일관되게 우수하다(39.7→40.6). 양방향 어텐션이 mean pooling의 전제 조건인 셈이다.

mean pooling이 벤치마크 성능을 약간 높이는 것 외에도, contextual embedding 학습에서 결정적으로 중요하다. 하나의 문서에서 여러 청크 수준의 표현을 한 번의 forward pass로 계산할 수 있기 때문이다.

---

7. 추가 실험 및 부록

7.1 사전학습 데이터 구성

Table 10 (원논문): 사전학습 데이터 구성.

영어가 50%를 차지하고, 나머지 50%는 29개 언어의 FineWeb2 코퍼스에서 각 언어의 상대적 단어 수에 비례하여 구성된다. 한국어(kor)는 0.76%로, FineWeb2(HQ가 아닌 일반 버전)에서 가져온다. 러시아어(9.22%), 중국어(8.51%), 일본어(5.19%)가 비영어 중 가장 큰 비중을 차지한다.

7.2 MTEB Multilingual 상세 결과 (Appendix C)

Table 11 (원논문): MTEB(Multilingual, v2) 검색 태스크별 nDCG@10.

개별 태스크에서 흥미로운 패턴이 보인다. LEMBPasskeyRetrieval에서 pplx-embed-v1-4B가 89.50으로 qwen3-embed-4B(84.25)를 크게 앞서는데, 이 태스크는 긴 시퀀스에서 특정 "열쇠" 정보를 검색하는 과제로 양방향 어텐션의 장점이 직접적으로 드러나는 경우다. WinoGrande에서도 82.40 vs 51.51로 큰 격차를 보인다. StatcanDialogueDatasetRetrieval(56.53 vs 42.28)에서도 pplx-embed이 두드러지게 강하다.

반면 AILAStatutes(61.00 vs 81.19), CovidRetrieval(77.50 vs 87.37), TRECCOVID(85.61 vs 92.92) 등에서는 Qwen3-Embedding-4B가 우세하다. 법률 문서 검색이나 특정 도메인에서는 instruction tuning의 장점이 있을 수 있다.

7.3 MTEB Code 상세 결과 (Appendix C)

Table 12 (원논문): MTEB(Code) 검색 태스크별 nDCG@10.

코드 검색에서는 Qwen3-Embedding-4B가 전반적으로 강세를 보이는데, CodeFeedbackMT(93.21 vs 86.17), CodeSearchNetCC(95.59 vs 92.27) 등에서 차이가 두드러진다. 코드 도메인에서의 instruction tuning이 효과적인 것으로 보인다. 다만 CodeEditSearch(81.26 vs 76.49)와 CosQA(42.34 vs 37.98)에서는 pplx-embed이 앞서거나 근접하며, 0.6B 모델에서는 CodeTransOceanDL에서 pplx-embed-v1-0.6B(35.16)가 Qwen3(31.36)을 넘기는 등 일부 태스크에서 역전이 일어난다.

7.4 ConTEB 평가 세부사항 (Appendix D)

ConTEB 평가에는 두 가지 컨텍스트 임베딩 전략을 사용한다. 일반 길이의 문서에는 ContextualEmbedder를 사용하고, 특히 긴 문서(ESG Reports처럼 30,000 토큰 이상)에는 FixedContextualEmbedder를 사용하여 10,000 토큰 크기의 겹치는 세그먼트로 분할한다.

7.5 BERGEN 평가 세부사항 (Appendix E)

BERGEN 평가에서는 sentence-transformers의 공식 구현을 사용하여 pplx-embed-v1, Qwen3-Embedding, BGE-M3를 공정하게 비교한다. Qwen3-Embedding에는 prompt_name="query" 설정을 적용한다. 검색 시 top-100 패시지를 가져와 top-5만 생성기에 제공하며, Qwen2.5-32B-Instruct가 생성기 역할을 한다.

7.6 MTEB 평가 관련 특이사항 (Appendix C)

pplx-embed-v1은 대부분의 태스크에서 시퀀스 길이 1024를 사용하지만, LEMBPasskeyRetrieval에서는 16,384를 사용한다. SyntheticText2SQL 태스크에는 코퍼스에 중복 문서가 있어서 임베딩에 소량의 랜덤 노이즈를 주입한다. ArguAna 태스크만 유일하게 프롬프트를 사용하는데, 반박 문서를 찾아야 하는 특수한 구조 때문에 "Given a claim, find documents that refute the claim. Claim: "을 쿼리 앞에 붙인다.

---

8. 강점과 한계

강점

• 양방향 어텐션의 실용적 활용: 디퓨전 사전학습으로 디코더 전용 LLM을 양방향 인코더로 전환하는 접근이 명쾌하다. 기존 LLM의 사전학습 지식을 보존하면서 양방향 어텐션의 이점을 누릴 수 있는, 두 마리 토끼를 잡는 전략이다.
• 네이티브 양자화 학습: 학습 시점부터 INT8 양자화를 적용하여, 추론 시 양자화 성능 손실을 최소화한다. Table 1의 Docs/MB 수치가 보여주듯, 동등한 성능에서 Qwen3 대비 4배의 저장 효율을 제공한다. 실제 프로덕션 환경에서 비용 절감 효과가 크다.
• 통합된 dense + contextual 파이프라인: 하나의 학습 파이프라인에서 dense 검색(pplx-embed-v1)과 contextual 검색(pplx-embed-context-v1)을 모두 산출한다. 모델 병합(SLERP)이라는 간결한 방법으로 두 모델의 강점을 결합한다.
• 웹 스케일 내부 벤치마크: 10억 개 웹 페이지에서 구축한 자체 벤치마크(PPLXQ2Q, PPLXQ2D)로 실제 배포 환경에서의 성능을 검증했다. 공개 벤치마크만으로는 포착하기 어려운 웹 스케일의 도전 과제들에 대한 평가를 제공한다.
• instruction tuning 불필요: 별도의 instruction prefix 없이 작동하므로, 사용자 편의성이 높고 잘못된 프롬프트 설정으로 인한 성능 저하 위험이 없다.

한계 및 아쉬운 점

• MTEB Multilingual과 MIRACL에서 최상위는 아님: gemini-embedding-001(MIRACL 70.4%)과 Qwen3-Embedding-4B(MTEB 69.60%)에 비해 약간 뒤처지거나 동등한 수준이다. 양방향 어텐션의 이론적 우위가 모든 벤치마크에서 일관된 1위로 이어지지는 않는다.
• 코드 검색에서의 열세: MTEB Code에서 Qwen3-Embedding-4B(80.07)에 pplx-embed-v1-4B(78.73)가 약간 뒤처진다. 코드 도메인에 특화된 데이터나 instruction이 추가되면 개선 여지가 있을 것이다.
• 생성 능력 포기: 디퓨전 사전학습으로 양방향 어텐션을 얻는 대가로, 모델의 텍스트 생성 능력을 완전히 포기했다. GritLM처럼 생성과 임베딩을 동시에 지원하는 방향과는 다른 선택이다.
• ablation의 깊이 부족: 디퓨전 vs 오토리그레시브 비교(Table 9)가 pair training 1 에포크 미만으로만 수행되어, 전체 학습 파이프라인을 거친 후의 차이를 보여주지 않는다. 각 학습 단계(contextual, triplet)의 개별 기여도에 대한 ablation도 없다.
• 내부 벤치마크의 재현성: PPLXQ2Q와 PPLXQ2D는 Perplexity AI의 프로덕션 검색 로그에서 구축되어, 외부 연구자가 재현하거나 독립적으로 검증하기 어렵다.
• Contextual 모델의 Covid-QA 역전: Table 3에서 pplx-embed-context-v1-4B의 Covid-QA 점수(62.16)가 비컨텍스트 버전(63.81)보다 낮다. 컨텍스트 정보가 오히려 방해가 되는 케이스에 대한 분석이 없다.

---

9. 마치며

pplx-embed은 "디코더 전용 LLM의 지식 + 양방향 어텐션의 구조적 장점"이라는 조합을 디퓨전 사전학습이라는 다리로 실현한 모델이다. 이 접근이 가져오는 실질적 이점은 세 가지로 요약할 수 있다.

첫째, mean pooling과의 자연스러운 결합이다. 양방향 어텐션 덕분에 모든 토큰 표현이 전체 문맥을 품고 있어, mean pooling이 정보 손실 없이 작동한다. 이는 late chunking 기반의 contextual embedding에서 결정적인 이점으로 작용하여, ConTEB에서 SOTA를 달성하는 기반이 됐다.

둘째, 네이티브 INT8 양자화 학습으로 성능과 효율을 동시에 잡았다. 동일한 저장 공간에 Qwen3 대비 4배 더 많은 임베딩을 저장할 수 있으면서 성능은 동등하다는 것은, 웹 스케일 검색 시스템에서 비용 효율 측면의 큰 차별화 요소다.

셋째, 10억 개 웹 페이지 기반의 내부 벤치마크에서 일관된 우위를 보이며 실제 프로덕션 환경에서의 효과를 검증했다. 공개 벤치마크에서의 경쟁력과 내부 벤치마크에서의 우위를 동시에 보여주는 것은, 학술적 성과와 실용적 가치를 모두 갖춘 연구라는 뜻이다.

디퓨전 언어 모델이 텍스트 생성 분야에서는 아직 오토리그레시브 모델에 미치지 못하지만, 임베딩이라는 특정 과제에서는 구조적 이점이 분명하다. 이 논문이 보여주는 것은, 모든 것을 하나의 모델로 해결하려는 만능 접근보다는, 과제의 특성에 맞는 아키텍처를 선택하는 것이 여전히 유효한 전략이라는 점이다.

---

References

• Austin et al. (2021). Structured denoising diffusion models in discrete state-spaces. NeurIPS.
• Gong et al. (2025). Scaling diffusion language models via adaptation from autoregressive models. ICLR.
• Zhang et al. (2025a). Diffusion vs. autoregressive language models: A text embedding perspective. EMNLP.
• Zhang et al. (2025b). Qwen3 Embedding: Advancing text embedding and reranking through foundation models.
• Conti et al. (2025). Context is gold to find the gold passage: Evaluating and training contextual document embeddings.
• Günther et al. (2024). Late chunking: Contextual chunk embeddings using long-context embedding models.
• Chen et al. (2024). M3-embedding: Multi-linguality, multi-functionality, multi-granularity text embeddings through self-knowledge distillation. ACL.
• Lee et al. (2025a). NV-Embed: Improved techniques for training LLMs as generalist embedding models. ICLR.
• Rau et al. (2024). BERGEN: A benchmarking library for retrieval-augmented generation. EMNLP.
• Nie et al. (2025b). Large language diffusion models. NeurIPS.