논문 리뷰: Diffusion vs. Autoregressive Language Models: A Text Embedding Perspective

Diffusion vs. Autoregressive Language Models: A Text Embedding Perspective 리뷰

디퓨전 언어 모델이 텍스트 임베딩에서 LLM보다 나은 이유를 실증적으로 밝힌 최초의 체계적 연구

논문 정보

---

1. 들어가며

LLM 기반 임베딩 모델이 BERT나 T5를 넘어선 지도 꽤 됐다. E5-Mistral, NV-Embed 같은 모델들이 대규모 사전학습의 힘을 빌려 범용 텍스트 임베딩 태스크에서 좋은 성능을 보여주고 있는데, 여기에는 근본적인 구조적 모순이 하나 있다. LLM은 오토리그레시브(autoregressive) 사전학습 과정에서 단방향 어텐션(causal attention)만 사용한다는 것이다. 다음 토큰을 예측하려면 이전 토큰만 봐야 하니까 당연한 설계인데, 문제는 텍스트 임베딩이라는 태스크 자체가 양방향 문맥 이해를 요구한다는 점이다.

이 미스매치를 해결하려는 시도들이 있었다. Echo Embeddings는 입력을 두 번 반복해서 두 번째 복사본에서 임베딩을 추출하는 방식인데, 긴 텍스트에서 추론 비용이 두 배가 된다. LLM2Vec은 양방향 어텐션을 활성화하고 추가 학습을 하는 접근인데, 스케일이 커지면 효과가 제한적이다. 결국 이런 방법들은 단방향으로 학습된 모델을 "사후 교정"하는 것에 불과하다.

이 논문은 발상을 전환한다. 애초에 양방향 어텐션으로 사전학습된 모델을 쓰면 되지 않겠느냐는 거다. 바로 디퓨전 언어 모델(Diffusion Language Model)이다. 마스킹된 토큰을 동시에 복원하는 학습 방식 자체가 양방향 문맥을 자연스럽게 활용하도록 설계되어 있어서, LLM 임베딩이 가진 구조적 한계를 원천적으로 피할 수 있다.

---

2. 기존 연구의 한계

2.1 양방향 인코더 모델 (BERT, T5)

BERT나 T5 같은 양방향 인코더는 텍스트 임베딩 태스크의 자연스러운 선택지였다. Masked Language Modeling이나 Sequence-to-Sequence 학습을 통해 양방향 문맥을 이해하고, 이를 기반으로 SimCSE, E5, ModernBERT 등의 임베딩 모델들이 등장했다. 하지만 이 모델들은 사전학습 규모에서 LLM에 비해 크게 뒤처진다. 학습 데이터 규모, 모델 파라미터 수 모두 LLM 대비 한두 자릿수 차이가 나면서, 복잡한 추론이나 긴 문서 이해 능력에서 한계를 보인다.

2.2 LLM 기반 임베딩 모델

Repllama, E5-Mistral, NV-Embed 같은 모델들은 대규모 사전학습의 장점을 임베딩 태스크로 가져오려 했다. 그런데 핵심적인 문제가 있다. 오토리그레시브 학습은 $i$번째 토큰을 예측할 때 $1$부터 $i-1$까지의 토큰만 참조한다. 이 단방향 어텐션 패턴이 사전학습 내내 고착화되면서, 나중에 양방향 어텐션을 켜더라도 "오른쪽 문맥을 보는 법"을 제대로 학습하지 못한 상태로 미세조정이 진행되는 셈이다.

LLM2Vec(BehnamGhader et al., 2024)은 이 문제를 두 단계로 해결하려 했다. 첫째, Masked Next Token Prediction(MNTP)으로 양방향 어텐션을 활성화하고 추가 사전학습을 한다. 둘째, SimCSE 같은 비지도 대조 학습으로 임베딩 품질을 끌어올린다. 어느 정도 효과는 있지만, 이 논문의 실험이 보여주듯이 추론 집약적(reasoning-intensive) 태스크에서는 LLM2Vec 적용 후 오히려 성능이 떨어지는 경우도 있다. 사후 교정의 한계인 것이다.

2.3 디퓨전 언어 모델의 부상

디퓨전 언어 모델은 크게 두 갈래다. 하나는 연속적 잠재 공간(continuous latent space)에서 노이즈를 제거하는 방식(Diffusion-LM, PLANNER 등)이고, 다른 하나는 이산 토큰 공간에서 마스킹/언마스킹하는 마스크 디퓨전(masked diffusion) 방식이다. 후자가 최근 더 주목받고 있는데, MDLM, SEDD 같은 모델들이 등장했고, 특히 DREAM(Ye et al., 2025)이 10억 파라미터 이상 규모로 스케일업에 성공하면서 수학, 코드 추론 태스크에서 LLM에 필적하는 성능을 보여줬다. 이 논문은 바로 DREAM을 백본으로 사용한다.

---

3. 핵심 아이디어

이 논문의 핵심 통찰은 단순하면서도 설득력 있다. 텍스트 임베딩은 본질적으로 양방향 태스크인데, 왜 굳이 단방향으로 학습된 모델을 고쳐 쓰려고 하는가? 처음부터 양방향으로 학습된 디퓨전 언어 모델을 쓰면 별도의 적응 단계 없이도 더 나은 임베딩을 얻을 수 있지 않겠느냐는 것이다.

오토리그레시브 LLM의 어텐션은 삼각 행렬(lower-triangular matrix)이라서 각 토큰이 자기 이전의 토큰만 참조한다. 반면 디퓨전 LM은 마스킹된 토큰을 복원하기 위해 마스킹되지 않은 모든 토큰을 참조한다. 이 차이가 사전학습 단계에서부터 양방향 문맥 이해 능력을 내재화시키고, 특히 긴 문서나 논리적 추론이 필요한 복잡한 텍스트에서 결정적인 차이를 만든다.

---

4. 제안 방법 (DIFFEMBED)

4.1 전체 구조

DIFFEMBED의 구조는 의외로 단순하다. 디퓨전 언어 모델 백본에서 최종 레이어의 토큰 표현(token representation)을 추출하고, 이를 평균 풀링(mean pooling)으로 집계해서 고정 크기의 텍스트 임베딩을 얻는다. 그런 다음 대조 학습(contrastive learning)으로 미세조정하면 끝이다.

Figure 1: (a) 오토리그레시브 LM의 단방향 어텐션. (b) 디퓨전 LM (DREAM)의 양방향 어텐션. (c) LLM2Vec 적용 Llama3 (파란색)과 DREAM 기반 DIFFEMBED (보라색)의 검색 성능 비교. (원논문)

Figure 1이 이 논문의 전체 스토리를 한 장에 압축한다. (a)에서 오토리그레시브 모델은 "An → AR → language → model"로 이어지는 단방향 화살표만 존재한다. 반면 (b)의 디퓨전 모델은 마스크 토큰과 비마스크 토큰 사이에 양방향 연결이 빽빽하다. (c)의 바 차트에서는 Long Document(42→62), Reasoning Intensive(25→33), Instruction Following(19→21)로 세 가지 태스크 모두에서 DIFFEMBED가 앞선다. 특히 긴 문서 검색에서 20%포인트 차이가 나는 건 상당히 인상적이다.

Figure 2: DIFFEMBED 개요. 디퓨전 LM 백본의 최종 레이어 토큰 표현을 평균 풀링하여 텍스트 임베딩을 얻는다. (원논문)

Figure 2는 아키텍처를 보여준다. 입력 단어 $w_1, w_2, w_3, w_4$가 디퓨전 LM 레이어를 통과하면서 양방향 어텐션으로 문맥화된 표현을 생성하고, 이를 평균 풀링해서 쿼리 임베딩 $\vec{e_q}$, 긍정 문서 임베딩 $\vec{e_{p^+}}$, 부정 문서 임베딩 $\vec{e_{p^-}}$를 각각 만든다.

4.2 대조 학습 목표

임베딩 모델의 학습에는 표준적인 InfoNCE 손실을 사용한다. 쿼리 $q$, 긍정 텍스트 $p^+$, 부정 텍스트 $p^-_1, \ldots, p^-_m$이 주어졌을 때:

$\mathcal{L}(q,p^{+},p_{1}^{-},\dots,p_{m}^{-})=\frac{e^{f(q,p^{+})}}{e^{f(q,p^{+})}+\sum_{j=1}^{m}e^{f(q,p^{-}_{j})}}$

$f(q, p)$는 유사도 함수(예: 내적)다. 쿼리와 긍정 텍스트의 유사도를 높이고, 부정 텍스트와의 유사도를 낮추는 방향으로 학습한다.

4.3 디퓨전 언어 모델의 사전학습 목표

디퓨전 LM의 사전학습은 마스크 디퓨전 방식을 따른다. 순방향 과정(forward process)에서 각 토큰을 확률 $t$ ($t \sim \text{Uniform}[0, 1]$)로 독립적으로 마스킹하고, 역방향 과정(reverse process)에서 마스킹된 토큰을 동시에 예측한다:

$\mathcal{L}(\theta) \triangleq -\mathbb{E}_{t, x_0, x_t}\left[\frac{1}{t}\sum_{i=1}^{L}\mathbf{1}[x_t^i = \mathbf{M}]\log p_\theta(x_0^i \mid x_t)\right]$

여기서 $x_0$는 원본 데이터, $x_t$는 마스킹된 시퀀스, $\mathbf{M}$은 마스크 토큰이다. 지시 함수 $\mathbf{1}[\cdot]$이 마스킹된 위치에서만 손실을 계산하도록 보장한다. 이 학습 과정에서 모델은 마스킹되지 않은 모든 주변 토큰(좌우 모두)을 활용해 마스킹된 토큰을 복원해야 하므로, 자연스럽게 양방향 문맥 이해 능력을 키우게 된다.

4.4 LLM 임베딩과의 근본적 차이

LLM 임베딩을 양방향으로 적응시키려면 여러 단계가 필요하다. LLM2Vec의 경우 (1) 양방향 어텐션 마스크 활성화 (2) MNTP로 추가 사전학습 (3) 비지도 대조 학습까지 세 단계를 거쳐야 한다. 반면 DIFFEMBED는 디퓨전 LM 백본을 그대로 가져와서 대조 학습만 하면 된다. 중간 적응 단계가 아예 필요 없는 것이다.

이는 단순한 편의성의 문제가 아니다. 단방향으로 수조 토큰을 학습한 모델에 양방향 어텐션을 나중에 "켜는" 것과, 처음부터 양방향으로 학습한 모델은 표현의 질이 다를 수밖에 없다. 이 논문의 실험이 바로 이 차이를 정량적으로 보여준다.

---

5. 평가 벤치마크와 REASONAUG

5.1 평가 벤치마크

저자들은 네 가지 차원에서 임베딩 모델을 평가한다.

1. LONGEMBED (긴 문서 검색): Passkey Retrieval, Needle-in-a-Haystack 같은 합성 태스크와 NarrativeQA, QMSum, SummScreenFD, 2WikiMultihopQA 같은 실제 태스크로 구성. 긴 문서에서 관련 정보를 찾는 능력을 측정.
2. BRIGHT (추론 집약적 검색): TheoremQA 정리 검색(TheoT.), TheoremQA 문제 검색(TheoQ.), AoPS, LeetCode. 수학 정리나 알고리즘을 이해하고 관련 문서를 검색하는 능력이 필요.
3. FOLLOWIR (지시 추종 검색): Robust04, News21, Core17. 사용자의 구체적 지시에 따라 검색 결과를 조정하는 능력을 평가.
4. MTEB (범용 텍스트 임베딩): 15개 다양한 태스크. 분류, 클러스터링, STS, 재순위 등.

5.2 REASONAUG 데이터셋

추론 집약적 검색 벤치마크(BRIGHT)에 맞는 학습 데이터가 부족하다는 문제를 해결하기 위해, 저자들은 REASONAUG라는 새로운 데이터셋을 만들었다. LLM만으로 구축한 10,896개의 트리플렛(쿼리, 긍정 문서, 부정 문서)으로 구성된다.

Figure 3: 왼쪽: REASONAUG 데이터 증강 파이프라인. 오른쪽: 시드 개념(피타고라스 정리)에서 정의와 문제-풀이 쌍이 생성되는 정성적 예시. 같은 개념에서 생성된 문제 쌍은 question-to-question 검색 샘플로, 문제와 개념 정의 쌍은 question-to-concept 검색 샘플로 사용된다. (원논문)

REASONAUG 구축은 세 단계로 이루어진다.

1단계 — 개념, 문제, 풀이 생성: 시드 개념(수학 정리 90개, 알고리즘 60개, 물리 정리 80개, 금융 공식 30개 등 총 260개)에서 출발한다. 각 개념에 대해 GPT-4o-mini가 1개의 정의와 8개의 문제-풀이 쌍을 생성한다. DeepSeek-V3 대신 GPT-4o-mini를 선택한 이유는 생성의 다양성이 더 높았기 때문이라고 한다.

2단계 — 품질 검증: LLM 기반으로 관련성(generated question이 시드 개념을 실제로 활용하는지)과 정확성(풀이가 맞는지)을 검증한다.

3단계 — 하드 네거티브 생성: BM25로 어휘적으로 유사하지만 의미적으로 다른 문서를 마이닝하고, LLM으로 추가 하드 네거티브를 생성한다.

5.3 학습 데이터 요약

Table 1 (원논문): 임베딩 모델 학습에 사용된 데이터셋 통계. GPT-2 토크나이저 기준 길이.

REASONAUG의 쿼리와 문서 평균 길이가 각각 230, 508 토큰으로, Public E5(39, 366)에 비해 상당히 긴 편이다. 수학/물리 문제와 풀이가 포함되기 때문인데, 이런 긴 문맥을 다루는 능력이 바로 DIFFEMBED가 강점을 보이는 영역이다.

---

6. 실험 결과

6.1 실험 설정

모델 구성:

• DIFFEMBED: DREAM-v0-Instruct-7B (Ye et al., 2025)를 백본으로 사용. Qwen2.5-7B에서 초기화되어 580억 토큰(텍스트, 코드, 수학)으로 사전학습된 모델.
• LLM 베이스라인: Llama-3-8B-Instruct, Mistral-7B-Instruct-v0.2, Qwen2.5-7B-Instruct. 각각에 LLM2Vec(MNTP) 적용 버전도 비교.
• 참조 베이스라인: E5-Mistral (200만 샘플 학습), ReasonIR, Promptriever.

학습 설정: 모든 모델에 동일하게 양방향 어텐션 마스크, 평균 풀링, 대조 학습 적용. 4× A6000 GPU, LoRA 사용. MS MARCO 학습 시 LoRA rank 32, max 304/196 토큰. Public E5/REASONAUG 학습 시 LoRA rank 16, max 4096 토큰.

6.2 긴 문서 검색 (LONGEMBED)

Table 2 (원논문): LONGEMBED 긴 문서 검색 결과. E5 데이터로 학습. Pk=Passkey Retrieval, Nd=Needle-in-a-Haystack. NQA=NarrativeQA, QMS=QMSum, SFD=SummScreenFD, WQA=WikiQA.

DIFFEMBED의 평균 62.2는 가장 강한 LLM 베이스라인인 Mistral+LLM2Vec(58.6)를 3.6포인트 앞선다. 동일한 16k 샘플만으로 학습했음에도 200만 샘플로 학습한 E5-Mistral(59.4)보다도 높다.

합성 태스크에서 차이가 두드러진다. Passkey Retrieval(≤4k)에서 DIFFEMBED는 100% 정확도를 달성했고, Needle-in-a-Haystack(≤4k)에서도 86.8%로 다음 순위(Qwen2.5+LLM2Vec 72.4%)를 크게 앞선다. 긴 문서에서 특정 정보를 정확히 찾아내는 능력에서 양방향 어텐션의 이점이 극명하게 드러나는 것이다.

반면 4k 토큰을 초과하는 길이(Pk>4k, Nd>4k)에서는 모든 모델이 급격히 떨어지는데, 이는 학습 시 최대 길이 제한(4096 토큰) 때문이다. DIFFEMBED도 예외는 아니라서, 이 구간에서는 Mistral+LLM2Vec와 비슷한 수준이다.

LLM2Vec의 효과도 눈여겨볼 만하다. 평균적으로 6.2%포인트 개선을 가져오지만, 모델마다 편차가 크다. Llama3에서는 32.3→42.0으로 큰 향상이 있는 반면, Qwen2.5에서는 52.8→55.9로 제한적이다.

6.3 추론 집약적 검색 (BRIGHT)

Table 3 (원논문): BRIGHT 추론 집약적 검색 결과. REASONAUG로 학습. nDCG@10 보고.

BRIGHT에서 DIFFEMBED의 강점이 가장 잘 드러난다. 평균 33.2로 최강 LLM 베이스라인인 Qwen2.5(30.6)를 2.6포인트 상회한다. TheoQ.에서의 격차가 특히 크다 — 48.3 대 40.2로 8.1포인트 차이다. TheoT.에서도 38.9 대 34.7로 4.2포인트 앞선다.

한 가지 흥미로운 패턴이 있다. LLM2Vec을 적용하면 BRIGHT에서 오히려 성능이 떨어지는 경우가 많다. Qwen2.5는 30.6→27.7, Mistral은 24.1→23.3이다. 추론 집약적 태스크에서는 MNTP 기반 양방향 적응이 오히려 모델의 추론 능력을 훼손하는 것으로 보인다. 반면 DIFFEMBED는 양방향 어텐션이 사전학습 단계부터 내재되어 있어서 이런 트레이드오프가 발생하지 않는다.

Qwen2.5가 LLM 베이스라인 중 가장 강한 것도 주목할 점이다. DREAM이 Qwen2.5에서 초기화되었으므로 기저 모델의 수학/코드 능력이 DIFFEMBED에도 전이되었을 가능성이 있다. 다만 동일한 Qwen2.5를 LLM으로 쓸 때와 디퓨전 LM으로 쓸 때의 차이(30.6 vs 33.2)가 양방향 어텐션의 기여분이라고 볼 수 있다.

AoPS(15.4 vs 15.5)와 Leet.(30.0 vs 32.0)에서는 Qwen2.5와 큰 차이가 없거나 오히려 약간 밀린다. 이에 대해서는 분석 섹션에서 벤치마크의 노이즈 문제로 설명한다.

6.4 지시 추종 검색 (FOLLOWIR)

Table 4 (원논문): FOLLOWIR 지시 추종 검색 결과. MS MARCO with Instructions로 학습. MAP@1000 또는 nDCG@5, MRR은 쌍별 평가 지표.

FOLLOWIR에서는 Mistral이 Avg Score 21.5로 가장 높고, DIFFEMBED는 20.9로 약간 뒤진다. 하지만 MRR(지시 추종 능력을 반영하는 쌍별 평가 지표)에서는 둘 다 +5.1로 동일하다.

여기서 DIFFEMBED의 장점이 덜 두드러지는 이유가 있다. FOLLOWIR의 입력은 최대 304 토큰으로 비교적 짧고, 추론 복잡도도 높지 않다. DIFFEMBED의 양방향 어텐션이 빛을 발하는 건 긴 문맥과 복잡한 추론이 필요한 상황인데, FOLLOWIR은 그런 조건을 크게 요구하지 않는 셈이다.

100만 샘플로 학습한 Promptriever(26.1, +11.2)와의 격차도 눈에 띈다. 학습 데이터 규모의 차이(16k vs 1M)가 성능에 직접적으로 반영되는 것이다.

6.5 범용 텍스트 임베딩 (MTEB)

Table 6 (원논문): MTEB 15개 태스크 평가 결과. 모든 모델 16k Public E5 데이터로 학습, 양방향 어텐션 적용.

MTEB에서 DIFFEMBED(Dream)는 65.01로 Llama3(66.39), Mistral(65.52)에 약간 뒤진다. 태스크별로 보면 ArguAna, Banking77, Emotion, Sprint 등에서는 DIFFEMBED가 가장 높지만, SICK-R, SciDocsRR, StackOverflow 등에서는 Llama3에 밀린다.

솔직히 이 결과는 예상 가능하다. MTEB의 대부분은 짧은 문장/문서를 다루고, 복잡한 추론보다는 표면적 의미 유사성에 의존하는 태스크들이다. 양방향 어텐션의 이점이 가장 적은 영역인 것이다. 그래도 65.01이면 "경쟁적(competitive)"이라는 저자들의 표현이 맞다. 크게 뒤처지지 않으면서 특화 영역에서는 확실한 우위를 보이니까.

6.6 Ablation Study: 양방향 vs 단방향 어텐션

Table 5 (원논문): 추론 시 양방향 vs 단방향 어텐션 사용 시 BRIGHT 성능 비교. 두 모델 모두 양방향 어텐션과 REASONAUG로 학습.

이 ablation이 논문의 핵심 주장을 가장 직접적으로 뒷받침한다. 양방향 어텐션을 끄면(단방향으로 전환하면) DIFFEMBED의 성능 하락이 Mistral보다 훨씬 크다. TheoQ.에서 DIFFEMBED는 -47.6포인트, Mistral은 -24.1포인트 떨어진다. TheoT.도 -37.8 vs -28.4로 차이가 크다.

이게 의미하는 건 명확하다. DIFFEMBED는 양방향 문맥에 더 깊이 의존한다는 것이다. 양방향으로 사전학습된 모델이 양방향 어텐션을 실제로 적극 활용한다는 증거다. 반면 LLM은 양방향 어텐션을 켜도 사전학습 시 배운 단방향 패턴에서 완전히 벗어나지 못한다.

Leet. 결과가 예외적인데, Mistral에서는 오히려 단방향이 +14.2 포인트 높다. 코드 관련 검색에서는 단방향 패턴(순차적 알고리즘 이해)이 효과적일 수 있다는 해석이 가능하지만, 뒤에서 다루듯이 Leet. 벤치마크 자체의 노이즈 문제도 있다.

---

7. 분석 (Analysis)

7.1 Q1: 왜 범용 임베딩 모델은 추론 집약적 검색에서 약한가?

Figure 5(a): REASONAUG 미세조정 없는 E5-Mistral의 문서 임베딩 t-SNE 시각화. 개념별로 색 구분되어 있으나 클러스터 경계가 모호하다. (원논문)

Figure 5(b): REASONAUG로 미세조정된 DIFFEMBED의 문서 임베딩 t-SNE 시각화. 같은 개념의 문서들이 뚜렷한 클러스터를 형성한다. (원논문)

Figure 6: Figure 5의 개념별 색상 매핑. 수학 정리(Vieta's Formulas, Pigeonhole Principle, Euler's Identity, Central Limit Theorem)와 알고리즘(Two Pointers, N-Queens Problem, Sweep Line Algorithm, Kahn's Algorithm). (원논문)

Figure 5의 두 t-SNE 시각화가 문제의 본질을 잘 보여준다. E5-Mistral(Figure 5a)은 2백만 샘플로 학습했음에도 수학 정리와 알고리즘 개념별 클러스터 경계가 모호하다. Vieta's Formulas(빨간색)와 Pigeonhole Principle(주황색) 임베딩이 서로 섞여 있다. 반면 REASONAUG로 미세조정된 DIFFEMBED(Figure 5b)는 같은 개념의 문서들이 뚜렷한 군집을 이루고, 서로 다른 개념 간 거리가 확실히 벌어져 있다.

범용 임베딩 모델이 추론 집약적 검색에서 약한 근본적 이유는, 이 모델들이 정리(theorem)나 알고리즘을 "클러스터링 신호"로 인식하도록 학습된 적이 없기 때문이다. E5-Mistral은 "smallest", "count" 같은 표면적 어휘 단서나 "what is the count" vs "how many" 같은 얕은 의미 패턴에 의존하는데, 수학 문제의 본질적 구조(어떤 정리를 사용해야 하는지)를 포착하지 못하는 것이다.

7.2 Q2: 양방향 어텐션의 중요성은 모델과 태스크에 따라 어떻게 다른가?

Table 5의 ablation 결과(위에서 상세히 다룸)가 이 질문에 답한다. DIFFEMBED는 양방향 어텐션 제거 시 TheoQ.에서 -47.6, TheoT.에서 -37.8로 거의 무용지물이 되는 반면, Mistral은 -24.1, -28.4로 상대적으로 덜 떨어진다. 이는 디퓨전 LM이 양방향 문맥을 더 적극적으로 활용하도록 사전학습되었음을 시사한다. 논리적 추론이 필요한 태스크에서 이 차이가 극대화된다.

7.3 Q3: Leet.과 AoPS에서 개선이 덜한 이유는?

Table 9 (원논문): BRIGHT 골드 어노테이션에 대한 사람의 재평가. 각 서브셋의 첫 10개 테스트 예제에서 골드 문서가 실제로 관련성이 있는지 검증.

이 결과가 상당히 충격적이다. AoPS의 골드 어노테이션 57%가 오류이고, Leet.도 44%가 오류다. 반면 TheoQ.는 22%로 상대적으로 깨끗하다. BRIGHT 벤치마크의 AoPS, Leet. 서브셋은 관련 문서가 너무 많은데 일부만 골드로 표시되어 있거나, 관련성 기준이 일관적이지 않은 문제가 있다.

예를 들어 AoPS에서는 하나의 쿼리에 실제로 관련 있는 문서가 10개 이상인데 2~3개만 골드로 표시된 경우가 있고, Leet.에서는 "Trapping Rain Water I"과 "II"가 완전히 다른 알고리즘을 사용하는데도 관련 문서로 표시된 경우가 있다. 이런 노이즈가 nDCG@10 점수를 왜곡하기 때문에, AoPS와 Leet.에서의 성능 차이를 액면 그대로 해석하기 어렵다는 것이 저자들의 주장이다.

7.4 Q4: 학습 데이터가 늘어나면 성능 격차가 줄어드는가?

Figure 4: REASONAUG 학습 데이터 규모(2k~10k)에 따른 Dream과 Qwen2.5의 TheoQ. 검색 성능. (원논문)

Figure 4는 REASONAUG 학습 데이터를 2k에서 10k까지 늘려가며 TheoQ. 성능을 비교한 것이다. 두 가지가 눈에 띈다. 첫째, 6k 부근에서 DIFFEMBED(Dream)가 확실히 앞서기 시작하고 이후 격차가 유지된다. 둘째, Qwen2.5는 데이터가 늘어도 성능 증가가 더 완만하다.

저자들은 이 결과를 "LLM 기반 모델이 효과적인 양방향 어텐션을 학습하려면 훨씬 많은 데이터가 필요하다"고 해석한다. 사전학습에서 양방향 패턴을 이미 내재화한 디퓨전 모델이 적은 데이터로도 더 빠르게 좋은 임베딩을 학습할 수 있다는 논리인데, 10k까지밖에 테스트하지 않았으므로 대규모에서의 추세는 아직 불확실하다.

---

8. 추가 실험 및 부록

8.1 비지도 대조 학습 (SimCSE)

Table 7 (원논문): BRIGHT에서 SimCSE 비지도 대조 학습 적용 결과 비교.

LLM2Vec의 두 번째 단계인 SimCSE(Wikipedia 문장 기반 비지도 대조 학습)를 적용해도 BRIGHT 성능에는 유의미한 개선이 없다. Llama3에서 LLM2Vec 대비 미미한 향상(24.6→24.9)이 있지만, Mistral에서는 오히려 하락(23.3→22.8)한다. 의미적 유사성에 초점을 맞춘 SimCSE의 학습 목표가 정리 기반 추론이라는 태스크 특성과 맞지 않기 때문이다. DIFFEMBED와의 격차(33.2)는 SimCSE를 써도 좁혀지지 않는다.

8.2 검색 문서 비교 분석

Table 8 (원논문): DIFFEMBED와 E5-Mistral의 상위 10개 검색 문서 비교 분석.

TheoQ.에서의 차이가 극적이다. DIFFEMBED는 194개 쿼리 중 124개에서 골드 문서를 하나 이상 찾은 반면, E5-Mistral은 64개에 그쳤다. DIFFEMBED만 골드를 찾은 경우가 67개, E5-Mistral만 찾은 경우가 7개인 것을 보면, DIFFEMBED가 추론 기반 검색에서 질적으로 다른 수준의 이해를 하고 있음을 알 수 있다.

Leet.에서는 두 모델이 비슷한 수준(74 vs 73)이다. DIFFEMBED만 골드를 찾은 경우(19)와 E5-Mistral만 찾은 경우(18)도 거의 대칭적이다. 이는 코드 관련 검색에서는 양방향 어텐션의 이점이 수학 정리 검색만큼 극적이지 않다는 것을 시사한다.

8.3 Case Study

논문의 부록 F에서 세 가지 사례를 상세히 분석한다.

사례 1 (TheoQ., Table 10): "피타고라스 정리" 관련 쿼리에서 DIFFEMBED는 같은 정리를 활용하는 문제를 정확히 검색한 반면, E5-Mistral은 "최소공배수(LCM)" 관련 문제를 검색했다. E5-Mistral이 숫자("10", "smallest" 등)나 표면적 키워드에 의존하는 반면, DIFFEMBED는 문제의 수학적 구조를 파악한다.

사례 2 (Leet., Table 11): "Skyline Problem" 쿼리에서 DIFFEMBED는 "Sweep Line Algorithm" 코드를 검색하고, E5-Mistral은 "Merge Sort" 코드를 검색했다. DIFFEMBED가 알고리즘적 구조를 더 잘 파악하는 사례다.

사례 3 (Leet., Table 12): 반대 사례도 있다. "Integer to Roman" 관련 쿼리에서 E5-Mistral이 올바른 골드 문서를 검색한 반면, DIFFEMBED는 질문은 관련성이 있지만 풀이 코드가 무관한 노이즈 문서를 검색했다. 벤치마크의 문서 자체가 질문과 풀이가 불일치하는 경우가 있어서 발생한 오류다.

8.4 데이터 누출 분석

부록 B에서 REASONAUG와 BRIGHT 간의 데이터 누출을 검증했다. 퍼지 문자열 매칭(fuzzy string matching) 결과, 최대 유사도 비율이 0.5로 누출 임계값 0.8에 한참 미치지 못해 의미 있는 중복이 없음을 확인했다.

8.5 REASONAUG 시드 개념 목록

부록 A에 전체 시드 개념 목록이 공개되어 있다:

• 알고리즘 60개: Dijkstra, DFS, BFS, Quick Sort 등
• 수학 정리 90개: Pigeonhole Principle, Fermat's Little Theorem, Cauchy-Schwarz 등
• 물리 정리 80개: Ohm's Law, Maxwell's Equations, Lorentz Force 등
• 금융 공식 30개: NPV, CAPM, Black-Scholes, Sharpe Ratio 등

8.6 BRIGHT 노이즈 상세 분석

부록 G에서 BRIGHT 각 서브셋의 노이즈를 구체적으로 분석한다.

• TheoQ. (G.1): 상대적으로 깨끗한 어노테이션. 22% 오류율.
• AoPS (G.2): 하나의 쿼리에 실제 관련 문서가 10개 이상인 경우가 있는데 2~3개만 골드로 표시. nDCG@10이 실제 성능을 과소평가.
• Leet. (G.3): "Trapping Rain Water I"과 "II"처럼 이름은 비슷하지만 완전히 다른 알고리즘을 쓰는 문제가 관련 문서로 표시된 경우 존재. 문서 내 문제-풀이 불일치도 발견.

---

9. 강점과 한계

강점

• 명확한 연구 질문과 설득력 있는 답변: "양방향 사전학습이 텍스트 임베딩에 유리한가?"라는 질문을 체계적 실험으로 증명한다. Table 2의 LONGEMBED 결과(62.2 vs 58.6)와 Table 5의 ablation(-47.6 vs -24.1)이 핵심 주장을 강하게 뒷받침한다.

• REASONAUG 데이터셋 기여: 추론 집약적 검색을 위한 학습 데이터가 부족한 상황에서, LLM만으로 10,896개 고품질 트리플렛을 구축하는 실용적 파이프라인을 제시했다. 데이터 누출 검증까지 수행한 점도 좋다.

• 벤치마크 노이즈 분석: BRIGHT의 AoPS(57%), Leet.(44%) 어노테이션 오류율을 직접 검증한 것은 후속 연구에 귀중한 정보다. 벤치마크를 맹신하지 않고 한계를 지적한 점이 인상적이다.

• 공정한 비교 설계: 모든 모델에 동일한 학습 설정(양방향 어텐션, 평균 풀링, 대조 학습, LoRA)을 적용해서 비교의 공정성을 확보했다.

한계 및 아쉬운 점

• DREAM과 Qwen2.5의 관계: DREAM이 Qwen2.5에서 초기화되었으므로, 성능 향상이 순수하게 양방향 어텐션 때문인지, 아니면 580억 토큰 추가 학습(텍스트, 코드, 수학)의 기여도 있는지 분리하기 어렵다. Qwen2.5 자체가 LLM 베이스라인 중 최강인 점이 이 우려를 키운다.

• 단일 디퓨전 모델만 평가: DREAM만 사용했고, LLaDA 같은 다른 디퓨전 LM은 테스트하지 않았다. 저자들도 LLaDA는 DREAM보다 성능이 낮을 것으로 예상한다고 밝혔는데, 이는 결론의 일반화 가능성을 제한한다.

• 학습 규모의 제한: 최대 16k 샘플로만 학습했다. E5-Mistral(2M 샘플)과의 공정한 비교를 위해 소규모 설정을 선택한 건 이해하지만, 대규모 학습에서도 디퓨전 모델의 우위가 유지되는지는 검증이 필요하다. Figure 4에서 10k까지의 추세만 보여주는 것도 아쉽다.

• 범용 태스크에서의 약세: MTEB 65.01은 "경쟁적"이라고 표현할 수 있지만, 짧은 텍스트/단순 태스크에서 LLM 임베딩에 밀리는 것은 실용적 관점에서 단점이다. 모든 상황에서 디퓨전 임베딩이 나은 것은 아닌 셈이다.

• 디퓨전 LM의 추론 비용: 생성 태스크에서 디퓨전 LM은 여러 번의 디노이징 스텝이 필요해서 오토리그레시브 LM보다 느릴 수 있다. 임베딩 추출 시에도 비용 차이가 있는지에 대한 분석이 빠져 있다.

---

10. 마치며

이 논문의 가장 큰 기여는 "디퓨전 언어 모델을 텍스트 임베딩에 쓸 수 있다"는 가능성을 처음으로 체계적으로 검증한 것이다. 특히 긴 문서 검색에서 20%, 추론 집약적 검색에서 8%의 성능 향상은 단순한 수치 이상의 의미가 있다. LLM 기반 임베딩이 가진 구조적 한계(단방향 사전학습)를 우회하는 근본적으로 다른 접근이기 때문이다.

Table 5의 ablation이 보여주듯이, 디퓨전 모델은 양방향 어텐션을 단순히 "사용 가능"한 수준이 아니라 깊이 의존하는 방식으로 활용한다. 사후 교정(LLM2Vec)이 달성하기 어려운 수준의 양방향 문맥 이해를 사전학습 단계에서 이미 확보하고 있는 것이다.

다만 현실적으로는 몇 가지 조건이 붙는다. DIFFEMBED가 확실한 우위를 보이는 건 긴 문서와 복잡한 추론이 필요한 시나리오에 한정된다. 짧은 텍스트의 범용 임베딩에서는 LLM 기반 모델이 여전히 약간 앞서고, DREAM이라는 특정 모델에 대한 의존도도 높다. 앞으로 LLaDA, LLDD 같은 다른 디퓨전 LM들이 발전하고, 학습 규모도 커진다면 이 접근의 잠재력은 더 크게 발휘될 수 있을 것이다.

REASONAUG도 독립적인 기여로 가치가 있다. 추론 집약적 검색이라는 새로운 평가 축에서 학습 데이터를 LLM으로 자동 생성하는 파이프라인은, 도메인 특화 검색 데이터가 부족한 많은 상황에 응용 가능하다. BRIGHT 벤치마크의 노이즈 분석도 이 분야 연구자들에게 중요한 참고 자료가 될 것이다.

---

References

• Ye et al. (2025). DREAM: Diffusion Reasoning Models.
• BehnamGhader et al. (2024). LLM2Vec: Large Language Models Are Secretly Powerful Text Encoders.
• Springer et al. (2025). Echo Embeddings: Repetition Improves Language Model Embeddings.
• Su et al. (2025). BRIGHT: A Realistic and Challenging Benchmark for Reasoning-Intensive Retrieval.
• Weller et al. (2024). FollowIR: Evaluating and Teaching IR Models to Follow Instructions.
• Zhu et al. (2024). LongEmbed: Extending Embedding Models for Long Context Retrieval.
• Sahoo et al. (2024). Simple and Effective Masked Diffusion Language Models (MDLM).
• Lou et al. (2024). Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution (SEDD).
• Gao et al. (2021). SimCSE: Simple Contrastive Learning of Sentence Embeddings.
• Wang et al. (2024b). Improving Text Embeddings with Large Language Models (E5-Mistral).