논문 리뷰: Alleviating Performance Degradation Caused by Out-of-Distribution Issues in Embedding-Based Retrieval

Embedding-Based Retrieval에서 OOD 문제 해결하기 리뷰

쿼리와 문서 임베딩 사이의 분포 불일치(OOD)가 ANN 검색 성능을 떨어뜨린다는 사실을 정량적으로 밝히고, 학습 시점에 간단한 ℓ₂ 정규화를 추가해 이 문제를 완화하는 방법을 제안한다.

논문 정보

항목	내용
제목	Alleviating Performance Degradation Caused by Out-of-Distribution Issues in Embedding-Based Retrieval
저자	Haotong Bao, Jianjin Zhang, Qi Chen (Microsoft, China) 외 8인
학회/저널	Findings of EMNLP 2025, pages 6418–6427
논문 링크	ACL Anthology

1. 들어가며

임베딩 기반 검색(Embedding-Based Retrieval, EBR)은 현대 정보 검색 시스템의 근간이다. BERT, RoBERTa 같은 사전학습 언어 모델로 텍스트를 고차원 벡터로 변환하고, 내적(inner product)이나 유클리드 거리로 유사도를 측정하는 방식. 웹 검색, 추천, QA, 대화 시스템 등 사실상 어디에서나 쓰인다.

수십억 개 후보 중에서 빠르게 가장 가까운 벡터를 찾으려면 정확한 KNN 대신 근사 최근접 이웃(Approximate Nearest Neighbor, ANN) 알고리즘을 쓸 수밖에 없다. IVF, HNSW, DiskANN 같은 ANN 알고리즘들은 인덱스를 문서(base) 임베딩 위에 구축하고, 쿼리가 들어오면 그 인덱스를 탐색해 빠르게 후보를 반환한다. 여기서 암묵적인 가정이 하나 있다. 쿼리 임베딩과 문서 임베딩이 같은 분포를 따른다는 것.

그런데 이 가정이 실제로는 잘 맞지 않는다. 대조 학습(contrastive learning)으로 인코더를 학습하면, 양성 쌍은 가까이 끌어당기고 음성 쌍은 밀어내는 과정에서 쿼리와 문서 임베딩의 분포가 점점 벌어진다. 쿼리 임베딩이 문서 임베딩 분포 바깥으로 밀려나는 것인데, 이를 쿼리 OOD(Out-of-Distribution) 문제라 부른다. 멀티모달 세팅에서 처음 발견된 이 현상이 텍스트 전용 검색에서도 존재한다는 게 최근 밝혀졌다.

기존 대응 방법인 OOD-DiskANN이나 RoarGraph는 인덱스 구축 단계에서 쿼리 정보를 활용해 ANN의 OOD 내성을 높이는 접근이다. 효과적이긴 하지만, 근본 원인—쿼리 임베딩이 애초에 OOD가 되는 것—을 건드리지 않는다는 한계가 있다.

이 논문은 발상을 뒤집는다. 인덱스를 고치는 대신, 인코더 학습 단계에서 쿼리-문서 분포 격차를 줄이자는 것이다. Maximum Mean Discrepancy(MMD)로 분포 차이를 정량화하고, 이를 줄이는 정규화 항을 학습 목적함수에 추가하는 단순하면서도 효과적인 방법을 제안한다.

2. 기존 연구의 한계

2.1 임베딩 기반 검색(EBR)과 대조 학습

EBR의 표준 학습 방식은 바이-인코더(bi-encoder) 구조에 대조 학습을 적용하는 것이다. 쿼리 인코더 $E_q$ 와 문서 인코더 $E_y$ 가 각각 쿼리와 문서를 임베딩으로 변환하고, InfoNCE 손실로 양성 쌍의 유사도를 높이면서 음성 쌍은 낮추는 방식이다. coCondenser, RetroMAE, RocketQA, ANCE 등 대부분의 강력한 검색 모델이 이 패러다임을 따른다.

문제는 이 학습이 "판별력(discriminability)"에만 집중한다는 점이다. 양성과 음성을 잘 구분하는 임베딩을 만드는 데에는 뛰어나지만, 쿼리와 문서 임베딩이 전체적으로 같은 분포를 유지하는지에 대해서는 아무런 제약이 없다. KNN 검색이라면 상관없겠지만, ANN 검색은 분포 가정에 민감하기 때문에 실질적인 성능 저하로 이어진다.

2.2 ANN 검색과 OOD 문제

ANN 알고리즘은 "가까운 이웃의 이웃도 가까울 것"이라는 전이성(transitivity)에 크게 의존한다. IVF는 클러스터 중심을 기준으로 탐색 범위를 좁히고, HNSW나 DiskANN은 그래프 구조에서 이웃을 따라가며 최근접을 찾는다. 이 모든 방법은 쿼리가 인덱스 데이터와 비슷한 영역에 있을 때 잘 작동하도록 설계되어 있다.

쿼리가 OOD이면 어떻게 되는가? 탐색 시작점에서 목표까지의 경로가 길어지고, 접근해야 할 후보 수가 급격히 늘어난다. 동일한 recall을 달성하려면 훨씬 많은 연산이 필요해지고, 이는 곧 검색 지연(latency) 증가로 직결된다.

OOD-DiskANN (Jaiswal et al., 2022)은 이 문제를 처음 정의하고, 인덱스 구축 시 쿼리 분포를 반영하는 알고리즘 개선을 제안했다. RoarGraph (Chen et al., 2024a)는 projected bipartite graph 방식으로 OOD 쿼리에 특화된 인덱스를 설계해 NeurIPS'23 Big-ANN OOD 트랙에서 우승하기도 했다. 하지만 이런 접근들은 인덱스 쪽만 보강하는 것이기 때문에, 임베딩 자체가 OOD인 근본 원인은 그대로 남는다.

3. OOD 문제 정량화

이 논문의 기여는 해결책뿐 아니라, 문제 자체를 꼼꼼히 정량화한 데에도 있다. 세 가지 실험적 관찰이 핵심 논거를 구성한다.

3.1 MMD로 측정한 쿼리 OOD

쿼리와 문서 임베딩의 분포 차이를 측정하기 위해 저자들은 Maximum Mean Discrepancy(MMD)를 사용한다. 선형 커널을 적용한 MMD²는 다음과 같이 정의된다:

$\text{MMD}^2(\mathcal{P}_q, \mathcal{P}_y) = \left\| \mathbb{E}_{\mathcal{P}_q}[\mathbf{q}] - \mathbb{E}_{\mathcal{P}_y}[\mathbf{y}] \right\|^2$

직관적으로 이는 두 분포의 평균 임베딩 사이 거리의 제곱이다. 문서 분포를 기준으로 각 쿼리 임베딩의 single-point MMD 점수를 계산하면, 쿼리가 분포 내(ID)인지 분포 밖(OOD)인지를 판별할 수 있다.

Figure 1: MMD² between ID/OOD query and base embeddings

Figure 1: ID/OOD 쿼리와 문서 임베딩 간 MMD² 분포. (원논문)

Figure 1이 이를 명확히 보여준다. coCondenser와 RetroMAE 모두에서 ID 임베딩(문서 세트에서 샘플링)은 낮은 MMD² 점수에 집중되는 반면, OOD 임베딩(실제 쿼리)은 유의미하게 높은 값을 보인다. 두 분포가 겹치는 영역이 있긴 하지만, 중심이 뚜렷하게 떨어져 있다. 텍스트-텍스트 검색에서도 쿼리 OOD가 실재함을 보여주는 직접적인 증거다.

3.2 OOD 쿼리의 검색 비용

OOD가 ANN 검색에 미치는 영향을 보기 위해, MSMARCO 데이터셋에서 IVF와 HNSW로 ID 쿼리와 OOD 쿼리의 검색 복잡도를 비교했다.

Figure 2: Search efficiency for ID and OOD queries

Figure 2: ID 쿼리와 OOD 쿼리의 검색 효율성 비교. 'coCO'는 coCondenser, 'Retro'는 RetroMAE. (원논문)

결과가 극적이다. 동일한 recall을 달성하기 위해 OOD 쿼리가 접근해야 하는 후보 수(Search Complexity)가 ID 쿼리 대비 수배에서 수십 배까지 많다. coCondenser-IVF에서 R@100 = 80%를 달성하려면, ID 쿼리는 약 10개 후보만 확인하면 되지만 OOD 쿼리는 100개 이상을 확인해야 한다. RetroMAE에서도 동일한 패턴이 나타나며, HNSW에서는 격차가 더 크다. 문서 분포 위에 구축된 인덱스가 OOD 쿼리에는 근본적으로 비효율적이라는 방증이다.

3.3 대조 학습이 분포 격차를 키운다

저자들은 한 걸음 더 나아가, 대조 학습 자체가 OOD 문제를 악화시킨다는 것을 실험적으로 보인다. MSMARCO에서 coCondenser와 RetroMAE를 InfoNCE로 파인튜닝하면서 쿼리-양성문서 쌍의 평균 $\ell_2$ 거리를 모니터링했다.

Figure 3: Increasing ℓ₂ distance in contrastive learning

Figure 3: 대조 학습 과정에서 증가하는 ℓ₂ 거리. (원논문)

학습이 진행될수록 $\ell_2$ 거리가 꾸준히 증가한다. coCondenser에서는 약 2.2에서 2.8로, RetroMAE에서는 약 29에서 34로. 이 $\ell_2$ 거리의 제곱이 선형 커널 MMD의 아핀 대리(affine surrogate)로 기능한다는 것이 부록 A에서 증명되므로, $\ell_2$ 거리 증가는 곧 MMD 증가, 즉 분포 격차 확대를 의미한다.

왜 이런 일이 벌어지는 걸까? 부록 C에서 이론적으로도 증명하는데, InfoNCE 손실의 그래디언트 방향이 쿼리 평균과 문서 평균을 서로 반대 방향으로 밀어내는 구조를 갖고 있기 때문이다. 양성 문서를 쿼리 쪽으로 끌어당기는 힘보다 음성 문서들을 밀어내는 힘이 전체적으로 우세해서, 결과적으로 두 분포의 중심이 점점 벌어진다.

4. 제안 방법: 분포 정규화(Distribution Regularization)

4.1 설계 동기

문제의 구조가 명확하다면 해법도 자연스럽게 따라온다. 대조 학습이 분포를 벌리니, 다시 모아주는 힘을 추가하면 된다. 저자들이 택한 방법은 MMD를 직접 줄이는 정규화 항을 학습 목적함수에 넣는 것이다.

MMD 자체를 최적화하려면 공분산 추정 등 무거운 연산이 필요하다. 하지만 $\ell_2$ 거리의 기대값이 선형 커널 MMD의 상한(upper bound)이라는 관계를 활용하면, 훨씬 간단한 형태의 정규화가 가능해진다.

4.2 학습 손실 함수

기존 InfoNCE 손실은 다음과 같다:

$\mathcal{L}_{\text{con}} = -\log \frac{e^{\mathbf{q}^\top \mathbf{y}^+/\tau}}{e^{\mathbf{q}^\top \mathbf{y}^+/\tau} + \sum_{\mathbf{y} \in \mathcal{N}} e^{\mathbf{q}^\top \mathbf{y}/\tau}}$

여기서 $\mathbf{q}$ 는 쿼리 임베딩, $\mathbf{y}^+$ 는 양성 문서 임베딩, $\mathcal{N}$ 은 음성 문서 집합, $\tau$ 는 온도 하이퍼파라미터다.

저자들이 추가하는 정규화 손실은 이렇다:

$\mathcal{L}_{\text{reg}} = \frac{1}{N} \sum_{\mathbf{y} \in \{\mathbf{y}^+ \cup \mathcal{Y}^-\}} \|\mathbf{q} - \mathbf{y}\|_2^2$

$N$ 은 배치 내 문서 임베딩의 수. 이 식이 하는 일은 단순하다—쿼리 임베딩과 배치 내 모든 문서 임베딩(양성+음성) 사이의 $\ell_2$ 거리 제곱의 평균을 줄이는 것이다.

대조 손실이 "양성은 가까이, 음성은 멀리"라는 상대적 관계를 최적화하는 반면, 이 정규화는 쿼리와 모든 문서 임베딩 사이의 절대적 거리를 균일하게 줄인다. 두 힘의 균형이 맞으면, 판별력은 유지하면서 분포 정렬도 달성할 수 있다.

최종 학습 목적함수는:

$\mathcal{L} = \mathcal{L}_{\text{con}} + \lambda \mathcal{L}_{\text{reg}}$

$\lambda$ 는 판별(discrimination)과 정렬(alignment) 사이의 트레이드오프를 조절하는 가중치다. 저자들은 정규화 손실이 대조 손실보다 약 한 자릿수(order of magnitude) 작도록 $\lambda = 0.01$ 을 기본값으로 설정했다.

4.3 이론적 근거

이 정규화가 MMD를 줄이는 데 왜 효과적인지는 부록 B에서 증명된다. 핵심 관계식은:

$\mathbb{E}[\mathcal{L}_{\text{reg}}] = \text{MMD}^2_{\text{lin}} + \text{tr}(\Sigma_q) + \text{tr}(\Sigma_y)$

공분산 행렬의 trace는 항상 비음수이므로:

$\mathbb{E}[\mathcal{L}_{\text{reg}}] \geq \text{MMD}^2_{\text{lin}}$

$\mathcal{L}_{\text{reg}}$ 를 줄이면 MMD²의 유효한 상한이 타이트해진다. $\mathcal{L}_{\text{reg}}$ 가 감소하면 MMD²도 반드시 같거나 더 큰 폭으로 감소해야 한다. 역으로 MMD²가 줄어도 $\mathcal{L}_{\text{reg}}$ 는 같은 양만큼 줄어든다. 두 양이 긴밀하게 결합(tightly coupled)되어 있는 것이다.

4.4 실용적 장점

이 방법의 매력은 단순함에 있다. 추론 시점에 추가되는 연산이 전혀 없고, 학습 시에도 이미 배치 내에 존재하는 임베딩 쌍의 $\ell_2$ 거리만 계산하면 되므로 오버헤드가 미미하다. 인덱스 구조를 바꿀 필요도 없고, 어떤 ANN 알고리즘과도 조합 가능하다. 기존 인코더 학습 파이프라인에 한 줄 추가하는 수준의 변경이다.

5. 실험 결과

5.1 실험 설정

데이터셋: MSMARCO (passage retrieval, 약 880만 passage)와 Natural Questions (NQ)
인코더: coCondenser (Gao and Callan, 2021)와 RetroMAE (Xiao et al., 2022) — 두 가지 대표적 PLM 기반 검색 인코더
ANN 알고리즘: IVF, IVFPQ, HNSW (FAISS 구현), DiskANN, RoarGraph — 클러스터 기반과 그래프 기반을 모두 포함
평가 지표: QPS(Queries Per Second) 대비 Recall@100 (및 Recall@10) 곡선
하드웨어: 학습은 4×NVIDIA V100 (32GB), 인덱스 구축/검색은 Intel Xeon Platinum 8168 ×2, RAM 503GB, 단일 스레드 검색
정규화 가중치: $\lambda = 0.01$ (기본값), 공식 학습 설정을 그대로 따름

5.2 MSMARCO 주요 결과

Figure 4: QPS-Recall curves on MSMARCO dataset

Figure 4: MSMARCO 데이터셋에서의 QPS-Recall 곡선. 차트 우상단에 가까울수록 좋은 성능. (원논문)

Figure 4는 이 논문의 메인 결과다. 2개 인코더 × 5개 ANN 알고리즘 = 10개 조합 모두에서 분포 정규화(+Reg, 파란색)가 베이스라인(초록색) 대비 일관된 개선을 보인다.

그래프 기반 방법(HNSW, DiskANN, RoarGraph)에서의 개선이 특히 두드러진다. coCondenser-HNSW의 경우, QPS 500 근처에서 Recall@100이 약 80%에서 84%로 4%p 가량 뛰었다. RoarGraph도 인상적인데, 이미 OOD에 특화 설계된 알고리즘임에도 불구하고 정규화를 적용하면 추가 성능 향상이 나타난다. 이는 임베딩 수준에서 분포를 정렬하는 것이 인덱스 수준의 OOD 대응과 상호 보완적임을 보여준다.

IVF와 IVFPQ 같은 양자화 기반 방법에서도 개선이 확인된다. 다만 이들은 근사(approximation) 자체가 무거워서, 분포 정렬만으로는 한계가 있는 구간이 존재한다.

고QPS(빠른 검색) 영역에서 개선 폭이 더 크다는 점이 실용적으로 의미 있다. 이 영역은 ANN 근사가 공격적으로 적용되는 구간이라 OOD의 영향이 가장 크기 때문이다. 반면 저QPS(느린 검색, 높은 recall) 영역에서는 ANN이 KNN에 수렴하므로 개선 폭이 줄어든다.

동일 recall 수준에서 정규화가 가능하게 하는 속도 향상은 coCondenser 기준 최대 2.6배, RetroMAE 기준 최대 4.1배다. 엄격한 지연시간 제약이 있는 실서비스 환경에서 상당한 차이를 만들 수 있는 수치다.

5.3 Natural Questions 결과

Figure 5: QPS-Recall curves on NQ dataset

Figure 5: Natural Questions 데이터셋에서의 QPS-Recall 곡선. (원논문)

NQ 데이터셋에서도 MSMARCO와 동일한 경향이 재현된다. 모든 인코더-ANN 조합에서 +Reg가 Baseline 위에 위치하며, 그래프 기반 알고리즘에서의 개선이 더 뚜렷하다.

coCondenser-HNSW에서는 고QPS 영역의 개선이 특히 크고, RetroMAE-DiskANN에서는 전 QPS 구간에 걸쳐 안정적인 개선이 보인다. 데이터셋의 특성(MSMARCO는 웹 검색 쿼리, NQ는 자연어 질문)이 다름에도 불구하고 일관된 효과가 나타난다는 것은 이 방법이 특정 도메인에 과적합된 트릭이 아니라 근본적인 문제를 해결하고 있다는 증거다.

5.4 분포 정렬 효과 분석

수치적 개선만큼이나 중요한 것이 "왜 좋아졌는가"에 대한 분석이다.

Figure 6: t-SNE visualization of query and base embeddings

Figure 6: 쿼리와 문서 임베딩의 t-SNE 시각화. (a) 대조 손실만 사용, (b) 분포 정규화 적용. (원논문)

Figure 6의 t-SNE 시각화가 핵심을 한눈에 보여준다. (a)에서는 쿼리(빨간색)와 문서(파란색) 임베딩이 3D 공간에서 완전히 분리된 두 클러스터를 형성한다. 두 집단 사이에 뚜렷한 간격이 존재하는 것이 보인다. (b)에서는 정규화 적용 후 두 분포가 겹치며 정렬되어 있다. 분포 격차가 시각적으로도 확연히 줄어들었다.

Figure 7: 정규화 적용 후 ID/OOD 쿼리와 문서 임베딩 간 MMD² 분포. (원논문)

Figure 7은 정규화 적용 후의 MMD² 분포를 Figure 1과 대조하기 위해 제시된다. 정규화 전(Figure 1)에는 ID와 OOD의 분포 중심이 확연히 달랐던 것이, 정규화 후에는 두 분포가 거의 겹친다. coCondenser의 경우, 정규화 전에는 ID 중심이 약 36, OOD 중심이 약 39였던 것이 정규화 후에는 둘 다 16~17 부근에 모여 있다. MMD² 값 자체도 크게 줄었고, ID와 OOD의 차이도 사라졌다. 이는 정규화가 의도한 대로 작동해 쿼리 임베딩을 문서 분포 안으로 끌어들였음을 의미한다.

5.5 정규화 강도(λ) Ablation

Figure 8: QPS-Recall with different λ values

Figure 8: 다양한 정규화 강도 λ에 따른 QPS-Recall 결과. λ가 클수록 쿼리-문서 분포 간 거리가 더 많이 줄어든다. (원논문)

$\lambda$ 값 선택이 얼마나 민감한지를 보여주는 ablation이다. MSMARCO에서 coCondenser를 IVF와 HNSW로 테스트한 결과가 Figure 8에 나와 있다.

$\lambda \leq 0.05$ 범위에서는 두 ANN 방법 모두에서 성능 향상이 관찰된다. 특히 고QPS 영역에서의 개선이 두드러진다. $\lambda = 0.001$ , $0.005$ , $0.01$ 모두 베이스라인(w.o. reg)보다 위에 위치한다. 반면 $\lambda = 0.1$ 로 정규화를 너무 세게 걸면, 곡선이 베이스라인 아래로 떨어지면서 오히려 성능이 악화된다. 쿼리와 문서 벡터 사이의 거리를 과도하게 좁히면 판별력이 무너지기 때문이다.

$\lambda$ 값에 따른 특성도 눈여겨볼 만하다. 높은 정규화( $\lambda = 0.05$ )는 고QPS 영역에서 더 강한 개선을, 낮은 정규화( $\lambda = 0.001$ )는 저QPS/고recall 영역에서 더 나은 성능을 보인다. 이는 고QPS에서는 분포 정렬이 더 중요하고, 고recall에서는 판별력이 더 중요하다는 직관과 일치한다. 기본값 $\lambda = 0.01$ 은 두 영역 모두에서 안정적으로 작동하는 균형점인 셈이다.

6. 부록: 이론적 분석

이 논문의 부록은 본문의 실험적 관찰을 이론적으로 뒷받침하는 세 가지 증명을 담고 있다.

6.1 ℓ₂ 거리와 선형 커널 MMD의 관계 (부록 A)

쿼리-문서 쌍의 $\ell_2$ 거리 제곱의 기대값을 분해하면:

$\mathbb{E}[\|\mathbf{q} - \mathbf{y}\|_2^2] = \|\mu_q - \mu_y\|^2 + \text{tr}(\Sigma_q) + \text{tr}(\Sigma_y) - 2\text{tr}(\Sigma_{qy})$

추론 시점에서 쿼리와 문서가 독립이면 $\Sigma_{qy} = 0$ 이 되어:

$\mathbb{E}[\|\mathbf{q} - \mathbf{y}\|_2^2] = \text{MMD}^2_{\text{lin}} + \text{tr}(\Sigma_q) + \text{tr}(\Sigma_y)$

공분산 trace는 비음수이므로 $\mathbb{E}[\|\mathbf{q} - \mathbf{y}\|_2^2] \geq \text{MMD}^2_{\text{lin}}$ 이 성립한다. $\ell_2$ 거리 증가는 반드시 MMD 증가를 수반하므로, 학습 중 $\ell_2$ 거리를 모니터링하면 분포 격차 추이를 추적할 수 있다.

6.2 ℓ₂ 정규화가 MMD 상한을 조인다 (부록 B)

배치 내 정규화 손실의 기대값이 MMD² + 상수 항이라는 것이 증명된다. $\mathcal{L}_{\text{reg}}$ 를 줄이면 MMD²의 유효 상한이 타이트해지고, 두 양의 감소가 직접 연결된다. 별도의 공분산 추정 없이도 분포 정렬이 가능한 이유다.

6.3 InfoNCE가 MMD를 키운다 (부록 C)

InfoNCE 손실로 학습할 때, 쿼리와 문서 분포의 평균 격차 $d_t = \|\mu_q^{(t)} - \mu_y^{(t)}\|^2$ 가 학습 스텝이 진행됨에 따라 단조 증가한다는 것을 그래디언트 분석으로 증명한다.

InfoNCE의 softmax 가중치 대칭성 때문에, 문서 그래디언트의 평균은 특정 비율 계수와 쿼리 평균의 곱으로 표현된다. 쿼리 그래디언트와 문서 그래디언트의 차이를 계산하면, 평균 격차의 증분이 항상 비음수(non-negative)인 항으로만 구성된다. 이는 대조 학습이 내적 유사도를 최적화할 때 쿼리-문서 분포를 구조적으로 분리시킨다는 것을 의미한다. Figure 3의 실험적 관찰과 정확히 부합하는 이론적 결과다.

7. 강점과 한계

강점

문제 진단과 해결이 일관된 프레임워크 안에서 이루어진다. MMD로 문제를 정량화하고, 같은 MMD를 줄이는 정규화로 해결한다. Figure 1 → Figure 3 → Figure 6/7의 흐름이 논리적으로 깔끔하다.
방법이 극도로 단순하면서도 일관되게 작동한다. $\ell_2$ 거리 제곱의 평균이라는, 구현에 코드 한두 줄이면 충분한 정규화 항 하나로 2개 데이터셋 × 2개 인코더 × 5개 ANN 알고리즘 = 20개 조합 전부에서 개선을 보인다. 추론 비용 추가도 전혀 없다.
인덱스 수준 방법과 상호 보완적이다. RoarGraph처럼 이미 OOD에 강한 인덱스 위에서도 추가 이득이 나온다는 것은, 임베딩 정렬과 인덱스 최적화가 서로 다른 차원의 문제를 해결함을 시사한다.
이론적 뒷받침이 탄탄하다. 부록의 세 가지 증명(ℓ₂-MMD 관계, 정규화의 MMD 상한 성질, InfoNCE의 분포 분리 효과)이 경험적 관찰을 잘 설명한다.

한계 및 아쉬운 점

1차 모먼트(평균)만 다룬다. 선형 커널 MMD는 두 분포의 평균 차이만 측정한다. 분산, 꼬리 분포, 다중 모드 등 고차 불일치는 포착하지 못한다. RBF 커널 MMD나 Wasserstein 거리 같은 더 풍부한 거리 척도와의 비교가 없다.
텍스트-텍스트 검색에만 검증되었다. 크로스모달(텍스트-이미지), 다국어, 음성 검색 등으로의 확장은 열린 질문이다. 특히 크로스모달에서는 모달리티 갭(modality gap)이 본래 크기 때문에 효과가 다를 수 있다.
정량적 결과를 표(Table)로 제시하지 않는다. 모든 실험 결과가 QPS-Recall 곡선으로만 제공되어, 특정 QPS나 recall 수준에서의 구체적 수치를 비교하기가 어렵다. "최대 2.6배/4.1배 속도 향상"이라는 서술이 있지만, 어떤 recall 수준에서 측정한 것인지가 명확하지 않다.
$\lambda$ 의 자동 튜닝 전략이 없다. 기본값 0.01이 논문의 실험 범위에서는 잘 작동하지만, 다른 태스크나 도메인에서도 그러리라는 보장은 없다. Adaptive $\lambda$ 전략(예: 학습 중 MMD를 모니터링하며 동적으로 조절)이 있으면 실용성이 높아질 것이다.
최신 임베딩 모델과의 비교가 빠져 있다. coCondenser와 RetroMAE는 강력하지만, E5, BGE, GTE, GRIT-LM 같은 최신 인코더에서도 동일한 OOD 문제가 존재하는지, 정규화가 효과적인지는 확인되지 않았다. 저자들도 이를 향후 과제로 인정한다.

8. 마치며

임베딩 기반 검색에서 쿼리 OOD 문제는 널리 사용되는 대조 학습의 구조적 부작용이면서도 오랫동안 간과되어 왔다. 이 논문의 가치는 문제를 깔끔하게 정의하고 정량화한 데 있다. MMD라는 잘 알려진 통계적 도구로 문제를 측정하고, 같은 도구에서 자연스럽게 도출되는 정규화로 해결하는 흐름이 우아하다.

방법 자체가 너무 단순해서 의아할 수도 있다. $\ell_2$ 거리 평균을 줄이는 것이 정말 새로운 기여인가? 하지만 그 단순함이 오히려 강점이다. 추론 비용이 0이고, 기존 학습 파이프라인에 최소한의 변경으로 적용 가능하며, 인코더와 ANN 알고리즘에 관계없이 작동한다. 실서비스 검색 시스템에서는 이런 종류의 "공짜 점심"이 드물기에 실용적 의미가 크다.

개인적으로 아쉬운 점은 분석의 깊이 대비 실험의 범위가 좁다는 것이다. 이론적 기반은 탄탄한데, 검증은 두 개 인코더와 두 개 데이터셋에 국한된다. 최신 대규모 임베딩 모델이나 실제 프로덕션 규모의 인덱스에서의 검증이 추가되면 임팩트가 한층 커질 것이다. 또한 ANN 인덱스 최적화(RoarGraph 등)와 임베딩 정규화를 결합했을 때의 상승효과를 더 체계적으로 분석하면, 검색 시스템 설계의 실질적 가이드라인을 제공할 수 있을 거라 생각한다.

References

Jaiswal et al. (2022). OOD-DiskANN: Efficient and scalable graph ANNs for out-of-distribution queries. arXiv:2211.12850.
Chen et al. (2024a). RoarGraph: A projected bipartite graph for efficient cross-modal approximate nearest neighbor search. VLDB, 17(11):2735-2749.
Liang et al. (2022). Mind the Gap: Understanding the modality gap in multi-modal contrastive representation learning. NeurIPS 2022.
Gao and Callan (2021). Unsupervised corpus aware language model pre-training for dense passage retrieval. arXiv:2108.05540.
Xiao et al. (2022). RetroMAE: Pre-training retrieval-oriented language models via masked auto-encoder. arXiv:2205.12035.
Gretton et al. (2006). A Kernel Method for the Two-Sample Problem. NeurIPS 2006.
Nguyen et al. (2017). MS MARCO: A human-generated machine reading comprehension dataset.
Kwiatkowski et al. (2019). Natural Questions: A benchmark for question answering research. TACL, 7:453-466.