논문 리뷰: SMEC — Matryoshka 표현 학습을 다시 생각하다

SMEC: Rethinking Matryoshka Representation Learning for Retrieval Embedding Compression 리뷰

LLM 임베딩의 차원을 12~14배까지 줄이면서도 검색 성능을 유지하는 순차적 마트료시카 압축 프레임워크

논문 정보

---

1. 들어가며

LLM이 생성하는 임베딩 벡터는 점점 더 커지고 있다. GPT-3 수준의 1,024차원은 이미 구식이고, Llama-3 계열은 4,096차원, Qwen2-7B 기반 LLM2Vec은 3,584차원에 이른다. 검색 성능은 확실히 좋아졌지만, 실제 서비스에 배포하려면 이 고차원 벡터를 수십억 개씩 저장하고 유사도 검색을 실시간으로 돌려야 한다. FAISS나 HNSW 같은 근사 최근접 이웃 알고리즘을 써도 차원이 높으면 쿼리 지연이 기하급수적으로 증가하는 건 마찬가지다.

이 문제에 대한 유력한 해법으로 Matryoshka Representation Learning(MRL)이 있었다. 러시아 전통 인형 마트료시카처럼, 하나의 임베딩 안에 다양한 스케일의 정보를 계층적으로 담아두는 방식이다. 필요에 따라 앞쪽 $d$차원만 잘라서 쓰면 되니까 유연하다. OpenAI의 text-embedding-3 시리즈가 바로 이 방식을 사전학습에 적용한 대표적 사례다.

그런데 MRL을 실제 산업 환경에서 쓰려고 하면 세 가지 근본적인 문제에 부딪힌다. 다차원 병렬 학습에서 오는 그래디언트 변동, 고정된 차원 절단에 따른 정보 열화, 그리고 배치 내 샘플만으로는 학습 샘플의 다양성이 부족하다는 점이다. 이 논문은 바로 이 세 가지를 정면으로 해결하겠다고 나선다.

Alibaba의 Taobao & Tmall 그룹에서 나온 이 논문은 SMEC(Sequential Matryoshka Embedding Compression)라는 프레임워크를 제안한다. 결과부터 말하면, LLM2Vec-7B의 3,584차원 임베딩을 256차원(약 14배 압축)으로 줄여도 원래 성능을 유지하는 수준까지 도달했다.

Figure 1: SMEC의 차원 축소 효과. LLM2Vec-7B(3584차원)와 LLM2Vec-1B(1536차원) 임베딩에 SMEC를 적용한 결과, 각각 14배, 12배의 무손실 차원 압축을 달성한다. (원논문)

Figure 1이 이 논문의 가치를 단적으로 보여준다. SMEC를 적용하지 않은 LLM2Vec-7B는 차원을 줄일수록 NDCG@10이 급격히 떨어지는 반면, SMEC 적용 후에는 256차원에서도 원본 3,584차원과 거의 동일한 성능을 유지한다. 1B 모델에서도 비슷한 양상이 관찰되는데, 128차원까지 낮춰도 원본 대비 성능 하락이 크지 않다.

---

2. 기존 연구의 한계

2.1 Matryoshka Representation Learning (MRL)

MRL(Kusupati et al., 2022)은 임베딩에 계층적 정보 인코딩을 미리 심어두는 패러다임이다. 전체 $D$차원 벡터에서 앞쪽 $d$차원만 떼어 써도 어느 정도 성능이 보장되도록 학습한다. 이 아이디어는 이미지 생성(Matryoshka Diffusion Models), 멀티모달 이해(M³), 비전-언어 모델(MQT) 등으로 확장되었다.

하지만 MRL은 모든 차원 스케일($d_1, d_2, \ldots, d_M$)을 동시에 병렬로 학습한다. 매 이터레이션마다 $M$개 모델 전부를 순전파·역전파해야 하니 계산 비용이 크고, 실제 서비스에서 새로운 저차원 임베딩이 필요하면 처음부터 다시 학습해야 한다는 치명적 단점이 있다.

2.2 임베딩 압축 기법

고전적 접근인 PCA, LDA, NMF 같은 선형 차원 축소부터, VAE, CPC, MoCo 같은 비선형·자기지도 학습 기반 방법까지 다양하다. 최근에는 Search-Adaptor(Yoon et al., 2023)와 Matryoshka-Adaptor(Yoon et al., 2024)처럼 원본 모델 위에 소수의 파라미터만 추가하고 재학습하는 경량 어댑터 방식이 주목받고 있다. Search-Adaptor는 FC 레이어 여러 개로 직접 차원을 줄이고, Matryoshka-Adaptor는 공유 FC 레이어 하나로 여러 차원의 출력을 동시에 만든다.

이 어댑터들이 기존 비지도 방법보다 성능은 좋지만, MRL의 근본 한계를 물려받았다. 병렬 학습 구조에서 오는 그래디언트 문제, 고정된 절단 규칙에 의한 정보 손실, 배치 내 샘플 다양성 부족을 해결하지 못한 것이다.

---

3. MRL의 세 가지 문제에 대한 진단

이 논문의 출발점은 MRL이 왜 저차원에서 성능이 떨어지는지를 수학적으로 분석한 데 있다. 단순히 "차원이 줄어서 정보가 빠진다"가 아니라, 학습 과정 자체에 구조적 문제가 있다는 것이다.

문제 1: 그래디언트 변동(Gradient Fluctuation). MRL은 여러 차원의 손실을 동시에 최적화한다. 그 목적함수는 다음과 같다:

$\sum_{m=1}^{M} c_m \cdot \mathcal{L}(f_m(\mathbf{x}); y)$

$M$개 모델이 공유하는 FC 레이어의 $i$번째 파라미터 $w_i$에 대해, 차원 $d$에서의 손실 기울기는:

$\frac{\partial \mathcal{L}^d}{\partial w_i} \propto \frac{1}{\delta(d)^2}$

$\delta(d)$는 차원 $d$와 양의 상관관계를 갖는 함수다. 저차원 손실이 고차원 손실보다 훨씬 큰 기울기를 만들어내기 때문에, 같은 파라미터에 대해 서로 다른 스케일의 기울기가 동시에 작용한다. 그 결과 그래디언트 분산이 커지고 수렴이 느려진다.

문제 2: 정보 열화(Information Degradation). MRL은 앞쪽 $d$개 차원만 남기고 나머지를 잘라내는 고정된 절단 전략을 쓴다($D \to D/2 \to D/4 \ldots$). 하지만 뉴럴 네트워크 파라미터의 중요도는 위치와 무관하게 비균일하게 분포한다(Frankle & Carlin, 2018). 뒤쪽 차원에 중요한 특징 매핑이나 고차 의존성이 담겨 있을 수 있는데, 단순 절단은 이를 무시한다.

문제 3: 샘플 선택(Sample Selection). Matryoshka-Adaptor는 배치 내 카르테시안 곱으로 학습 쌍을 만든다:

$\mathcal{P} = \{(x_i, x_j) \mid x_i, x_j \in \text{Batch},\ i \neq j\}$

배치 크기 $B$에서 $B(B-1)$개의 쌍이 나오지만, 무차별적 페어링은 노이즈를 유발한다. Top-k 유사도 선택으로 필터링해도:

$\mathcal{P}_{\text{top-}k} = \text{Top}_k(\text{similarity}(x_i, x_j)),\quad \forall\ (x_i, x_j) \in \mathcal{P}$

유효 샘플의 다양성은 결국 배치 크기 $B$에 제한된다.

---

4. 제안 방법: SMEC 프레임워크

4.1 전체 구조

SMEC는 위 세 가지 문제에 각각 대응하는 세 모듈로 구성된다: 그래디언트 변동을 해결하는 SMRL, 정보 열화를 줄이는 ADS, 샘플 다양성을 확보하는 S-XBM. 기존 Search-Adaptor나 Matryoshka-Adaptor와의 구조적 차이가 Figure 2에 잘 드러나 있다.

Figure 2: 임베딩 압축 아키텍처 비교. (a) Search-Adaptor는 FC 레이어 4개로 직접 차원을 줄인다. (b) Matryoshka-Adaptor는 공유 FC 레이어 1개로 여러 차원의 출력을 동시 생성한다. (c) SMEC는 순차적으로 한 단계씩 차원을 줄여나간다. (원논문)

Search-Adaptor(a)는 목표 차원마다 독립적인 FC 레이어를 두니 파라미터가 많다. Matryoshka-Adaptor(b)는 하나의 FC 레이어를 공유하되 한꺼번에 모든 차원을 학습한다. SMEC(c)는 $D \to D/2$, $D/2 \to D/4$처럼 한 번에 하나의 차원 전이만 학습하고, 이전 단계의 파라미터는 고정(freeze)한다. 오른쪽 상단의 마트료시카 인형 애니메이션이 이 차이를 직관적으로 보여주는데, Matryoshka-Adaptor는 인형을 한꺼번에 다 열어보는 것이고 SMEC는 하나씩 순서대로 여는 것이다.

4.2 Sequential Matryoshka Representation Learning (SMRL)

SMRL의 설계 동기는 그래디언트 분석에서 나온다. 병렬 축소 $[D, D/2, D/4]$를 예로 들면, 파라미터 $w_i$ ($i \in [0, D/4]$)와 $w_j$ ($j \in [D/4, D/2]$)의 평균 기울기 비율은:

$\overline{\text{grad}_i} : \overline{\text{grad}_j} \approx 1 + \frac{\delta(D/2)^2}{\delta(D/4)^2}$

$w_i$는 $D/4$ 차원 손실의 영향까지 받기 때문에 $w_j$보다 기울기 크기가 $1 + \frac{\delta(D/2)^2}{\delta(D/4)^2}$배나 된다. 이 불균형이 그래디언트 분산을 키운다.

SMRL은 이 문제를 단순하면서도 효과적으로 해결한다. 축소 경로 $[D, D/2, D/4, \ldots, D/2^n]$에서 매 반복마다 바로 이전 차원에서 다음 차원으로의 전이(예: $D/2^{n-1} \to D/2^n$)만 학습한다. 저차원 손실이 고차원 파라미터에 영향을 주는 경로를 원천적으로 차단하는 거다. 한 단계의 손실이 수렴하면 해당 파라미터를 동결(freeze)하고 다음 단계로 넘어간다.

실용적으로도 큰 장점이 있다. MRL에서는 $D/8$ 차원 임베딩이 새로 필요하면 처음부터 전체를 재학습해야 하지만, SMRL에서는 이미 학습된 $D/4$ 파라미터 위에 $D/4 \to D/8$ 단계만 추가 학습하면 된다. 산업 환경에서의 continued training 친화적인 설계인 셈이다.

4.3 Adaptive Dimension Selection (ADS)

MRL의 "앞에서부터 자르기" 전략은 차원의 위치와 중요도가 무관하다는 사실을 무시한다. ADS는 어떤 차원을 남길지를 학습 가능한 파라미터로 결정한다.

Figure 3: ADS 모듈. 학습 가능한 파라미터가 각 차원의 중요도를 나타내며, Gumbel-Softmax를 통해 미분 가능한 차원 선택을 수행한다. (원논문)

원본 표현 $Z$ ($\text{dim} = D$)에서 축소된 표현 $Z'$ ($\text{dim} = D/2$)를 얻을 때, 어떤 차원을 선택할지가 관건이다. 이 선택 연산은 원래 미분 불가능하지만, Gumbel-Softmax(Jang et al., 2016)를 활용해 미분 가능하게 만든다:

$\mathbf{z} = \text{softmax}_\tau(\hat{\mathbf{z}} + G)$

$\hat{\mathbf{z}}$는 각 차원의 중요도를 나타내는 학습 가능한 로짓이고, $G \sim \text{Gumbel}(0, 1)$은 Gumbel 분포 노이즈다. 온도 파라미터 $\tau$를 통해 소프트맥스의 날카로움을 조절한다. 이 확률적 접근은 결정론적 top-k 선택 대신 차원 선택의 확률을 학습하는 것이므로, 전체 과정이 end-to-end로 최적화 가능하다.

Figure 3의 상단을 보면, 학습 파라미터에 Gumbel-Softmax를 적용한 뒤 top-k로 차원 인덱스를 선택하는 흐름이 보인다. 하단은 이렇게 선택된 차원만으로 축소된 임베딩을 만들어 Rank Loss를 계산하는 과정이다. MRL처럼 순서대로 앞부분을 자르는 게 아니라, 전체 $D$차원 중에서 가장 중요한 $D/2$개를 골라내는 것이 본질적인 차이다.

4.4 Selectable Cross-Batch Memory (S-XBM)

원본 고차원 임베딩과 축소된 저차원 임베딩 사이에는 자연스러운 teacher-student 관계가 존재한다. 비지도 학습으로 이 관계를 활용하면 압축 성능을 더 높일 수 있는데, 문제는 배치 내 샘플만으로는 hard sample을 충분히 확보할 수 없다는 점이다.

Figure 4: S-XBM은 학습 중 FIFO 큐로 배치 간 원본 임베딩을 저장하고, 현재 배치 샘플과 유사도가 높은 hard sample만 선별해서 활용한다. (원논문)

S-XBM은 Cross-Batch Memory(XBM, Wang et al., 2020)를 두 가지 방향으로 개선한다. 첫째, 메모리 뱅크에서 현재 배치와 유사도가 높은 top-k 샘플만 가져온다. 메모리에 있는 모든 샘플을 무차별적으로 쓰면 노이즈가 되기 때문이다. 둘째, FC 레이어를 거치기 전의 동결된 백본 피처만 저장한다. 학습 중 FC 레이어가 업데이트되면서 발생하는 feature drift를 방지하려는 것이다.

비지도 손실은 다음과 같이 정의된다:

$\mathcal{L}_{un\text{-}sup} = \sum_i \sum_{j \in \mathcal{N}_K(i)} \left| \text{Sim}(emb_i, emb_j) - \text{Sim}(emb_i[:d], emb_j[:d]) \right|$

$\mathcal{N}_K(i)$는 S-XBM 모듈 내에서 $emb_i$와 가장 유사한 top-$k$ 임베딩 집합이다. 원본 임베딩 쌍의 유사도와 압축된 임베딩 쌍의 유사도가 같아지도록 학습하는 것으로, 압축 과정에서 상대적 유사도 구조가 보존되도록 한다.

4.5 학습 및 추론

지도 학습 손실로는 기존 연구(Search-Adaptor)와의 공정한 비교를 위해 Rank Loss를 채택했다:

$\mathcal{L}_{rank} = \sum_i \sum_j \sum_k \sum_m I(y_{ij} > y_{ik})(y_{ij} - y_{ik}) \log(1 + \exp(s_{ik}[:m] - s_{ij}[:m]))$

$I(y_{ij} > y_{ik})$는 라벨 기반 지시 함수이고, $s_{ij}[:m]$은 쿼리 $i$와 문서 $j$의 $m$차원 임베딩 코사인 유사도다. 전체 손실은:

$\mathcal{L}_{total} = \mathcal{L}_{rank} + \alpha \cdot \mathcal{L}_{un\text{-}sup}$

$\alpha = 1.0$으로 고정한다. SMEC는 다단계 학습이므로, 비교 방법들의 학습 에폭은 SMEC의 총 에폭 수에 맞추어 정렬한다.

---

5. 실험 결과

5.1 실험 설정

• 데이터셋: BEIR(13개 텍스트 검색 서브데이터셋), Products-10K(15만+ 이미지 기반 상품 검색), Fashion-200K(20만+ 이미지-텍스트 크로스모달)
• 원본 임베딩 모델: OpenAI text-embedding-3-large(3072차원), LLM2Vec-Qwen2-7B(3584차원), LLM2CLIP-ViT-H(1024차원), ViT-H(1024차원)
• 베이스라인: PCA, Search-Adaptor, Matryoshka-Adaptor(MRL-Adaptor)
• 평가 지표: NDCG@10 (Normalized Discounted Cumulative Gain at rank 10)

5.2 주요 결과: BEIR 데이터셋

Figure 5: BEIR 데이터셋에서 OpenAI text-embedding-3-large(3072차원)과 LLM2Vec(3584차원, Qwen2-7B 기반)의 차원별 NDCG@10 비교. (원논문)

Figure 5의 왼쪽(a)는 OpenAI 임베딩 결과다. OpenAI 모델은 사전학습 단계에서 이미 MRL을 적용했기 때문에 Original(MRL) 베이스라인 자체가 어느 정도의 다중 스케일 표현을 갖고 있다. 그런데도 SMEC가 모든 차원에서 최고 성능을 보인다. 128차원에서 SMEC는 약 57%, MRL-Adaptor 약 55%, Search-Adaptor 약 54%로, SMEC가 MRL-Adaptor 대비 약 1.9 포인트 앞선다.

오른쪽(b) LLM2Vec 결과가 더 극적이다. LLM2Vec은 MRL 없이 학습된 모델이라 원본의 저차원 표현을 PCA로 얻는데, 이 경우 차원 감소에 따른 성능 하락이 심하다. 128차원에서 Original(PCA)은 약 32%까지 떨어지지만, SMEC는 약 50%를 유지한다. Search-Adaptor(약 46%)와 MRL-Adaptor(약 47%) 대비로도 뚜렷한 격차다. 256차원에서는 SMEC가 MRL-Adaptor 대비 1.1 포인트, Search-Adaptor 대비 2.7 포인트 높은 성능을 기록했다.

압축 비율이 높을수록(차원이 낮을수록) SMEC의 우위가 더 두드러진다는 점이 중요하다. 이는 ADS가 저차원에서도 중요한 차원을 잘 골라낸다는 것을 방증한다.

5.3 추가 결과: Products-10K & Fashion-200K

Figure 8: (a) Products-10K 이미지 검색(ViT-H, 1024차원), (b) Fashion-200K 텍스트→이미지 검색, (c) Fashion-200K 이미지→텍스트 검색(LLM2CLIP, 768차원). (원논문)

텍스트 외에 이미지와 멀티모달 태스크에서도 SMEC가 일관된 우위를 보인다.

Figure 8(a)의 Products-10K에서 이미지는 텍스트보다 특징이 더 밀집되어 있어서 차원 축소 시 정보 손실이 크기 마련인데, SMEC는 128차원에서도 PCA 대비 약 10 포인트 높은 성능을 유지한다. 256차원 이후부터는 Search-Adaptor, MRL-Adaptor와의 격차가 좁아지지만 여전히 최고 성능이다. ADS 모듈이 이미지 특징에서 중요한 차원을 잘 선별하기 때문으로 보인다.

Fashion-200K의 텍스트→이미지(b)와 이미지→텍스트(c) 결과에서는 크로스모달 시나리오의 특수성이 드러난다. 두 방향 모두에서 SMEC가 128차원부터 768차원까지 전 구간에서 우위를 보이며, 특히 저차원(128, 256)에서의 개선폭이 크다. 크로스모달 검색은 서로 다른 모달리티 간의 공유 의미 공간을 유지해야 하는데, SMEC의 적응적 차원 선택이 모달리티 간 정보를 더 잘 보존하는 것으로 해석된다.

---

6. 심층 분석

6.1 그래디언트 분산의 영향

Figure 6: MiniLM 모델의 BEIR 학습 과정 비교. (a) 그래디언트 분산(로그 스케일), (b) 검증 손실, (c) 테스트 검색 성능. (원논문)

Figure 6이 SMRL의 효과를 명확히 보여준다. (a)에서 MRL의 그래디언트 분산은 SMRL보다 일관되게 수 배 높다. 학습 초기에 MRL의 분산은 $10^{-7}$ 수준인 반면 SMRL은 $10^{-9}$ 수준이다. 이 차이는 학습 내내 유지된다.

그 결과가 (b)의 손실 곡선에 직접 반영된다. SMRL의 검증 손실은 15 에폭 즈음에서 수렴하기 시작하는 반면, MRL은 20 에폭이 지나서야 안정되기 시작한다. (c)의 검색 성능 곡선도 마찬가지로, SMRL이 더 빠르게 성능 개선 구간에 진입하고 최종 수렴 성능도 더 높다. MRL은 20 에폭 이후 오히려 성능이 약간 떨어지는 과적합 경향도 보이는데, SMRL은 안정적으로 유지된다.

6.2 다양한 손실 함수에서의 그래디언트 분석

Figure 7: Rank Loss, MSE Loss, CE Loss에서의 그래디언트 통계(로그 스케일). 파라미터 범위 [0, 96]과 [96, 192]의 평균 기울기 크기, 그리고 전체 [0, 192] 범위의 그래디언트 분산. (원논문)

Appendix A의 이론적 유도가 Rank Loss에만 적용되는 것은 아닌지 검증한 실험이다. Figure 7은 Rank Loss(a), MSE Loss(b), CE Loss(c) 세 가지 손실 함수 모두에서 동일한 패턴을 보여준다.

세 손실 함수 모두에서, MRL의 $w_i$ ($i \in [0, 96]$) 평균 기울기가 $w_j$ ($j \in [96, 192]$) 평균 기울기보다 크다. SMRL에서는 두 범위의 기울기가 비슷한 수준을 유지한다. 그래디언트 분산(노란색 선)도 MRL이 SMRL보다 일관되게 높다. 이 결과는 Section 3.1에서 유도한 $\frac{\partial \mathcal{L}^d}{\partial w_i} \propto \frac{1}{\delta(d)^2}$ 관계가 특정 손실 함수에 국한되지 않는 일반적 현상임을 실험적으로 확인해 준다.

6.3 Ablation Study

Table 1 (원논문): BEIR 8개 서브데이터셋에서의 Ablation Study. MRL을 베이스라인으로 각 모듈을 점진적으로 추가.

개별 모듈 중에서는 SMRL의 기여가 가장 크다. 128차원 기준으로 MRL(0.4534) 대비 SMRL만 추가했을 때 0.4621로 0.87 포인트 상승한다. ADS와 S-XBM은 각각 약 0.5 포인트씩 개선을 가져온다.

흥미로운 건 세 모듈을 모두 합쳤을 때의 시너지 효과다. 128차원에서 개별 모듈의 개선 합계는 약 1.9 포인트(0.87 + 0.49 + 0.49)인데, SMEC의 실제 개선은 3.14 포인트(0.4848 - 0.4534)로 합산보다 크다. 이는 세 모듈이 서로 독립적으로 기여하는 게 아니라, 상호 보완적으로 작동한다는 뜻이다. 예를 들어, SMRL이 그래디언트를 안정화시키면 ADS의 차원 선택 학습도 더 안정적으로 진행될 수 있다.

64차원에서 이 효과가 더 극적으로 나타나는 것도 눈에 띈다. 개별 모듈 추가 시에는 0.4~0.8 포인트 개선이지만, 전체 SMEC는 MRL 대비 3.27 포인트(0.4053 - 0.3726) 개선된다. 극단적 압축 상황에서 세 모듈의 시너지가 더 강하게 작용하는 것이다.

6.4 ADS의 중요 차원 보존 능력

ADS가 실제로 중요한 차원을 잘 선택하는지를 WARE(Weighted Average Reconstruction Error) 메트릭으로 검증한다:

$\text{WARE} = \frac{1}{M} \sum_{m=1}^{M} \frac{|\hat{y}_m - y_m|}{|y_m|}$

$M$개 샘플에 대해, 특정 차원을 제거했을 때 모델 출력($\hat{y}_m$)이 원래 출력($y_m$)에서 얼마나 변하는지를 측정한다. 변화가 큰 차원이 더 중요한 차원이다. BEIR에서 LLM2Vec 임베딩(3072차원)의 각 차원별 WARE를 계산하고, ADS와 MRL이 선택한 차원이 WARE 기준 상위 N개 중요 차원과 얼마나 겹치는지(achievement rate)를 비교했다.

Table 2 (원논문): 차원 수준별 중요 차원 선택 달성률.

MRL의 달성률이 압축 비율에 거의 비례한다는 점이 인상적이다. 1536차원(2배 압축)에서 50.3%, 768차원(4배 압축)에서 32.8%, 256차원(12배 압축)에서 17.4%다. 이건 차원의 중요도가 위치와 상관없이 고르게 분포한다는 뜻이다. MRL이 앞쪽 차원만 고르는 전략이 얼마나 비효율적인지 수치로 보여주는 셈이다.

반면 ADS는 6배 압축(256차원)에서도 83.6%의 달성률을 유지한다. 물론 압축 비율이 높아지면 달성률이 떨어지지만, MRL과의 격차(83.6% vs 17.4%)는 압도적이다. Figure 5에서 SMEC가 저차원에서 특히 강한 이유가 바로 여기에 있다.

6.5 S-XBM 메모리 크기의 영향

Table 3 (원논문): S-XBM 메모리 크기에 따른 학습 속도와 모델 성능의 트레이드오프.

메모리 크기를 1000에서 15000으로 늘리면 NDCG@10은 0.4631에서 0.4689로 0.58 포인트 개선되지만, 포워드 시간은 0.06초에서 0.21초로 3.5배 증가한다. 성능 개선의 대부분은 5000까지에서 이뤄진다(0.4675, 총 개선의 약 76%). 5000 이후로는 성능 개선 속도가 현저히 둔화되는 반면 시간 비용은 선형으로 증가하기 때문에, 5000이 합리적인 선택이다. 이 포화 현상은 일정 규모 이상의 메모리에서는 hard sample이 충분히 확보되어 추가 샘플의 한계 효용이 떨어지기 때문으로 해석된다.

---

7. 부록 결과

7.1 그래디언트 변동의 수학적 유도 (Appendix A)

논문 Appendix A는 MSE 손실을 대표 사례로 삼아 그래디언트 변동을 수학적으로 유도한다. 두 입력 벡터 $\mathbf{x}_1, \mathbf{x}_2 \in \mathbb{R}^n$에 대해 FC 레이어 $W \in \mathbb{R}^{m \times n}$의 출력 $\mathbf{y}_1 = W\mathbf{x}_1$, $\mathbf{y}_2 = W\mathbf{x}_2$를 구하고, 차원 $d$에서의 MSE 손실을 다음과 같이 정의한다:

$\mathcal{L}^d = [Y_{label} - \text{sim}(\mathbf{y}_1^d, \mathbf{y}_2^d)]^2$

코사인 유사도를 사용하면:

$\mathcal{L}^d = \left[Y_{label} - \frac{{\mathbf{y}_1^d}^\top \mathbf{y}_2^d}{\|\mathbf{y}_1^d\| \|\mathbf{y}_2^d\|}\right]^2$

$\|\mathbf{y}_1^d\| = A$, $\|\mathbf{y}_2^d\| = B$, ${\mathbf{y}_1^d}^\top \mathbf{y}_2^d = C$, $s = C/(AB)$로 놓고 체인 룰을 적용하면:

$\frac{\partial \mathcal{L}^d}{\partial [\mathbf{y}_1^d]_i} = 2(s - Y_{label})\left(\frac{[\mathbf{y}_2^d]_i}{AB} - \frac{s}{A^2}[\mathbf{y}_1^d]_i\right)$

$\frac{\partial \mathcal{L}^d}{\partial [\mathbf{y}_2^d]_i} = 2(s - Y_{label})\left(\frac{[\mathbf{y}_1^d]_i}{AB} - \frac{s}{B^2}[\mathbf{y}_2^d]_i\right)$

$[\mathbf{y}_1^d]_i = w_i \mathbf{x}_1$, $[\mathbf{y}_2^d]_i = w_i \mathbf{x}_2$를 대입하고, $A \approx \delta(d) \cdot a$, $B \approx \delta(d) \cdot b$로 근사하면:

$\frac{\partial \mathcal{L}^d}{\partial w_i} \propto \frac{1}{\delta(d)^2}$

$\delta(d)$가 $d$와 양의 상관관계를 갖기 때문에, 저차원($d$가 작을수록)의 기울기가 고차원보다 크다. MRL에서 여러 차원의 손실을 동시에 합산하면 저차원 기울기가 지배적이 되어, 공유 파라미터에 대한 그래디언트 분산이 커진다. 이 유도는 MSE에 대해 이뤄졌지만, Section 5.2(Figure 7)에서 Rank Loss와 CE Loss에서도 동일한 패턴이 실험적으로 확인되었다.

7.2 BEIR 서브데이터셋 상세 결과 (Appendix B)

아래 표는 논문의 Table 4를 재구성한 것입니다.

SciFact

FiQA

Quora

NFCorpus

SciDocs

Table 4 (원논문): BEIR 5개 서브데이터셋에서의 검색 성능 비교.

서브데이터셋별로 뜯어보면 패턴이 더 선명해진다.

SciFact에서는 128차원에서 SMEC(0.841)가 MRL-Adaptor(0.826)보다 1.5 포인트, Search-Adaptor(0.806)보다 3.5 포인트 높다. 과학 논문 검색이라는 특성상 정밀한 의미 포착이 중요한데, ADS가 과학 도메인에서 중요한 특징 차원을 잘 선별해내는 것으로 보인다. 재밌는 건 3072차원(원본)에서는 세 방법 모두 0.884~0.887로 거의 차이가 없다는 점이다. 원본 차원이 충분하면 모든 방법이 비슷하지만, 압축률이 올라갈수록 SMEC의 이점이 커진다.

FiQA(금융 QA)에서 128차원 SMEC(0.521)는 원본 LLM2Vec(0.498)을 능가한다. 128차원 압축 임베딩이 원본 3072차원보다 검색 성능이 높다는 것인데, 이건 차원 축소 자체가 일종의 정규화 효과를 가져올 수 있다는 점을 시사한다. 고차원 벡터에서 노이즈로 작용하던 차원들이 제거되면서 오히려 유용한 신호 대 잡음비가 개선되는 셈이다.

NFCorpus에서도 동일한 현상이 관찰된다. 128차원 SMEC(0.389)가 원본(0.389)과 정확히 동일한 성능을 보인다. 24배 압축에서 성능 손실이 0이라는 건 상당히 놀라운 결과다.

SciDocs에서는 SMEC의 우위가 다른 데이터셋만큼 극적이지 않다. 128차원에서 SMEC(0.239) vs MRL-Adaptor(0.220)로 1.9 포인트 차이이긴 하지만, 절대 성능 자체가 낮아서 실용적 의미는 제한적이다.

전반적으로, SMEC의 개선폭은 저차원(128256)에서 가장 크고, 고차원(15363072)으로 갈수록 줄어든다. 이건 SMEC의 세 모듈이 "극단적 압축 상황에서 정보를 최대한 보존"하도록 설계되었기 때문에 자연스러운 결과다.

---

8. 강점과 한계

강점

• 수학적 기반 위의 설계: 단순히 "이렇게 해보니 좋더라"가 아니라, MRL의 그래디언트 변동을 수식으로 유도하고(Appendix A), 그에 기반해 SMRL을 설계했다. Table 2의 WARE 분석도 ADS의 타당성을 정량적으로 뒷받침한다.
• 모듈별 독립적 기여와 시너지: Table 1의 ablation에서 세 모듈 모두 개별적으로 성능을 올리며, 합쳤을 때 시너지까지 나타난다. 어떤 하나가 지배적이고 나머지가 장식인 것이 아니다.
• 다양한 모달리티에서의 검증: 텍스트(BEIR), 이미지(Products-10K), 크로스모달(Fashion-200K) 세 종류 모두에서 일관된 개선을 보인다. 특정 도메인에만 먹히는 기법이 아니라는 증거다.
• 산업 친화적 설계: SMRL의 순차 학습 구조 덕분에 새로운 차원이 필요할 때 처음부터 재학습할 필요가 없다. 알리바바의 실제 검색 시스템에서의 활용 가능성을 염두에 둔 설계다.

한계 및 아쉬운 점

• 도메인 특화 학습 의존성: 저자들도 Limitations에서 밝힌 대로, SMEC는 특정 도메인의 라벨 데이터로 학습해야 한다. 범용적인 차원 축소 기법이 아니라 도메인별로 fine-tuning이 필요한 구조라서, 도메인이 바뀌면 다시 학습해야 한다.
• 다단계 학습의 총 비용: SMRL이 MRL보다 각 단계의 수렴이 빠르다고 하지만, 단계를 여러 번 거쳐야 하므로 전체 학습 시간이 실제로 얼마나 되는지 직접적인 비교가 없다. 다른 방법들의 에폭을 SMEC 총 에폭에 맞춘다고 했는데, 이 과정에서 얼마나 공정한 비교가 이뤄진 건지 아쉬운 부분이 있다.
• BEIR 13개 서브데이터셋 중 8개만 사용: Ablation과 대부분의 분석이 8개 서브데이터셋 평균으로 이뤄지고, 상세 결과(Table 4)도 5개만 공개한다. 나머지 5~8개에서의 결과가 궁금한데, 혹시 성능이 떨어지는 서브데이터셋을 제외한 건 아닌지 의문이 남는다.
• ADS의 추론 시 차원 선택 방식 불명확: 학습 시에는 Gumbel-Softmax로 확률적 선택을 하지만, 추론 시에는 어떻게 차원을 선택하는지(argmax? 학습된 확률 기반?) 명시적 설명이 부족하다. 추론 시 추가적인 연산 비용이 있는지도 불확실하다.
• Full-parameter training과의 비교 부재: SMEC는 사전학습된 모델 위에 어댑터를 붙이는 방식이지만, 처음부터 저차원 출력을 목표로 학습한 모델과의 비교가 없다. 물론 이건 세팅이 다르긴 하지만, 어댑터 방식의 상한선이 어디인지 가늠하려면 필요한 비교다.

---

9. 마치며

SMEC의 기여는 MRL의 문제를 "진단한 뒤 각각에 맞는 해법을 제시한" 구조적 접근에 있다. 그래디언트 분산 문제를 순차 학습(SMRL)으로, 정보 열화를 적응적 차원 선택(ADS)으로, 샘플 다양성 부족을 교차 배치 메모리(S-XBM)로 해결하는 삼중 구조가 깔끔하게 맞물린다.

개인적으로 가장 인상적인 건 Table 2의 결과다. MRL이 앞쪽 차원을 순서대로 쓰는 전략의 한계를 WARE 메트릭으로 정량화하고, ADS가 256차원에서도 중요 차원의 83.6%를 포착한다는 사실은 MRL의 근본 가정 자체를 재고하게 만든다. "차원의 순서가 중요도를 반영하지 않는다"는 간단한 관찰이 전체 프레임워크의 출발점이 된 셈이다.

실용 관점에서도 의미가 크다. LLM 기반 검색 시스템에서 임베딩 저장 비용은 서비스 규모에 비례해서 증가하는데, 12~14배 압축이 가능하다면 인프라 비용 절감 효과가 상당하다. 알리바바의 Taobao/Tmall 규모를 생각하면, 이 연구가 실제 서비스에 적용될 개연성도 높다.

후속 연구로는 저자들이 언급한 전체 파라미터 학습으로의 확장 외에도, ADS의 차원 선택 패턴 분석(어떤 차원이 선택되는지, 도메인에 따라 달라지는지), 다국어 임베딩에서의 효과 검증, 그리고 양자화(quantization)와의 결합 등이 흥미로운 방향이 될 것이다.

---

References

• Kusupati, A., et al. (2022). Matryoshka Representation Learning. NeurIPS.
• Yoon, J., et al. (2023). Search-Adaptor: Embedding Customization for Information Retrieval. arXiv:2310.08750.
• Yoon, J., et al. (2024). Matryoshka-Adaptor: Unsupervised and Supervised Tuning for Smaller Embedding Dimensions. EMNLP.
• BehnamGhader, P., et al. (2024). LLM2Vec: Large Language Models Are Secretly Powerful Text Encoders. arXiv:2404.05961.
• Wang, X., et al. (2020). Cross-Batch Memory for Embedding Learning. CVPR.
• Jang, E., et al. (2016). Categorical Reparameterization with Gumbel-Softmax. arXiv:1611.01144.
• Frankle, J. & Carlin, M. (2018). The Lottery Ticket Hypothesis. arXiv:1803.03635.
• Thakur, N., et al. (2021). BEIR: A Heterogeneous Benchmark for Zero-shot Evaluation of Information Retrieval Models.