논문 리뷰: Randomly Removing 50% of Dimensions in Text Embeddings has Minimal Impact on Retrieval and Classification Tasks

텍스트 임베딩 차원의 절반을 무작위로 날려도 성능은 거의 그대로다

텍스트 임베딩에서 차원의 50%를 무작위로 제거해도 검색·분류 성능이 10% 미만만 하락한다는 현상을 발견하고, 그 원인을 "성능을 오히려 악화시키는 차원(degrading dimensions)"의 존재로 설명한 논문.

논문 정보

---

1. 들어가며

1024차원짜리 임베딩 벡터에서 512개 차원을 아무렇게나 골라 지워버린다고 상상해보자. 직관적으로는 정보의 절반이 사라지니 성능도 절반쯤 떨어져야 할 것 같다. 그런데 실제로 해보면? 검색(retrieval) 태스크에서 90% 이상, 분류(classification) 태스크에서 95% 이상의 원래 성능을 유지한다. 어떤 차원을 골라 지우든 결과는 비슷하고, 표준편차도 아주 작다.

이 논문은 바로 이 반직관적 현상에서 출발한다. 6개의 최신 텍스트 인코더와 26개 다운스트림 태스크에 걸쳐 이 현상을 체계적으로 검증하고, 기존에 제시된 세 가지 가설—비등방성(anisotropy), 차원 붕괴(dimensional collapse), 이상치 차원(outlier dimensions)—을 하나씩 기각한 뒤, "성능을 오히려 깎아먹는 차원(degrading dimensions)"이 임베딩 전체에 고르게 퍼져 있다는 새로운 관점을 제시한다. 무작위로 차원을 지우면 "좋은 차원"과 "나쁜 차원"이 함께 빠지기 때문에 성능 하락이 상쇄된다는 것이다.

RAG(Retrieval-Augmented Generation)나 시맨틱 검색처럼 임베딩 벡터를 대규모로 저장·비교해야 하는 실무 환경에서, 이 발견은 차원 축소의 실용적 가치를 재조명하는 동시에 텍스트 인코더가 표현 공간을 얼마나 비효율적으로 사용하는지를 적나라하게 보여준다.

---

2. 기존 연구의 한계

2.1 비등방성(Anisotropy) 연구

신경망 기반 인코더가 입력 데이터를 표현 공간의 좁은 원뿔(narrow cone)에 모아놓는 비등방성 현상은 여러 연구에서 보고되어 왔다 (Rudman et al., 2022; Hämmerl et al., 2023; Godey et al., 2024). 대비 학습(contrastive learning)을 하면 비등방성이 줄어들고 성능이 올라간다는 것도 알려져 있다. 하지만 이런 기하학적 특성이 실제 다운스트림 태스크 성능에 어떤 영향을 미치는지는 별로 탐구되지 않았다. Ait-Saada and Nadif (2023)가 텍스트 클러스터링에서 비등방성의 영향이 제한적임을 보인 정도다.

2.2 차원 붕괴(Dimensional Collapse)

컴퓨터 비전 쪽에서는 인코더 출력이 실제로 저차원 부분공간만 활용하고 나머지 차원은 "붕괴(collapse)"한다는 보고가 있다 (Huang et al., 2023; Hua et al., 2021). 차원 간 상관관계가 높으면 일부를 제거해도 나머지가 정보를 보존할 수 있으니, 이것이 차원 제거에 대한 강건성을 설명할 수 있을 것이라는 가설이 자연스럽게 떠오른다.

2.3 이상치 차원(Outlier Dimensions)

Kovaleva et al. (2021)은 BERT 가중치 내에 비정상적으로 크거나 작은 값을 가진 소수의 이상치 차원이 있고, 이들을 제거하면 성능이 크게 떨어진다는 점을 밝혔다. 이후 다국어 모델(Hämmerl et al., 2023)이나 LLM(He et al., 2024)에서도 유사한 관찰이 이어졌다. 그렇다면 텍스트 임베딩에서도 소수의 핵심 차원이 성능을 좌우하고, 나머지는 상대적으로 중요하지 않기 때문에 무작위 제거에 강건한 것일까?

이 논문은 위 세 가지 기존 관점을 모두 실험적으로 검증하고, 어느 것도 관찰된 현상을 충분히 설명하지 못한다는 결론에 도달한다. 이것이 새로운 분석 프레임워크—차원 기여도 분석(dimension attribution analysis)—를 제안하는 동기가 된다.

---

3. 핵심 아이디어

저자들의 통찰은 이렇다: 텍스트 임베딩의 각 차원이 다운스트림 성능에 기여하는 정도를 개별적으로 측정해보면, 성능을 높이는 차원(improving dimensions)뿐 아니라 **성능을 오히려 깎아먹는 차원(degrading dimensions)**이 상당수 존재한다. 예컨대 E5-large의 1024개 차원 중 430개가 degrading dimension이다. 게다가 이 degrading dimension들은 임베딩 벡터 전체에 고르게 분포한다.

이 두 가지 사실—많은 수의 degrading dimension + 균일 분포—이 결합되면, 무작위로 차원을 제거할 때 "좋은 차원"과 "나쁜 차원"이 비슷한 비율로 함께 빠지게 되고, 결과적으로 성능 변화가 서로 상쇄되어 전체 성능 하락이 미미해진다. 기존 연구들이 "표현 공간을 비효율적으로 사용한다"는 관점에서 접근했다면, 이 논문은 "애초에 성능에 해로운 차원이 많다"는 완전히 다른 각도에서 현상을 설명하는 것이다.

---

4. 실험: 임베딩 절단의 영향 (Section 2)

4.1 실험 설정

• 모델: MPNet (base, 768d), Contriever (768d), E5 (large, 1024d), E5-Mistral (4096d), Paraphrase-MiniLM (384d), Sentence-T5 (base, 768d)의 6개 모델. 17M~7B 파라미터까지 다양한 규모를 커버한다.
• 태스크: BEIR 벤치마크에서 14개 검색 데이터셋, MTEB 벤치마크에서 12개 분류 데이터셋, 총 26개.
• 절단 방법: (i) Last K% — 뒤쪽 K% 차원을 제거, (ii) Random K% — 무작위로 K% 차원을 제거 (10회 반복, 표준편차 보고).

Table 5 (원논문): 실험에 사용된 모델 목록.

17M 파라미터의 경량 모델부터 7B급 LLM 기반 인코더까지 포괄하고 있어, 모델 규모에 따른 일반성을 검증할 수 있는 구성이다.

아래 표는 논문의 Table 6을 재구성한 것입니다.

검색 데이터셋 (14개, BEIR 기반):

분류 데이터셋 (12개, MTEB 기반):

Table 6 (원논문): 실험에 사용된 데이터셋 목록. 검색은 nDCG@10, 분류는 정확도(accuracy)로 평가.

검색과 분류 각각 다양한 도메인을 커버하고 있어, 특정 도메인에 편향되지 않은 평가가 가능하다.

4.2 결과: 차원을 절반 지워도 성능은 거의 그대로

Figure 1: (위) 50% 차원을 제거해도 성능 하락이 5% 미만. (아래) E5-large의 MTEB 성능에서, 많은 차원이 제거되었을 때 오히려 성능이 올라감 (파란색 점). (원논문)

Figure 1의 위쪽 그래프가 이 논문의 모든 것을 함축한다. 검색(Retrieval)과 분류(Classification) 모두에서 절단 크기(Truncation Size)가 50%에 이르러도 상대 성능이 90~95% 수준을 유지한다. 검색이 분류보다 조금 더 민감하긴 하지만, 그 차이도 크지 않다. 아래쪽 그래프는 E5-large에서 각 차원을 하나씩 제거했을 때의 MTEB 성능을 보여주는데, 파란 점(제거 시 성능이 올라가는 degrading dimension)이 430개, 주황 점(제거 시 성능이 떨어지는 improving dimension)이 594개다.

Figure 2: (a, b) Last K%, (c, d) Random K% 절단 시 BEIR, MTEB 벤치마크 상대 성능. (원논문)

Figure 2를 보면 6개 모델 모두에서 놀라울 정도로 일관된 패턴이 나타난다. Last K% 절단(a, b)에서는 80%를 제거해야 비로소 상대 성능이 80% 아래로 떨어지며, E5-Mistral은 90% 제거 후에도 90%의 상대 성능을 유지하는 극단적 강건성을 보인다. Random K% 절단(c, d)도 거의 동일한 패턴이고, 10회 반복 실행의 표준편차(오차 막대)가 매우 작다. 어떤 차원을 골라 지우든 결과가 비슷하다는 뜻이다.

Spearman 순위 상관으로 원본 임베딩과 절단 임베딩이 만드는 문서 랭킹을 비교해보면, 50% 절단 후에도 모든 모델에서 0.8 이상의 상관을 유지한다 (Figure 8 참조). 검색 순위 자체가 거의 보존된다는 뜻이다.

---

5. 기존 가설 검증 (Section 3)

저자들은 위 현상의 원인을 세 가지 기존 개념으로 설명할 수 있는지 체계적으로 검증한다.

5.1 비등방성(Anisotropy)과의 관계

BERT와 T5를 대비 학습으로 점진적으로 파인튜닝하면서 중간 체크포인트마다 비등방성(Uniform Loss, IsoScore)과 상대 성능을 측정했다. 대비 학습이 진행될수록 비등방성은 줄어들고 절대 성능은 올라가지만, 50% 절단 후의 상대 성능은 학습 단계에 관계없이 거의 일정했다.

Figure 3: T5의 대비 학습 과정에서 (a) 절대 성능은 올라가지만 상대 성능은 변하지 않음. (b, c) 비등방성 지표와 상대 성능 사이에 강한 상관이 없음 (Pearson: 0.36, -0.47). (d) 차원 간 상관(Corr Mean)과 상대 성능 사이에도 상관 없음 (Pearson: 0.45). (원논문)

Figure 3a가 가장 중요한 결과다. 파란선(Full 성능)은 학습이 진행되며 꾸준히 올라가지만, 주황선(50% 절단 후 상대 성능)은 98~101% 범위에서 거의 수평을 유지한다. 모델이 표현 공간을 더 잘 활용하게 되더라도(비등방성 감소), 절단에 대한 강건성은 변하지 않는다는 것이다. 하단 산점도(b, c)에서도 Pearson 상관이 0.36, -0.47로 뚜렷한 관계가 보이지 않는다.

5.2 차원 붕괴(Dimensional Collapse)와의 관계

차원 간 상관계수(Correlation Mean)를 같은 체크포인트들에 대해 측정했다. Figure 3d에서 보듯이, 대비 학습이 진행되면서 차원 간 상관이 줄어들지만(즉 붕괴가 완화되지만), 상대 성능과의 상관은 0.45에 불과하다. 차원 붕괴가 줄어드는 것이 절단 강건성을 약화시키지 않으므로, 차원 붕괴도 이 현상의 원인이 아니다.

5.3 이상치 차원(Outlier Dimensions)의 영향

6개 모델의 임베딩에서 평균 벡터를 기준으로 3σ 이상 벗어나는 이상치 차원을 식별한 뒤, 이들을 제거했을 때와 같은 수의 비이상치 차원을 제거했을 때의 성능을 비교했다.

Table 1 (원논문): 이상치 차원 제거 vs. 비이상치 차원 제거의 성능 비교.

6개 모델 중 5개에서 이상치 차원을 제거한 결과가 비이상치 차원 제거와 사실상 동일하다. E5-Mistral만 약간의 차이(0.651 vs 0.626)를 보이지만, 이 격차(0.025 nDCG@10)도 50% 차원 제거 시의 미미한 성능 하락을 설명하기에는 턱없이 부족하다. 이상치 차원의 수 자체도 전체 임베딩 대비 극소수(E5-Mistral 기준 32/4096 = 0.8%)여서, 이것이 현상의 주된 원인이라고 보기 어렵다.

세 가지 기존 가설이 모두 기각되었으니, 새로운 관점이 필요하다.

---

6. 차원 기여도 분석 (Section 4)

6.1 방법론: 차원별 성능 기여 측정

저자들은 입력 귀인(input attribution) 방법에서 영감을 받아, 각 임베딩 차원을 하나씩 제거하면서 다운스트림 성능 변화를 측정했다. 가중치를 0으로 만드는 대신 해당 차원을 아예 제거하는 방식을 택한 이유는, 각 차원이 취할 수 있는 값의 범위가 다양하기 때문에 영점화(zeroing)의 효과가 일정하지 않기 때문이다.

6.2 Degrading Dimensions의 발견

Figure 4: NanoBEIR(위)와 MTEB(아래) 벤치마크에서 각 차원을 제거했을 때의 평균 성능. 빨간 선은 원래 성능, 파란 점은 제거 시 성능이 올라가는 degrading dimension. (원논문)

Figure 4가 이 논문의 가장 인상적인 결과물이다. 6개 모델 × 2개 벤치마크 = 12개 조합 전부에서 빨간 수평선(원래 성능) 위에 찍힌 파란 점이 매우 많다. 파란 점 하나하나가 "이 차원을 빼면 성능이 오히려 올라간다"는 뜻이다.

구체적으로 보면, Contriever의 NanoBEIR에서는 768개 차원 중 498개(65%)가 degrading dimension이고, MTEB에서도 398개(52%)가 그렇다. 모든 모델에서 degrading dimension의 비율이 40~65% 수준으로, 절반에 가까운 차원이 성능에 부정적 영향을 미친다.

두 번째로 중요한 관찰은 이 degrading dimension들이 임베딩 벡터 전체에 균일하게 분포한다는 점이다. 특정 구간에 모여 있지 않고 고르게 퍼져 있기 때문에, 무작위로 차원을 제거하면 좋은 차원과 나쁜 차원이 비슷한 비율로 빠지고, 결과적으로 성능 변화가 상쇄된다.

6.3 Degrading Dimensions만 선택적으로 제거하면?

Figure 5: Degrading dimension만 제거하면(파란 선) 성능이 유지되거나 오히려 향상되고, Improving dimension만 제거하면(주황 선) 급격히 하락. 회색은 Last-K 절단. (원논문)

이 가설을 검증하기 위해 degrading dimension만 순서대로 제거하는 실험을 했다. Figure 5 오른쪽(Sentence-T5)에서 파란 선을 보면, degrading dimension을 20%까지 제거했을 때 성능이 원래보다 오히려 올라간다. Contriever(왼쪽)에서도 degrading dimension 제거 시 성능 하락 속도가 Last-K 절단보다 훨씬 느리다. 반대로, improving dimension만 제거하면(주황 선) 성능이 가파르게 떨어진다.

이건 매우 실용적인 시사점을 준다. 태스크별로 degrading dimension을 식별해서 제거하면, 차원 수를 줄이면서 동시에 성능을 올릴 수 있다는 뜻이거든.

6.4 E5-Mistral의 Outlier Degrading Dimensions

Figure 13: E5-Mistral에서 OD(이상치 차원, 주황), ODD(이상치 degrading dimension, 파랑), 그리고 둘의 교집합(빨간 별)의 분포. (원논문)

E5-Mistral은 다른 모델들보다 일부 degrading dimension의 영향이 유독 크다(Figure 4a에서 빨간 선 위로 훨씬 높이 튀어오른 점들). Figure 13에서 보면, 성능에 극단적으로 부정적인 영향을 미치는 차원(ODD: Outlier Degrading Dimensions)이 19개 있고, 이 중 12개가 임베딩 값 자체도 이상치인 차원(OD)과 겹친다. 이상치 차원이라고 다 중요한 건 아니지만, 일부는 정말로 큰 부정적 영향을 미친다는 것이다. E5-Mistral이 90% 차원 제거 후에도 90%의 성능을 유지하는 극단적 강건성은 이 outlier degrading dimension들 덕분일 수 있다.

6.5 Degrading Dimensions의 태스크 간 공유

Figure 6: X개 이상의 데이터셋에서 공유되는 degrading dimension 비율(DD Ratio). K는 원래 임베딩 크기. (원논문)

같은 차원이 여러 태스크에서 동시에 degrading으로 나타나는지를 확인한 결과가 Figure 6이다. 13개 전체 데이터셋에서 공통으로 degrading인 차원은 없지만, 상당수의 차원이 5개 이상의 데이터셋에서 공통으로 나쁜 영향을 미친다. MPNet의 경우 전체 차원의 20% 이상이 5개 데이터셋에서 동시에 degrading이다. 이건 도메인 특화 방법으로 degrading dimension을 식별·제거하는 게 가능할 수 있다는 힌트를 준다.

---

7. 무작위 절단 vs. PCA

Table 2 (원논문): 50% 차원 축소 시 무작위 절단 vs. PCA의 상대 성능 비교. E5-Mistral은 NanoBEIR 사용.

무작위 절단은 학습 데이터도 필요 없고, 추론 시 추가 연산도 없는 가장 단순한 차원 축소 방법이다. 그런데 Table 2를 보면, PCA와의 격차가 생각보다 크지 않다. MTEB에서는 대부분 3%p 이내의 차이이고, Contriever BEIR에서는 무작위 절단(87.3%)이 PCA(77.3%)를 오히려 10%p나 앞선다. E5-Mistral + PCA 조합에서는 상대 성능이 100%를 넘기기도 하는데, 이는 PCA가 degrading dimension의 영향을 줄이는 효과가 있기 때문으로 보인다. 반대로 Contriever에서 PCA가 오히려 나쁜 건, PCA의 주성분 방향이 반드시 태스크 성능과 정렬되지 않기 때문일 것이다.

실무 관점에서 보면, 별도 학습 없이 임베딩 차원을 절반으로 줄여 저장 비용과 검색 속도를 개선할 수 있다는 건 꽤 매력적인 옵션이다.

---

8. 인과 언어 모델(Causal LM)에서의 관찰

텍스트 인코더뿐 아니라 생성 모델에서도 비슷한 현상이 나타나는지 확인하기 위해, Llama 3.1 8B와 Qwen 2.5 7B의 마지막 히든 표현을 절반으로 줄이는 실험도 수행했다. Unembedding 행렬도 대응되게 축소한 뒤, 6개 생성 태스크에서 평가했다.

Table 3 (원논문): LLM의 마지막 히든 표현을 절반으로 줄였을 때의 성능. 상대 성능 80% 이상인 경우 볼드.

MMLU, SQUAD-V2에서는 두 모델 모두 80% 이상의 상대 성능을 유지한다. 특히 Qwen의 MMLU(0.988)와 SQUAD-V2(0.999)는 거의 성능 손실이 없다. 하지만 GSM8K(수학 추론)에서는 두 모델 모두 성능이 거의 0으로 떨어진다. 수학적 추론은 표현의 모든 차원을 밀도 있게 활용하는 것으로 보이며, 이 점에서 텍스트 인코더의 검색·분류 태스크와는 양상이 다르다.

First(앞쪽 절반 제거)와 Last(뒷쪽 절반 제거)의 차이가 거의 없다는 점도 텍스트 인코더 실험과 일치한다. 어느 쪽을 지우든 결과가 비슷하다는 건 정보가 특정 위치에 집중되지 않는다는 뜻이다.

Table 4 (원논문): 나머지 3개 데이터셋에서의 LLM 절단 결과.

Table 4를 보면 COPA와 DROP에서는 성능이 크게 떨어지지만, HellaSwag에서는 높은 상대 성능을 유지한다. 태스크에 따라 표현 공간 활용 방식이 다르다는 점을 시사하며, LLM에서의 이 현상은 텍스트 인코더만큼 일관적이지 않아 추가 연구가 필요하다.

---

9. 추가 실험 및 부록 (Appendix)

9.1 시드 변화에 따른 강건성 (A.1)

Figure 7: 3개의 서로 다른 랜덤 시드로 대비 학습한 T5 모델의 NanoBEIR 상대 성능. (원논문)

T5를 3개의 다른 시드(42, 727, 1122)로 대비 학습시킨 결과, 절단 크기에 따른 상대 성능 곡선이 거의 동일하다. 60%까지는 95% 이상의 상대 성능을 유지하고, 70%부터 하락이 시작되며, 95% 이상 제거하면 급격히 떨어진다. 학습 시 랜덤성과 무관하게 이 현상이 재현된다는 확인이다.

9.2 문서 랭킹 보존 (A.3)

Figure 8: 원본 임베딩과 절단 임베딩이 만드는 문서 랭킹 간의 Spearman 순위 상관 계수. (원논문)

Figure 8은 검색 시나리오에서 왜 성능이 유지되는지를 직접적으로 보여준다. 50% 절단 시 모든 모델이 0.8 이상의 순위 상관을 보이며, E5-Mistral은 0.95 수준이다. 문서 순위 자체가 거의 보존되니 nDCG@10 같은 랭킹 기반 메트릭이 크게 떨어지지 않는 것이다.

9.3 데이터셋별 상세 결과 (A.4)

Figure 9: BEIR 및 NanoBEIR의 각 데이터셋에서 무작위 절단 시 상대 성능. (원논문)

Figure 10: MTEB 12개 분류 데이터셋에서 무작위 절단 시 상대 성능. (원논문)

Figure 9와 10은 개별 데이터셋 수준의 결과를 보여준다. BEIR(Figure 9)에서는 MS MARCO, TREC-COVID, NFCorpus 등 대부분의 데이터셋이 벤치마크 평균과 유사한 패턴을 따르며, 데이터셋별 편차가 크지 않다. MTEB(Figure 10)에서는 분류 태스크들이 검색보다 더 강건한 경향을 보이는데, 특히 AmazonCounterfactual(AC), Banking77(B7) 같은 태스크는 80% 절단 후에도 85% 이상의 상대 성능을 유지한다.

9.4 BERT에서의 비등방성/차원 붕괴 분석 (A.5)

Figure 11: BERT에서의 대비 학습에 따른 성능, 비등방성, 차원 붕괴 변화. T5(Figure 3)와 동일한 패턴. (원논문)

Figure 11은 T5에서 관찰한 결과(Figure 3)가 BERT에서도 재현됨을 보여준다. Pearson 상관이 -0.35(Uniform Loss), 0.39(IsoScore), -0.30(Corr Mean)으로 모두 약하다. 모델 아키텍처와 무관하게, 비등방성이나 차원 붕괴가 절단 강건성을 설명하지 못한다는 결론이 강화된다.

9.5 나머지 모델의 Degrading/Improving 차원 제거 결과 (A.6)

Figure 12: MPNet, E5, E5-Mistral, Paraphrase-MiniLM에서 degrading/improving 차원만 제거했을 때의 성능 곡선. (원논문)

Figure 5에서 Contriever와 Sentence-T5만 보여줬는데, Figure 12는 나머지 4개 모델의 결과다. 패턴은 일관적이다: degrading dimension만 제거(파란 선)하면 성능이 유지되거나 오히려 향상되고, improving dimension만 제거(주황 선)하면 급격히 하락한다. MPNet과 E5-Mistral에서는 degrading dimension을 60%까지 제거해도 원래 성능의 96~100%를 유지하는 것이 인상적이다. E5 (large)에서도 degrading 제거 곡선이 Last-K 곡선을 항상 상회한다.

---

10. 강점과 한계

강점

• 폭넓고 체계적인 실험 설계: 6개 모델(17M~7B) × 26개 태스크에 걸쳐 일관된 결과를 보여준다. 모델 크기, 아키텍처, 학습 방법의 다양성 덕분에 발견의 일반성에 대한 신뢰가 높다.
• 기존 가설의 체계적 기각: 비등방성, 차원 붕괴, 이상치 차원이라는 세 가지 기존 가설을 통제된 실험으로 하나씩 기각하고 나서 새로운 관점을 제시하는 흐름이 논리적으로 탄탄하다. 특히 대비 학습 체크포인트를 활용해 같은 모델 계열 내에서 변수를 통제한 점이 좋다.
• 새로운 분석 프레임워크: 차원 기여도 분석(dimension attribution analysis)이라는 간단하지만 효과적인 방법을 제안했고, 이를 통해 degrading dimension이라는 개념을 도입했다. 이건 향후 텍스트 인코더 개선 연구의 새로운 방향을 열어준다.
• 실용적 가치: 무작위 절단만으로도 PCA에 필적하는 차원 축소가 가능하다는 결과는, 추가 학습이나 연산 없이 임베딩 저장·검색 비용을 줄이려는 실무자에게 직접적으로 유용하다.

한계 및 아쉬운 점

• Degrading dimension의 원인 미규명: 왜 이렇게 많은 차원이 성능에 부정적인 영향을 미치는지에 대한 답은 제시하지 못한다. 사전학습 초기부터 생기는 건지, 파인튜닝 과정에서 발생하는 건지, 아키텍처 특성인지 — 이 질문들이 열려 있다.
• 단일 차원 분석의 한계: 차원 기여도를 한 번에 하나씩만 측정했기 때문에, 차원 간 상호작용(interaction)은 포착하지 못한다. 개별적으로는 degrading이지만 특정 조합에서는 중요한 차원이 있을 수 있다. 저자들도 인정하듯 조합 분석은 계산 비용이 막대하긴 하다.
• 영어 전용: 모든 실험이 영어 데이터에 한정되어 있어, 다국어 환경에서 동일한 현상이 관찰되는지는 미지수다.
• MRL(Matryoshka Representation Learning)과의 비교 부족: MRL은 임베딩 절단을 전제로 학습하는 방법인데, 예비 실험에서 "MRL과 비MRL 모델의 절단 성능이 비슷했다"는 언급만 있고 본격적인 분석은 빠져 있다. 이건 이 논문의 발견이 MRL의 존재 이유에 의문을 제기하는 것이기도 해서, 더 깊이 파고들었으면 좋았을 것이다.
• LLM 실험의 불완전성: GSM8K 같은 추론 태스크에서 성능이 완전히 붕괴하는 건 흥미로운 관찰인데, 왜 태스크에 따라 차이가 나는지에 대한 분석이 부족하다.

---

11. 마치며

이 논문의 메시지는 단순하면서도 강력하다: 현재 최고 수준의 텍스트 인코더들이 만드는 임베딩에는 성능을 깎아먹는 차원이 절반 가까이 섞여 있고, 이 때문에 아무 차원이나 절반을 지워도 성능이 거의 떨어지지 않는다.

이 발견이 가져오는 함의는 두 가지다. 실용적으로는, 별도의 학습 없이 임베딩 차원을 절반으로 줄여 저장 공간과 검색 연산을 절약할 수 있다. 연구적으로는, 왜 이렇게 많은 degrading dimension이 생기는지를 이해하고 이를 줄이는 학습 방법을 개발하면, 같은 차원 수에서 더 높은 성능을 달성할 가능성이 열린다. 저자들이 언급한 것처럼, Jing et al. (2021)이 차원 붕괴를 줄이는 학습 목표를 제안했고 He et al. (2024)가 이상치 차원을 줄이는 트랜스포머 아키텍처를 제안한 것의 연장선상에서, degrading dimension을 줄이는 연구가 텍스트 임베딩의 다음 개선 방향이 될 수 있다.

개인적으로 한 가지 아쉬운 건, 동시 진행된 Tsukagoshi and Sasano (2025)의 연구가 prompt 기반 인코더에서의 redundancy 관점을 제시했는데, 두 논문의 관점을 통합하면 더 풍부한 이해가 가능했을 것이라는 점이다. 그래도 이 논문은 "임베딩 차원이 많으면 무조건 좋다"는 암묵적 가정에 정면으로 도전하는 신선한 연구다.

---

References

• Takeshita et al. (2025). Randomly Removing 50% of Dimensions in Text Embeddings has Minimal Impact on Retrieval and Classification Tasks. arXiv:2508.17744.
• Kovaleva et al. (2021). BERT Busters: Outlier Dimensions that Disrupt Transformers. Findings of ACL-IJCNLP.
• Jing et al. (2021). Understanding Dimensional Collapse in Contrastive Self-supervised Learning.
• He et al. (2024). Understanding and Minimising Outlier Features in Transformer Training. NeurIPS.
• Tsukagoshi and Sasano (2025). Redundancy, Isotropy, and Intrinsic Dimensionality of Prompt-based Text Embeddings. Findings of ACL.
• Kusupati et al. (2022). Matryoshka Representation Learning. NeurIPS.
• Ait-Saada and Nadif (2023). Is Anisotropy Truly Harmful? A Case Study on Text Clustering. ACL.