논문 리뷰: Semantic Geometry of Sentence Embeddings

Semantic Geometry of Sentence Embeddings 리뷰

문장 임베딩의 내부 구조를 정보이론으로 해석하고, 해석 가능한 의미 방향(feature direction)을 식별하는 프레임워크를 제안한 논문

논문 정보

항목	내용
제목	Semantic Geometry of Sentence Embeddings
저자	Matthieu Tehenan (University of Cambridge)
학회/저널	EMNLP 2025 Findings
논문 링크	ACL Anthology

1. 들어가며

문장 임베딩(sentence embedding)은 현대 NLP의 사실상 표준 인프라다. 시맨틱 검색, RAG(Retrieval-Augmented Generation), 클러스터링, 패러프레이징 — 문장을 벡터로 바꿔서 코사인 유사도를 재는 파이프라인은 어디에나 쓰이고 있다. 그런데 정작 이 벡터 안에 무엇이 들어 있는지는 아무도 모른다. 두 문장의 코사인 유사도가 0.85라고 해서, 그 0.85가 주제 유사성 때문인지 구문 구조 때문인지 구별할 방법이 없다.

단어 임베딩(word embedding) 시대에는 상황이 달랐다. Word2Vec, GloVe 같은 모델에서는 king - man + woman ≈ queen 같은 선형 관계(linear analogy)가 발견되었고, 벡터 공간의 기하학적 구조가 의미 관계를 직접 반영한다는 사실이 잘 알려져 있었다. 문장 임베딩에서도 비슷한 구조가 존재할까? 이 질문에 답하려는 시도가 바로 이 논문이다.

Cambridge 대학의 Matthieu Tehenan은 문장 임베딩 공간에 **의미적 기하 구조(semantic geometry)**가 존재한다는 가설을 세우고, 이를 정보이론(information theory)으로 형식화한다. 대비학습(contrastive learning)으로 학습된 임베딩의 내적(inner product)이 PMI(Pointwise Mutual Information)에 비례한다는 기존 결과를 출발점으로 삼아, 잠재 피처(latent feature)가 초구면(hypersphere) 위의 **의미 영역(semantic region)**을 형성하고, 이 영역들 사이의 포함/배제/중첩 관계가 집합론적 구조를 갖는다는 것을 보인다. 그리고 이 피처들을 실제로 식별하고 합성할 수 있는 방법을 제시한 뒤, 합성 데이터와 실제 데이터에서 실험으로 검증한다.

2. 기존 연구의 한계

2.1 문장 임베딩과 유사도 측정

현대 문장 임베딩 모델(Sentence-BERT, SimCSE, GTE 등)은 사전학습된 트랜스포머를 문장 수준 데이터로 파인튜닝하여 만들어진다. 입력 문장의 N개 토큰에 대해 문맥화된 토큰 임베딩 $h_1, h_2, \ldots, h_N$ 을 생성한 뒤, 평균 풀링(mean pooling) 등의 연산으로 고정 크기 벡터를 얻는 식이다. 이후 InfoNCE 기반 대비 손실로 학습하면, 의미적으로 유사한 문장은 가깝게, 다른 문장은 멀게 배치된다.

문제는 이렇게 학습된 임베딩의 활용 방식이 코사인 유사도라는 단일 스칼라 값으로 환원된다는 점이다. 두 벡터의 내적 하나로 유사/비유사를 판단하니, 유사도의 원인이나 구성 요소를 분해해서 볼 수가 없다. 왜 유사한지, 어떤 측면에서 유사한지에 대한 정보가 모조리 사라지는 거다.

2.2 기존 해석 가능성 연구의 한계

임베딩 내부를 들여다보려는 시도가 없었던 건 아니다. 대표적인 접근법이 **프로빙(probing)**으로, 임베딩에서 특정 언어적 속성(구문, 품사, 함의 관계 등)을 선형 분류기로 복원할 수 있는지 테스트하는 방식이다. Conneau et al. (2017), Hewitt and Manning (2019) 등이 이 방향의 대표 연구인데, 프로빙은 "정보가 존재하는가"는 알려주지만 "그 정보가 어떻게 조직되어 있는가"는 설명하지 못한다.

또 다른 흐름은 변분 방법(variational methods)이나 피처 분해(feature decomposition)를 통해 임베딩을 해석 가능한 성분으로 분리하려는 시도다. 하지만 이들은 소수의 피처에만 적용 가능하고, 전체 문장 의미로 확장하기 어렵다는 한계가 있다. 결국, 문장 임베딩의 표현 기하학(representational geometry) — 피처가 어떻게 조직되고 합성되는지 — 에 대한 체계적인 설명은 아직 부재했다.

3. 핵심 아이디어

이 논문의 출발점은 간단하지만 강력하다: 대비학습으로 훈련된 문장 임베딩의 내적은 PMI의 근사값이라는 사실이다. 이 연결고리를 활용하면, 벡터 공간의 기하학적 연산(내적, 덧셈, 투영)을 정보이론적 양(PMI, 상호정보량, 엔트로피)으로 재해석할 수 있다.

단어 임베딩에서 PMI와의 관계는 이미 잘 알려져 있었지만(GloVe, Word2Vec의 이론적 분석), 이것을 문장 수준으로 확장하고 피처의 조직 구조까지 설명하는 프레임워크는 이 논문이 처음이다. 피처 방향을 식별하고, 그 방향들을 합성하여 더 복잡한 의미 구조를 만들 수 있다는 점이 실용적 가치를 갖는다.

4. 제안 방법 (Method)

4.1 문장 표현 공간의 형식화

논문은 먼저 대비학습과 상호정보량의 관계를 형식화한다.

Proposition 3.1. 대비 손실 $\mathcal{L}$ 로 학습된 임베딩 함수 $f: \mathcal{S} \rightarrow S^{d-1}$ 에 대해, 임의의 두 문장 $x, y \in \mathcal{S}$ 의 임베딩 내적은 다음을 만족한다:

$\langle f(x), f(y) \rangle \propto \text{PMI}(x, y) + c$

여기서 $c$ 는 상수이다. 즉, 임베딩 공간에서의 내적을 정보량(information content)으로 재작성할 수 있다. 네거티브 샘플이 올바르게 추출될 때, 임베딩 공간은 실제 PMI 분포의 저차원 근사(low-rank approximation)를 제공하며, 단위 초구면(unit hypersphere) 위에 제약된다.

이로부터 **문장 표현 공간(sentence representation space)**을 커널 공간 $(S^{d-1}, \langle \cdot, \cdot \rangle)$ 으로 정의할 수 있다. 단일 임베딩 $f(x)$ 는 $\text{PMI}(x, \cdot)$ — 즉, $x$ 와 나머지 모든 문장 사이의 PMI 값을 인코딩하는 유한 차원 코드인 셈이다.

Figure 1: Geometric-information correspondence

Figure 1: 기하학-정보이론 대응 관계. (왼쪽) 초구면 $S^{d-1}$ 위에서 문장 임베딩 $f(x)$ , $f(y)$ 는 내적 $\langle f(x), f(y) \rangle \approx \text{PMI}(x, y)$ 를 통해 의미 관계를 인코딩한다. (오른쪽) 잠재 피처 $F_1$ , $F_2$ 에 대응하는 의미 영역 $M_{F_1}$ , $M_{F_2}$ 는 엔트로피 $H(F_1)$ , $H(F_2)$ 와 상호정보량 $\text{MI}(F_1, F_2)$ 로 분해된다. (원논문)

Figure 1은 이 논문의 핵심 직관을 압축하고 있다. 왼쪽의 기하학적 관점에서는 문장 임베딩들이 초구면 위의 점으로 존재하고, 잠재 피처 $F_1$ , $F_2$ 가 각각의 확률 질량 $P(F_1)$ , $P(F_2)$ 를 갖는 영역에 대응한다. 오른쪽의 정보이론적 관점에서는 같은 구조가 엔트로피와 상호정보량의 벤 다이어그램으로 표현된다. 두 피처의 겹침은 상호정보량 $\text{MI}(F_1, F_2)$ 에 해당하고, 독립적인 부분은 조건부 엔트로피 $H(F_1 | F_2)$ , $H(F_2 | F_1)$ 에 대응한다. 기하학과 정보이론이 동전의 양면이라는 걸 한 장의 그림으로 보여주는 것이다.

4.2 PMI의 분해와 잠재 피처

다음으로, PMI 커널의 내부 분해(decomposition)를 다룬다.

Definition 3.4. 피처(feature) $F$ 는 문장들에 걸쳐 반복적으로 나타나는 잠재 인자(latent factor)로, 인식 가능한 의미적 또는 구조적 측면(예: 개념, 시제, 고차 의미 구조)을 포착한다.

Proposition 3.5. 문장 $x \in \mathcal{S}$ 의 임베딩 $f(x)$ 를 구성하는 잠재 피처 $(F_1, \ldots, F_n)$ 에 대해, 임의의 $y \in \mathcal{S}$ 에 대해 다음이 성립한다:

$\text{PMI}(x, y) = \sum_{i=1}^{n} \text{PMI}(F_i, y \mid F_{<i})$

여기서 $F_{<i} = (F_1, \ldots, F_{i-1})$ 이다.

이 분해는 상호정보량의 연쇄 법칙(chain rule)에서 직접 따라 나온다. 각 항 $\text{PMI}(F_i, y \mid F_{<i})$ 는 이전 피처들이 주어졌을 때 $F_i$ 가 $y$ 에 대해 제공하는 **증분 정보량(incremental information)**이다. 임베딩의 각 좌표 $f_i(x)$ 가 피처 $F_i$ 의 강도(strength)를 반영하며, 유사도는 피처별 기여의 합으로 분해된다:

$\langle f(x), f(y) \rangle = \sum_{i=1}^{d} f_i(x) \cdot f_i(y)$

4.3 점에서 영역으로: 의미 영역(Semantic Region)

개별 임베딩을 점(point)으로 보는 관점을 넘어서, 공통 피처를 공유하는 문장 집합이 초구면 위에 **영역(region)**을 형성한다는 관점으로 확장한다.

Definition 3.8 (의미 영역). 전역 데이터 분포 $p(x)$ 와 잠재 피처 $F_i$ 에 대해, 임계값 $\tau \in (0, 1)$ 에서의 의미 영역은 다음과 같이 정의된다:

$M_{F_i}(\tau) = \{ x \in S^{d-1} : p_{F_i}(x) \geq \tau \}$

이 영역의 확률 질량은 $P(M_{F_i}(\tau)) = \int_{M_{F_i}(\tau)} p(x) \, dx$ 이다. 의미 영역들 사이에는 집합론적 관계가 성립한다:

포함(inclusion): $M_{F_i} \subseteq M_{F_j}$ — 피처 $F_i$ 가 $F_j$ 를 함의 (예: 'corgi' ⊆ 'dog')
배제(exclusion): $M_{F_i} \cap M_{F_j} = \emptyset$ — 두 피처가 동시에 나타나지 않음
중첩(overlap): $M_{F_i} \cap M_{F_j} \neq \emptyset$ — 문장이 두 피처를 동시에 표현

이 구성은 단순한 쌍별 유사도를 넘어, 상호정보량 기반의 의미 집합의 조직화된 기하학을 정의하는 것이다.

4.4 피처 식별 방법

이론을 실제로 적용하려면, 임베딩 공간에서 피처 방향을 식별하는 구체적 방법이 필요하다.

Proposition 4.1. 잠재 피처 $F$ 를 표현하는 문장 집합 $S_F \subset \mathcal{S}$ 의 임베딩이 von Mises-Fisher(vMF) 분포를 따른다면, 정규화된 중심점(centroid) $\hat{\mu}_F$ 가 피처 $F$ 의 참 평균 방향 $\mu_F$ 에 대한 최대우도 추정량(MLE)이다.

vMF 분포는 초구면 위의 방향 데이터(directional data)에 대한 가우시안 분포의 아날로그다. 같은 피처를 공유하는 문장들의 임베딩은 하나의 공통 방향 주위에 클러스터를 이루는 경향이 있고, 그 중심의 정규화된 평균이 피처 방향의 최적 추정량이 된다. 각 문장의 피처 표현 강도는 투영(projection) $\langle f(x), \mu_{F_i} \rangle$ 로 측정할 수 있다.

4.5 피처의 합성(Compositionality)

피처 방향을 식별하면, 벡터 공간의 대수적 연산을 통해 피처를 합성할 수 있다.

Proposition 4.4. 추정된 피처 방향 $\{\hat{\mu}_{F_i}\}_{i=1}^{k}$ 에 대해, 임의의 선형 결합 $\hat{\mu}_G = \sum_{i=1}^{k} \alpha_i \hat{\mu}_{F_i}$ 는 합성 피처 $G$ 에 대응하는 새 방향을 정의한다.

예를 들어, 'South America'와 'North America'에 대응하는 피처 방향을 더하면 'America'라는 더 일반적인 피처 방향을 얻는다. 피처 간 차이 $\hat{\mu}_{F_1} - \hat{\mu}_{F_2}$ 는 두 피처 사이의 정보 차이를 인코딩하며, 이를 다른 맥락에 전이하면 유추(analogical reasoning)가 가능해진다. 이는 단어 벡터에서 관찰된 선형 규칙성이 문장 임베딩으로 확장될 수 있음을 시사한다.

피처 분포의 합성도 가능하다. 혼합(mixture)은 영역의 합집합 $M_G \approx \bigcup_i M_{F_i}$ 에 대응하고, 곱(product)은 교집합 $M_G \approx \bigcap_i M_{F_i}$ 에 대응한다. 이를 통해 'corgi ⊂ dog ⊂ animal' 같은 포함 관계나 대조 관계를 피처 방향의 연산으로 표현할 수 있다.

5. 실험 결과

5.1 실험 설정

모델: gte-large-en-v1.5 (Alibaba-NLP), all-mpnet-base-v2, all-MiniLM-L6-v2 (Sentence-Transformers), multilingual-e5-large-instruct (IntFloat) — MTEB 벤치마크에서 높은 성능을 보이는 4개 모델
데이터셋:
- WordNet: 목표 단어를 상위어(hypernym)/하위어(hyponym)로 체계적으로 대체하여 생성한 합성 데이터셋. mammal, food, plant, cognition 4개 루트 개념 사용
- TREC: 질문 분류 데이터셋. 6개 상위 카테고리(ABBR, DESC, ENTY, HUM, LOC, NUM)와 세부 카테고리의 계층 구조
평가 지표: 코사인 유사도(cosine similarity), 클러스터링 정확도(clustering accuracy)
하드웨어: NVIDIA A100 GPU, PyTorch, RunPod

5.2 의미 영역의 존재 검증

첫 번째 실험은 "개념이 의미 영역 내에 조직되어 있는가"를 테스트한다. 구체적으로, 상위어(예: 'dog')의 임베딩이 하위어(예: 'corgi', 'poodle')들의 임베딩보다 각 하위어에 더 가까운지를 검증한다. "There is a corgi"라는 문장이 "There is a dog"보다는 "There is a German Shepherd"와 덜 유사해야 한다는 것이 기본 가설이다.

Feature	gte-large Closest	gte-large Centroid	mpnet Closest	mpnet Centroid	MiniLM Closest	MiniLM Centroid	e5-large Closest	e5-large Centroid
mammal.n.01	80.84	75.00	66.93	62.50	68.98	75.00	71.00	75.00
food.n.01	72.56	100.00	69.32	87.50	67.79	87.50	69.38	87.50
plant.n.02	72.84	62.50	60.49	87.50	69.69	75.00	74.49	75.00
cognition.n.01	73.21	37.50	49.23	25.00	51.73	25.00	43.81	25.00

Table 2 (원논문): 다양한 문장 임베딩 모델에서 최근접 매칭(Closest)과 중심점 기반(Centroid) 유사도 비교. "Closest"는 하위어 문장이 상위어 문장과 가장 유사한 비율, "Centroid"는 상위어가 해당 의미 카테고리 중심점에 가장 가까운 비율.

gte-large-en-v1.5가 mammal 카테고리에서 80.84%의 Closest 정확도를 보이는 반면, cognition에서는 모든 모델이 상대적으로 낮은 수치를 기록한다. 이는 추상적 개념일수록 의미 영역의 경계가 모호해지기 때문으로 해석된다. 또한 all-MiniLM-L6-v2 같은 작은 모델이 전반적으로 낮은 수치를 보이는데, 이는 압축된 기하학적 표현에서 정보를 인코딩하고 구조화하는 능력이 제한적이기 때문일 것이다.

food 카테고리에서 Centroid 점수가 87.5100%에 달하는 건 인상적이다. 음식 관련 개념들이 임베딩 공간에서 비교적 깔끔하게 클러스터링된다는 뜻이며, 상위어('food')가 하위어들의 무게 중심 근처에 위치한다는 가설을 강하게 뒷받침한다. 반면 cognition의 Centroid 점수가 2537.5%에 그치는 건, 인지 관련 개념들이 다양한 의미 집합과 교차하면서 깔끔한 영역을 형성하지 못한다는 뜻이다.

Figure 2: WordNet "dog" 동의어 집합에서 상위어 문장(19번 행, "dog")과 하위어 문장들 간의 코사인 유사도 히트맵. gte-large-en-v1.5 모델 사용. (원논문)

Figure 2에서 19번 행/열이 'dog'(상위어)인데, 다른 하위어들과의 유사도가 전반적으로 높은 편이지만, 히트맵의 대각선 외 영역에서도 상당한 유사도를 보인다. 'pug'(1)과 'lapdog'(2) 사이, 'poodle'(11)과 'toy dog'(15) 사이 등 의미적으로 가까운 하위어 쌍에서 높은 유사도가 관찰된다. 'mexican hairless'(12)는 다른 개 품종과 상대적으로 낮은 유사도를 보이는데, 이 품종의 특이성이 임베딩에 반영된 것으로 보인다. 논문 저자도 언급하듯, "dog"이 이 집합에서 완벽한 의미 영역(semantic region)을 형성하지는 않으며, 중첩되는 다른 의미 집합들의 간섭 효과가 존재한다.

Figure 3: WordNet "dairy products" 동의어 집합에서 상위어 문장(10번 행)과 하위어 문장들 간의 코사인 유사도 히트맵. all-mpnet-base-v2 모델 사용. (원논문)

Figure 3은 "dairy products" 카테고리를 보여주는데, dog 카테고리보다 더 뚜렷한 구조를 보인다. 'dairy_products'(10)가 대부분의 하위어와 높은 유사도를 보이고, 'milk'(1)과 'cream'(8), 'butter'(5)와 'cheese'(7) 같은 의미적으로 관련된 쌍에서 클러스터가 형성된다. 'half-and-half'(6)은 유제품들과 전반적으로 높은 유사도를 보여, 넓은 의미 범위를 반영한 것으로 보인다.

5.3 의미 영역의 계층 구조

두 번째 실험은 의미 영역 간의 **계층적 순서 관계(hierarchical ordering)**를 테스트한다. WordNet 계층에서 하위어 $B_i$ 에 대해 $B_i \preceq A \preceq A' \preceq A''$ 형태의 순서가 임베딩 공간에서도 보존되는지 확인하는 것이다.

Feature	gte-large N+1	gte-large N+2	gte-large N+3	mpnet N+1	mpnet N+2	mpnet N+3	MiniLM N+1	MiniLM N+2	MiniLM N+3	e5-large N+1	e5-large N+2	e5-large N+3
mammal.n.01	0.7050	0.6800	0.6500	0.6100	0.5900	0.5700	0.6050	0.5800	0.5600	0.6150	0.5900	0.5700
food.n.01	0.7150	0.6700	0.6450	0.6050	0.5800	0.5500	0.5950	0.5700	0.5400	0.6100	0.5800	0.5500
plant.n.02	0.7200	0.7000	0.6700	0.6000	0.5900	0.5700	0.6000	0.5800	0.5600	0.6200	0.6000	0.5700
institution.n.01	0.7350	0.6900	0.6750	0.6200	0.6000	0.5800	0.6150	0.5900	0.5800	0.6050	0.5900	0.5650
cognition.n.01	0.7100	0.6650	0.6400	0.5900	0.5700	0.5400	0.6000	0.5700	0.5500	0.6100	0.5800	0.5600

Table 1 (원논문): WordNet 계층 수준 N+1부터 N+3까지의 유사도 비교. 모든 모델에서 계층이 올라갈수록(N+1 → N+3) 유사도가 감소하는 순서 관계가 대체로 보존된다.

Table 1의 결과는 명확하다. 모든 모델, 모든 카테고리에서 N+1 > N+2 > N+3의 감소 추세가 일관되게 나타난다. 가장 가까운 상위어(N+1)에서 유사도가 가장 높고, 계층이 올라갈수록 유사도가 떨어진다. gte-large-en-v1.5가 전반적으로 가장 높은 유사도를 보이는데, 모델 크기와 표현 능력이 계층 구조의 포착에 직접적으로 영향을 미친다는 것을 시사한다.

다만 예외도 있다. 논문에서 언급하듯, "animal"이 "mammal"보다 관련 단어와 더 유사한 경우가 있는데, 이는 학습 코퍼스에서의 동시출현 빈도(co-occurrence frequency)의 영향이다. 임베딩이 순수한 어휘 계층이 아니라 교차하는 의미 구조(intersecting semantic structures)를 포착하기 때문에 나타나는 현상이다.

실제 데이터(TREC)에서도 유사한 패턴이 관찰된다.

TREC Coarse Class	gte-large-en-v1.5	all-mpnet-base-v2	all-MiniLM-L6-v2	multilingual-e5-large-instruct
ABBR	0.74	0.72	0.68	0.76
DESC	0.72	0.70	0.66	0.74
ENTY	0.68	0.66	0.61	0.71
HUM	0.78	0.75	0.70	0.80
LOC	0.77	0.74	0.69	0.79
NUM	0.69	0.67	0.62	0.72

Table 3 (원논문): TREC 데이터셋에서의 계층 보존 정확도. 각 값은 문장이 자신의 세부(fine) 중심점에 상위(coarse) 중심점보다 더 가까운 비율의 평균 정확도.

multilingual-e5-large-instruct가 거의 모든 카테고리에서 가장 높은 정확도를 보이고, HUM(사람 관련 질문)과 LOC(장소 관련 질문)에서 특히 강하다. 이 두 카테고리는 의미적 경계가 비교적 명확하기 때문이다. 반면 ENTY(엔티티)와 NUM(숫자)은 상대적으로 낮은데, 다양한 유형의 엔티티나 수치 질문이 혼재되어 세부 카테고리 간 경계가 모호해지기 때문으로 보인다.

Figure 4: TREC 데이터셋 Human 클래스에서 세부(fine) 중심점과 상위(coarse) 중심점에 대한 코사인 유사도 분포. (원논문)

Figure 5: TREC 데이터셋 Entity 클래스에서 세부(fine) 중심점과 상위(coarse) 중심점에 대한 코사인 유사도 분포. (원논문)

Figure 4와 5는 세부 중심점(파란색)과 상위 중심점(주황색)에 대한 코사인 유사도 분포를 히스토그램으로 보여준다. 두 그림 모두에서 파란색 분포가 주황색보다 오른쪽으로 치우쳐 있다 — 문장들이 세부 중심점에 더 가깝다는 뜻이다. 이는 세부 카테고리가 더 좁은 의미 범위를 갖기 때문에 임베딩이 더 정밀하게 클러스터링된다는 것을 보여준다.

Human 클래스(Figure 4)에서는 두 분포의 분리가 상당히 뚜렷한 반면, Entity 클래스(Figure 5)에서는 분포 간 겹침이 더 크다. Entity 카테고리는 동물, 색상, 기술 등 매우 다양한 하위 유형을 포함하므로, 의미적으로 인접한 세부 클래스들이 간섭 효과를 일으키는 것으로 해석된다. Table 3에서 ENTY의 정확도(0.61~~0.71)가 HUM(0.70~~0.80)보다 낮은 이유가 여기서도 확인된다.

5.4 베이스라인 비교: Multi-Prototype vs. Linear Probing

프레임워크의 실용적 가치를 검증하기 위해, 중심점 기반 다중 프로토타입(multi-prototype) 방법과 선형 프로빙(linear probing)을 비교한다.

Multi-Prototype 방법: 각 클래스(상위/세부)에 대해 K-Means로 $k=3$ 개의 클러스터 중심점을 계산하고, $\ell_2$ -정규화. 새 샘플은 가장 가까운 프로토타입의 레이블로 분류 (zero-shot)
Linear Probing: 동일 임베딩에 다항 로지스틱 회귀 분류기를 80/20 분할로 학습

결과:

Multi-Prototype: 상위 레이블 0.792, 세부 레이블 0.714
Linear Probing: 상위 레이블 0.885, 세부 레이블 0.712

상위 분류에서는 선형 프로빙이 약 9% 앞서지만, 세부 분류에서는 두 방법이 거의 동등하다(0.714 vs. 0.712). 결정적인 차이는 속도다 — 다중 프로토타입 방법은 선형 프로빙 학습 시간의 5% 미만으로 실행된다. 파라미터 학습이 전혀 필요 없고, 데이터를 한 번만 순회하면 되기 때문이다. 세부 분류에서 성능이 동등하다는 건, 임베딩 공간의 기하학적 구조가 이미 세부 의미 범주를 잘 인코딩하고 있어서 굳이 학습된 분류기 없이도 구조만으로 분류가 가능하다는 뜻이다.

6. 추가 실험 및 부록 (Appendix)

6.1 모델 정보 및 라이선스 (Appendix A)

사용된 4개 모델은 모두 Hugging Face에서 공개된 모델로, Apache 2.0 또는 MIT 라이선스를 따른다.

6.2 실험 세부사항 (Appendix B)

NVIDIA A100 GPU에서 PyTorch 기반으로 실행
각 모델의 Hugging Face 토크나이저를 사용한 전처리
95% 신뢰구간은 1,000회 부트스트래핑으로 산출

6.3 데이터셋 상세 (Appendix C)

WordNet 데이터셋은 mammal, food, plant, cognition 4개 루트 개념에서 시작하여, 상위어의 빈도가 하위어보다 높은 경우를 선별한 뒤 다양한 구문 구조의 문장 쌍을 생성한 것이다. Hugging Face에 공개되어 있다.

6.4 계산 복잡도 (Appendix D)

방법	복잡도
중심점 방법 (Centroid)	$O(Nd + NCd)$
선형 프로빙 (Linear Probing)	$O(T \cdot NCd)$

$N$ 은 샘플 수, $d$ 는 임베딩 차원, $C$ 는 클래스 수, $T$ 는 에포크 수. 중심점 방법은 선형 프로빙 대비 1~2 자릿수(order of magnitude) 더 효율적이다. 파라미터 학습이 없고 데이터를 한 번만 순회하면 되므로, zero-shot 해석 가능성 분석에 최소한의 계산 비용으로 활용 가능하다.

7. 강점과 한계

강점

이론적 기반이 탄탄하다. 대비학습 → PMI 근사 → 정보이론적 분해라는 흐름이 깔끔하게 연결되어 있고, 각 단계에서 명제(proposition)와 관찰(observation)로 형식화되어 있다. 단순히 "이런 현상이 있더라"가 아니라 "왜 이런 구조가 나타나는가"에 대한 설명을 제공한다는 점에서 차별화된다.
실용적이다. Table 2, 3의 결과처럼 의미 영역의 존재가 실증적으로 검증되고, 중심점 기반 분류가 선형 프로빙과 세부 분류에서 동등한 성능을 보이면서 속도는 20배 이상 빠르다. 실제 시스템에 바로 적용 가능한 수준이다.
범용성이 높다. 4개의 서로 다른 아키텍처/크기의 모델에서 일관된 결과를 보여, 특정 모델에 의존하지 않는 일반적 현상임을 확인했다.

한계 및 아쉬운 점

실험 규모가 제한적이다. WordNet 기반 합성 데이터와 TREC이라는 비교적 작은 데이터셋에서만 검증되었다. 대규모 실제 데이터(Wikipedia, Common Crawl 등)에서 의미 영역이 얼마나 깔끔하게 나타나는지는 미지수다.
피처 식별이 수동적이다. "corgi 문장 집합"처럼 이미 피처를 알고 있는 상태에서 중심점을 구하는 방식이라, 사전 지식 없이 피처를 자동 발견하는 메커니즘이 빠져 있다. 저자도 Limitations에서 "지배적 클러스터(dominant clusters)를 자동으로 식별하는 것이 향후 과제"라고 밝히고 있다.
cognition 같은 추상 개념에서 성능이 떨어진다. Table 2에서 cognition의 Closest 정확도가 43~~73%에 그치고 Centroid는 25~~37.5%에 불과하다. 추상적이고 다의적인 개념에 대해서는 프레임워크의 설명력이 약해지며, 이를 보완할 방법이 제시되지 않았다.
vMF 분포 가정의 타당성 검증이 부족하다. 실제 임베딩이 vMF를 얼마나 잘 따르는지에 대한 적합도 검정이 없다. 분포 가정이 깨지는 경우 중심점 추정의 품질이 어떻게 변하는지도 다루지 않았다.
합성(compositionality) 실험이 부재하다. 이론적으로 피처 방향의 덧셈/뺄셈으로 새로운 피처를 합성할 수 있다고 주장하지만, 이를 직접 실험으로 검증하는 부분이 없다.

8. 마치며

이 논문은 문장 임베딩에도 단어 임베딩과 유사한 기하학적 구조가 존재한다는 것을 정보이론적 렌즈를 통해 보여준 작업이다. 대비학습으로 훈련된 임베딩의 내적이 PMI에 비례한다는 기존 결과를 재해석하여, 잠재 피처가 초구면 위의 의미 영역을 형성하고, 이 영역들이 집합론적 관계(포함, 배제, 중첩)를 갖는다는 프레임워크를 구축했다.

실험적으로는 WordNet과 TREC에서 의미 영역의 존재와 계층 구조가 다수 모델에 걸쳐 일관되게 확인되었고, 중심점 기반 방법이 선형 프로빙과 비슷한 분류 성능을 훨씬 적은 계산 비용으로 달성했다. 개인적으로는, 이 프레임워크가 RAG 시스템에서 검색 결과의 이유 설명이나, 임베딩 기반 추천 시스템의 투명성 향상에 직접 활용될 수 있을 것으로 본다.

다만 아직 초기 단계의 연구라는 인상이 강하다. 피처 자동 발견, 대규모 데이터에서의 검증, 합성 연산의 실험적 확인 등 후속 작업이 필요하며, 저자 본인도 이를 인지하고 있다. 그럼에도 "문장 임베딩의 내부 구조를 어떻게 이해할 것인가"라는 질문에 대해, 정보이론이라는 견고한 도구로 체계적인 첫 걸음을 내딛었다는 점에서 가치가 있다.

References

Mikolov et al. (2013). Distributed Representations of Words and Phrases and their Compositionality. NeurIPS.
Pennington et al. (2014). GloVe: Global Vectors for Word Representation. EMNLP.
Reimers (2019). Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks. arXiv:1908.10084.
Gao et al. (2021). SimCSE: Simple Contrastive Learning of Sentence Embeddings. arXiv:2104.08821.
Arora et al. (2016). A Latent Variable Model Approach to PMI-based Word Embeddings. TACL.
Hewitt and Manning (2019). A Structural Probe for Finding Syntax in Word Representations. NAACL-HLT.
Conneau et al. (2017). Supervised Learning of Universal Sentence Representations from Natural Language Inference Data. arXiv:1705.02364.
Ethayarajh et al. (2019). Towards Understanding Linear Word Analogies. arXiv:1810.04882.
Tversky (1977). Features of Similarity. Psychological Review.