논문 리뷰: Geometric and Dynamic Scaling in Deep Transformers

1. 들어가며

Transformer를 100층, 200층으로 깊게 쌓으면 어떤 일이 벌어질까요? 파라미터가 늘어난 만큼 표현력이 좋아질 것 같지만, 실제로는 **랭크 붕괴(Rank Collapse)**라는 벽에 부딪힙니다. 층을 통과할수록 토큰 표현들이 서로 비슷해지다가 결국 하나의 방향으로 수렴해버리는 현상인데, Dong et al. (2021)은 순수 self-attention만 쌓으면 랭크가 깊이에 대해 이중 지수적으로(doubly exponentially) 감소한다는 것을 이론적으로 증명한 바 있죠. LayerNorm 같은 정규화 기법을 붙여도 이 문제는 완전히 사라지지 않습니다.

이번에 리뷰할 논문은 NYU의 Haoran Su와 Stony Brook의 Chenyu You가 쓴 "Geometric and Dynamic Scaling in Deep Transformers" (arXiv 2601.01014)입니다. 이 논문은 랭크 붕괴를 최적화 트릭의 문제가 아니라 기하학의 문제로 재정의합니다. 잔차 연결(Residual Connection)의 표준 형태 $\mathbf{x}_{l+1} = \mathbf{x}_l + \mathcal{F}(\mathbf{x}_l)$ 가 암묵적으로 깔고 있는 두 가지 가정 — (1) 업데이트는 유클리드 공간에서 아무 방향으로나 더해도 된다, (2) 정보는 계속 쌓기만 하면 된다 — 이 둘 다 틀렸다는 게 저자들의 주장입니다.

해법으로 제시하는 것이 **Manifold-Geometric Transformer (MGT)**입니다. 방향은 매니폴드의 접공간(tangent space)으로 제약하고(mHC), 크기와 부호는 데이터에 따라 동적으로 조절해 "지우기(erasure)"까지 가능하게 만들자(DDL)는 두 축의 결합이죠.

미리 짚고 넘어가야 할 점이 하나 있습니다. 이 논문에는 실험 결과가 없습니다. 4장의 제목부터 "Proposed Evaluation Framework"이고, 결론에서도 "empirical validation is the immediate next step"이라고 명시합니다. 즉 이론적 프레임워크와 실험 설계까지만 담긴 제안(proposal) 성격의 포지션 페이퍼입니다. 이 점을 염두에 두고 읽으면, 오히려 "울트라딥 아키텍처 연구를 어떻게 설계해야 하는가"에 대한 청사진으로서 읽는 재미가 있습니다.

2. 문제 정의: 잔차 연결의 두 가지 구조적 결함

저자들이 지적하는 표준 잔차 연결의 결함은 두 가지입니다.

첫째, 방향의 문제. 기하학적 딥러닝 관점에서 데이터는 고차원 공간 $\mathbb{R}^D$ 전체가 아니라 그 안에 임베딩된 저차원 비선형 매니폴드 $\mathcal{M} \subset \mathbb{R}^D$ 위를 흐릅니다. 그런데 제약 없는 업데이트 $\mathcal{F}(\mathbf{x}_l)$ 는 매니폴드 "바깥"을 가리키는 경우가 많고, 이렇게 궤도를 이탈한 표현이 층마다 누적되면 특징이 퇴화하고 랭크가 무너진다는 거죠.

둘째, 동역학의 문제. 덧셈만 가능한 잔차 연결은 본질적으로 "쓰기 전용(write-only)" 메모리입니다. 문맥이 바뀌어 이전 정보를 지워야 할 때 네트워크는 $\mathcal{F}(\mathbf{x}) \approx -\mathbf{x}$ 를 학습해야 하는데, 이게 최적화 관점에서 상당히 어렵습니다. 결과적으로 깊이가 깊어질수록 노이즈가 계속 쌓이는 "잔차 누적(residual accumulation)" 문제가 생깁니다.

이상적인 레이어 업데이트라면 (1) 현재 상태의 접공간 $T_{\mathbf{x}}\mathcal{M}$ 안에 놓여야 하고(기하학적 유효성), (2) 그 접방향을 따라 앞으로 갈 수도, 뒤로 갈 수도(지우기), 멈출 수도(항등) 있어야 한다(동적 순회)는 것이 논문의 출발점입니다.

3. 두 개의 기둥: mHC와 DDL

MGT는 완전히 새로운 발명이라기보다, 최근 나온 두 프레임워크를 결합한 것입니다. 각각을 이해해야 MGT가 보입니다.

3.1 Manifold-Constrained Hyper-Connections (mHC)

Xie et al. (2025)의 mHC는 원래 하이퍼커넥션(hyper-connection)을 Birkhoff polytope 같은 기하학적 매니폴드로 제약해 width 스케일링의 안정성을 확보하는 프레임워크입니다. 이 논문은 그 관점을 빌려와, 업데이트를 데이터 매니폴드의 접공간 $T_{\mathbf{x}}\mathcal{M}$ 으로 사영하는 "공간적 정규화기(spatial regularizer)"로 재해석합니다. 원논문이 연결의 **기하(geometry)**에 집중했다면, 이 논문은 그 연결 위에서의 **동역학(dynamics)**이 추가로 필요하다고 주장하는 구도입니다.

3.2 Deep Delta Learning (DDL)

Zhang et al. (2026)의 DDL은 잔차 연결을 Delta Operator라는 항등 행렬의 rank-1 섭동으로 일반화합니다:

$\mathbf{A}(\mathbf{X}) = \mathbf{I} - \beta(\mathbf{X})\mathbf{k}(\mathbf{X})\mathbf{k}(\mathbf{X})^\top \tag{1}$

여기서 $\mathbf{k}(\mathbf{X}) \in \mathbb{R}^d$ 는 단위 정규화된 반사 방향 벡터, $\beta(\mathbf{X}) \in [0, 2]$ 는 데이터 의존적 게이트 스칼라입니다. 이 연산자의 스펙트럼을 분석하면 $(d-1)$ 개의 고유값은 $\mathbf{k}^\perp$ 방향으로 정확히 1이고, $\mathbf{k}$ 방향의 고유값만 $(1-\beta)$ 가 되어 $\det(\mathbf{A}) = 1 - \beta$ 입니다. 덕분에 $\beta$ 하나로 세 가지 기하학적 모드를 오갈 수 있습니다:

항등 ( $\beta \to 0$ ): $\mathbf{A} \to \mathbf{I}$ , 입력 보존 (레이어 건너뛰기)
사영 ( $\beta \to 1$ ): $\mathbf{A} \to \mathbf{P}_{\mathbf{k}^\perp}$ , $\mathbf{k}$ 성분 삭제 ( $\det \to 0$ , 망각)
반사 ( $\beta \to 2$ ): $\mathbf{A} \to \mathbf{H}_{\mathbf{k}}$ , $\mathbf{k}$ 성분 반전 ( $\det \to -1$ , Householder 반사)

$\beta = 2$ 일 때 고전적인 Householder 반사가 복원된다는 점에서, DDL은 "상수 2를 학습 가능한 게이트로 바꾼 Householder 변환의 일반화"인 셈입니다. 완전한 Delta Residual Block은 여기에 rank-1 값 주입을 더합니다:

$\mathbf{X}_{l+1} = \mathbf{A}(\mathbf{X}_l)\mathbf{X}_l + \beta_l \mathbf{k}_l \mathbf{v}_l^\top = \mathbf{X}_l + \beta_l \mathbf{k}_l (\mathbf{v}_l^\top - \mathbf{k}_l^\top \mathbf{X}_l) \tag{2}$

우변의 전개형이 이 수식의 백미인데요. $\mathbf{k}_l^\top \mathbf{X}_l$ 는 지워질 옛 메모리, $\mathbf{v}_l^\top$ 는 새로 쓰일 정보이고, 둘 다 같은 게이트 $\beta_l$ 로 스케일됩니다. 연상 기억(associative memory) 이론의 고전적인 Delta Rule이 그대로 복원되는 구조로, 네트워크의 깊이를 "반복적 메모리 정제 과정"으로 재해석할 수 있게 해줍니다.

3.3 왜 둘을 합치는가

DDL만 쓰면 지우기는 되지만 제약 없는 유클리드 공간에서 작동하므로 최적화가 불안정해질 수 있고, mHC만 쓰면 방향은 안정적이지만 매니폴드 위에서 뒤로 가는(지우는) 수단이 없습니다. mHC가 유효한 방향을 정의하고 DDL이 크기와 부호를 제어하는 직교적 역할 분담 — 이것이 MGT의 설계 논리입니다.

4. Manifold-Geometric Transformer

Figure 1 (원논문): MGT 블록의 아키텍처. 파이프라인이 세 단계로 분리된다 — (1) LayerNorm과 MHSA/FFN이 raw 업데이트 $V_{raw}$ 를 만드는 Generation, (2) mHC 사영 $\Psi$ 가 업데이트를 접공간으로 제약하는 Geometric Rectification, (3) DDL 게이트 $\beta(\mathbf{X}_l)$ 가 업데이트 크기를 조절하는 Dynamics. 스킵 연결이 항등 사상을 보존하는 가운데 게이트된 출력 $G = \beta \odot \hat{V}$ 가 선택적 지우기와 누적을 가능하게 한다.

Figure 1이 이 논문의 설계 철학을 한 장에 담고 있습니다. 표준 Post-LN Transformer 블록과 비교해보면 차이가 명확한데요. 기존 블록은 sub-layer 출력을 바로 잔차에 더하지만, MGT는 그 사이에 두 개의 관문을 끼워 넣습니다. 특징의 **생성(generation)**과 **전파(propagation)**를 명시적으로 분리한 것으로, sub-layer(MHSA/FFN)는 후보 업데이트를 제안할 뿐이고, 그 후보가 실제로 상태에 반영될지·얼마나 반영될지·심지어 반대 방향으로 반영될지는 mHC와 DDL이 결정하는 구조입니다. 위쪽 경로(보라색 mHC)가 방향을, 아래쪽 경로(주황색 DDL 게이트)가 크기를 담당하는 병렬 구조라는 점도 눈여겨볼 만합니다. DDL 게이트가 $V_{raw}$ 가 아니라 입력 $\mathbf{X}_l$ 을 직접 보고 $\beta$ 를 계산하기 때문에, "현재 상태가 어떤 상태인지"에 근거해 지울지 쌓을지를 판단하게 됩니다.

4.1 mHC 사영: Soft Subspace Approximation

접공간을 정확히 계산하려면 고유분해가 필요한데, 이건 매 레이어마다 하기엔 비용이 너무 큽니다. 그래서 저자들은 학습 가능한 게이팅으로 직교 사영을 근사하는 Soft Subspace Approximation을 씁니다:

$\mathbf{V}_{mHC} = \mathbf{V}_{raw} \odot \sigma(\text{LN}(\mathbf{X}_l \mathbf{W}_{gate})) \tag{5}$

$\mathbf{W}_{gate} \in \mathbb{R}^{D \times D}$ 가 입력을 "의미적 중요도 점수"로 변환하고, 시그모이드를 통과한 이 점수가 raw 업데이트의 각 차원을 게이팅합니다. 현재 의미적 궤적 $\mathbf{X}_l$ 에서 벗어나는 차원(노이즈 부분공간)을 억제한다는 아이디어죠.

솔직히 이 부분은 논문에서 가장 논쟁적인 지점입니다. 저자들 스스로 "선형대수적 의미의 엄밀한 직교 사영은 아니다"라고 인정하는데, 사실 수식 (5)만 놓고 보면 이건 사영이라기보다 highway network 계열의 입력 조건부 시그모이드 게이팅에 가깝습니다. "접공간으로의 제약"이라는 기하학적 서사와 실제 구현 사이의 간극이 꽤 크다는 점은 뒤에서 다시 짚겠습니다.

4.2 Delta Controller: 부호까지 학습하는 게이트

MGT는 mHC로 정제된 $\mathbf{V}_{mHC}$ 를 Delta Residual Block의 value 브랜치로 쓰고, 게이트 $\beta$ 는 다음과 같이 계산합니다:

$\boldsymbol{\beta} = \lambda \cdot \tanh(\mathbf{X}_l \mathbf{W}_\beta + \mathbf{b}_\beta) + \epsilon \tag{6}$

$\mathbf{W}_\beta \in \mathbb{R}^{D \times D}$ , $\mathbf{b}_\beta \in \mathbb{R}^D$ 는 학습 파라미터, $\lambda$ 는 출력 범위 스케일, $\epsilon$ 은 수치 안정성을 위한 오프셋입니다. 원래 DDL이 시그모이드로 $\beta \in [0, 2]$ 를 만들었던 것과 달리, tanh 파라미터화는 $\beta \in [-\lambda + \epsilon, \lambda + \epsilon]$ 로 음수 게이트까지 허용합니다. 게이트가 음수면 업데이트 방향 자체가 뒤집히니, 더 공격적인 부호 있는 업데이트가 가능해지는 거죠. $\epsilon = 0$ , $\lambda = 1$ 로 두면 표준 범위 $[-1, 1]$ 이 복원됩니다.

4.3 MGT 업데이트 규칙

최종 업데이트는 수식 (2)의 additive form을 따라 "지우면서 쓰는" 동기화된 형태입니다:

$\mathbf{X}_{l+1} = \mathbf{X}_l + \boldsymbol{\beta} \odot (\mathbf{V}_{mHC} - \alpha \cdot \mathbf{X}_l) \tag{7}$

여기서 $\alpha \in \mathbb{R}$ 은 지우기 강도를 제어하는 학습 가능한 스칼라입니다. 원래 DDL의 완전한 형태에서 이 자리는 사영 $\text{Proj}_{\mathbf{k}}(\mathbf{X}_l)$ 인데, 계산 편의를 위해 스케일된 상태 $\alpha \cdot \mathbf{X}_l$ 로 근사했습니다. 괄호 안을 보면 직관이 잡히는데요. $\mathbf{V}_{mHC}$ 가 $\alpha \mathbf{X}_l$ 보다 크면(value-dominant) 새 특징이 누적되고, 작으면(projection-dominant) 기존 특징이 지워지며, $\beta$ 가 음수면 이 관계가 통째로 반전됩니다.

논문은 이 결합의 이점을 Proposition 3.5로 정리합니다:

방향 제어 (mHC): $\mathbf{V}_{mHC}$ 가 근사적으로 접공간 $T_{\mathbf{X}}\mathcal{M}$ 안에 놓이도록 보장해 매니폴드 이탈을 방지
크기 제어 (DDL): $\beta$ 가 정제된 방향을 따라 스텝 크기를 조절 — 누적, 지우기, 반전 모두 가능
그래디언트 보존: Theorem 3.2에 의해 $(d-1)$ 개 고유값이 정확히 1로 유지되므로, 공격적인 지우기 중에도 $\mathbf{k}^\perp$ 를 통한 그래디언트 흐름은 방해받지 않음

세 번째 성질이 이론적으로 가장 매력적인 부분입니다. "지우기"라는 파괴적인 연산을 하면서도 나머지 $(d-1)$ 차원의 그래디언트 하이웨이는 그대로 유지된다는 것이니까요. 다만 이 보장은 rank-1 Delta Operator에 대한 것이고, 실제 MGT 업데이트 (7)은 요소별(elementwise) 게이팅이라 이 정리가 그대로 적용되는지는 별도 논증이 필요해 보입니다.

4.4 전체 알고리즘

블록 하나의 forward pass를 정리하면 다음과 같습니다 (원논문 Algorithm 1):

입력: 상태 X_l ∈ R^{S×D}, sub-layer F
출력: 갱신된 상태 X_{l+1}

# 1. Raw Generation
X̃_l   ← LayerNorm(X_l)
V_raw ← F(X̃_l)                          # 표준 attention/FFN 업데이트

# 2. mHC Projection (Geometry)
G_manifold ← σ(LN(X_l · W_gate))          # 접공간 제약의 소프트 근사 (Eq. 5)
V_mHC      ← V_raw ⊙ G_manifold           # 유효 매니폴드로 업데이트 사영

# 3. DDL Dynamics (Kinematics)
β ← λ · tanh(X_l · W_β + b_β) + ε         # 스텝 크기와 부호 결정 (Eq. 6)

# 4. Geometric Update (Householder)
V_delta ← V_mHC − α · X_l                 # 명시적 상태 감산 항 포함
X_{l+1} ← X_l + β ⊙ V_delta               # 일반화된 반사/업데이트 실행

return X_{l+1}

네 단계가 모듈로 깔끔하게 분리되어 있어서, 각 구성요소를 켜고 끄는 ablation이 자연스럽게 설계됩니다. 파라미터 오버헤드는 mHC가 $\sim 2L \cdot d^2$ , DDL이 $\sim 2L \cdot d^2$ 로 합쳐서 약 25% 수준입니다. 가볍다고 하기엔 애매한 크기라, 나중에 실험에서 "동일 파라미터 비교"가 반드시 필요한 이유이기도 합니다.

5. 제안된 평가 프레임워크: 다섯 개의 실험 설계

4장은 이 논문의 절반을 차지하는데, 통상적인 실험 섹션이 아니라 앞으로 수행할 실험의 프로토콜입니다. 저자들은 목표를 명확히 못 박습니다 — SOTA 정확도 달성이 아니라, "접공간 제약 + 지우기 동역학이 깊은 네트워크의 신호 전파를 개선한다"는 가설을 반증 가능한 형태로 검증하는 것.

공통 세팅은 WikiText-2/103 언어 모델링과 Synthetic Copy Task(시퀀스 앞 절반을 뒤 절반으로 복사하는 과제로, 정보 흐름을 정밀 분석할 수 있음)이고, 베이스라인은 Standard(Post-LN), +mHC Only, +DDL Only, MGT(Full)의 4종입니다.

Configuration	mHC	DDL	기대 동작
1. Standard	-	-	대조군 (베이스라인 손실)
2. +mHC Only	✓	-	안정성 향상, 지우기 능력 제한
3. +DDL Only	-	✓	지우기 가능, 매니폴드 이탈 위험
4. MGT (Full)	✓	✓	최적: 안정적 기하 + 동적 지우기

Table 1 (원논문): Ablation 프로토콜. 네 가지 구성으로 기하적 기여와 동적 기여를 분리한다.

실험 1 — 랭크 진화 분석. 깊이 $L \in \{12, 24, 48, 100\}$ , $d = 256$ 에서 Standard와 MGT를 비교합니다. 핵심 메트릭은 은닉 상태 행렬의 정규화된 유효 랭크(effective rank)입니다:

$\text{Rank}_{eff}(\mathbf{X}_l) = \frac{\exp(H(\boldsymbol{\sigma}(\mathbf{X}_l)))}{\min(S, D)} \tag{8}$

$H(\boldsymbol{\sigma}) = -\sum_i \hat{\sigma}_i \log \hat{\sigma}_i$ 는 정규화된 특이값 $\hat{\sigma}_i = \sigma_i / \sum_j \sigma_j$ 의 섀넌 엔트로피이고, $\min(S, D)$ 로 나눠 $[0, 1]$ 범위로 만듭니다. 검증할 가설은 두 가지 — H1: Standard는 $L \to 100$ 에서 $\text{Rank}_{eff} \to 0$ 으로 단조 감소한다, H2: MGT는 100층에서도 $\text{Rank}_{eff} > 0.5$ 를 유지한다. 설계에서 눈에 띄는 디테일은 랜덤 초기화가 아니라 학습된 모델(WikiText-2, 50 에포크)에서 랭크를 측정한다는 점입니다. 랭크 붕괴가 최적화 과정에서 발현되는 현상임을 정확히 반영한 선택이거든요.

실험 2 — Ablation (시너지 검증). 48층에서 위 4종 변형을 동일 하이퍼파라미터( $d=256$ , 배치 64, 학습률 $10^{-3}$ )로 학습하고, 초가산적(super-additive) 효과를 측정하는 Synergy Coefficient를 정의합니다:

$\mathcal{S} = \underbrace{(\mathcal{L}_{base} - \mathcal{L}_{MGT})}_{\text{MGT Gain}} - \underbrace{(\mathcal{L}_{base} - \mathcal{L}_{mHC})}_{\text{mHC Gain}} - \underbrace{(\mathcal{L}_{base} - \mathcal{L}_{DDL})}_{\text{DDL Gain}} \tag{9}$

$\mathcal{S} > 0$ 이면 두 구성요소의 결합이 각각의 합보다 크다는 뜻으로, "직교적 시너지" 가설이 지지됩니다. 단순히 "합치니 좋더라"가 아니라 시너지를 정량화하는 지표를 미리 정의해둔 점은 방법론적으로 배울 만합니다.

실험 3 — β 분포 분석. 100층 MGT를 100 에포크 학습하며 에포크 $\{0, 25, 50, 100\}$ 에서 학습된 $\beta$ 값의 분포를 추적합니다. 예측은 일종의 **상전이(phase transition)**입니다. 초기 층에서는 $\mathbb{E}[\beta] > 0$ (저수준 특징 추출을 위한 누적 모드), 깊은 층에서는 상당 비율의 $\beta < 0$ (초기 층 표현을 "되돌리는" 반전 모드)이 나타나고, 학습이 진행될수록 부호가 바뀌는 전환 지점이 뚜렷해질 것이라는 겁니다. 이 실험이 성공한다면 "네트워크 깊이 = 반복적 메모리 정제"라는 DDL의 해석에 강력한 근거가 될 텐데, 개인적으로는 다섯 실험 중 가장 결과가 궁금한 실험입니다.

실험 4 — 깊이 스케일링. 총 파라미터를 $\sim$ 20M으로 고정한 채 깊이 $L \in \{24, 48, 100, 200\}$ 을 바꿔가며(폭은 그에 맞게 조정) 최종 perplexity, 수렴 속도, 시드 간 손실 분산을 비교합니다. 파라미터를 고정하고 깊이-폭 트레이드오프를 보는 설계라서, "MGT의 이득이 단순히 파라미터 25% 추가에서 오는 것 아니냐"는 반론을 차단할 수 있습니다. 200층 모델은 gradient checkpointing으로 A100 한 장에서 학습한다고 명시했고요.

실험 5 — 언어 모델링. WikiText-103에서 $d=512$ , $L=24$ , $h=8$ , $\sim$ 50M 파라미터의 동일 아키텍처로 Standard와 MGT를 100 에포크 학습하고, OpenWebText로도 확장해 스케일링 거동을 확인합니다. 기대 결과는 MGT의 더 낮은 perplexity와 안정적인 학습 곡선, 그리고 깊이가 깊어질수록 벌어지는 격차입니다.

6. Appendix: 수학적 기초

부록 A는 본문에서 인용한 정리들의 완전한 증명을 담고 있습니다. 새로운 결과라기보다 표준적인 선형대수를 정리한 것에 가깝지만, 논문의 자기완결성을 위해 요약해둡니다.

A.1 Householder 변환. 비영벡터 $\mathbf{k} \in \mathbb{R}^d$ 에 대한 Householder 행렬은

$\mathbf{H}_{\mathbf{k}} = \mathbf{I} - 2\frac{\mathbf{k}\mathbf{k}^\top}{\|\mathbf{k}\|_2^2} \tag{10}$

이고, 단위벡터면 $\mathbf{H}_{\mathbf{k}} = \mathbf{I} - 2\mathbf{k}\mathbf{k}^\top$ 로 단순해집니다. 대칭성, 직교성, 대합성( $\mathbf{H}_{\mathbf{k}}^2 = \mathbf{I}$ ), 그리고 $\det(\mathbf{H}_{\mathbf{k}}) = -1$ 이 성립합니다.

A.2 Theorem 3.2의 증명. $\mathbf{A} = \mathbf{I} - \beta\mathbf{k}\mathbf{k}^\top$ 에 대해, $\mathbf{k}^\perp$ 의 임의 벡터 $\mathbf{u}$ 는 $\mathbf{A}\mathbf{u} = \mathbf{u} - \beta\mathbf{k}(\mathbf{k}^\top\mathbf{u}) = \mathbf{u}$ 이므로 고유값 1의 고유벡터이고( $d-1$ 개), $\mathbf{k}$ 자신은 $\mathbf{A}\mathbf{k} = (1-\beta)\mathbf{k}$ 로 고유값 $(1-\beta)$ 를 가집니다. 따라서 $\det(\mathbf{A}) = 1-\beta$ .

A.3 직교성 조건 (Corollary A.3). Delta Operator가 직교 행렬이 되는 것은 $|1-\beta| = 1$ , 즉 $\beta \in \{0, 2\}$ 일 때뿐입니다. 항등과 완전 반사의 양 끝점에서만 노름이 보존되고, 그 사이의 $\beta$ 는 모두 $\mathbf{k}$ 방향 정보를 수축시킨다는 뜻이죠. "지우기"가 스펙트럼 수준에서 어떻게 구현되는지를 보여주는 깔끔한 관찰입니다.

A.4 Additive form의 유도. $\mathbf{X}_{l+1} = \mathbf{A}(\mathbf{X}_l)\mathbf{X}_l + \beta_l\mathbf{k}_l\mathbf{v}_l^\top$ 를 전개하면

$\mathbf{X}_{l+1} = \mathbf{X}_l - \beta_l\mathbf{k}_l\mathbf{k}_l^\top\mathbf{X}_l + \beta_l\mathbf{k}_l\mathbf{v}_l^\top = \mathbf{X}_l + \beta_l\mathbf{k}_l(\mathbf{v}_l^\top - \mathbf{k}_l^\top\mathbf{X}_l) \tag{13-15}$

로, "erase-and-write" 의미론이 대수적으로 드러납니다.

A.5–A.6 벡터 케이스와 차원 대응. 은닉 상태가 벡터( $d_v = 1$ )일 때 업데이트는 $\mathbf{x}_{l+1} = \mathbf{x}_l + \beta_l(v_l - \mathbf{k}_l^\top\mathbf{x}_l)\mathbf{k}_l$ 로 단순해지고, $(v_l - \mathbf{k}_l^\top\mathbf{x}_l)$ 가 데이터 의존적 스텝 크기 역할을 합니다 (Eq. 16). Transformer 문맥에서는 Delta Operator가 은닉 차원 $D$ 에 작용하며, $d = D$ 로 두고 토큰별로 파라미터를 공유해 적용합니다.

7. 비판적 리뷰

강점

문제를 보는 프레임이 좋습니다. 랭크 붕괴를 정규화나 초기화로 땜질할 증상이 아니라 잔차 업데이트의 기하학적 구조 결함으로 보는 관점은, DeepNet(Wang et al., 2022)류의 "어떻게든 1000층을 학습시키는" 엔지니어링 접근과 결이 다릅니다. "방향(where)과 크기(how much)의 직교 분해"라는 설계 원리도 명료하고요.

실험 설계의 반증 가능성. 결과 없이 프로토콜만 제시하는 논문임에도, 각 실험에 정량적 가설(H1/H2, $\mathcal{S} > 0$ , β 상전이)을 미리 못 박아둔 점은 평가할 만합니다. 사전 등록(pre-registration) 연구의 형식에 가까워서, 나중에 결과가 나오면 가설 대비 성패를 투명하게 판정할 수 있는 구조입니다.

DDL의 스펙트럼 해석. $\beta$ 하나로 항등–사영–반사를 연속적으로 오가는 rank-1 연산자의 기하학은 그 자체로 우아하고, $(d-1)$ 차원 그래디언트 하이웨이 보존이라는 성질은 지우기 메커니즘의 실용성을 뒷받침하는 좋은 이론적 근거입니다.

약점

실험이 없습니다. 가장 근본적인 한계입니다. 초록과 서론의 어조("We propose...", "predicts that...")는 신중하게 쓰였지만, 결국 모든 주장 — 시너지, 랭크 보존, 상전이 — 은 현재로선 검증되지 않은 가설입니다. v3까지 개정되는 동안에도 결과가 추가되지 않은 점은 아쉽습니다.

"매니폴드"라는 이름과 실제 구현의 간극. mHC 모듈(Eq. 5)은 실제로는 $\sigma(\text{LN}(\mathbf{X}_l\mathbf{W}_{gate}))$ 에 의한 요소별 게이팅입니다. 접공간 $T_{\mathbf{x}}\mathcal{M}$ 이 학습되거나 추정되는 부분이 어디에도 없고, 이 게이트가 왜 접공간 사영을 근사하는지에 대한 이론적 논증도 없습니다. 냉정하게 보면 highway network(1505.00387)의 게이팅과 구조적으로 거의 같은데, 리만 기하학의 언어로 포장된 면이 있습니다. Xie et al.의 원래 mHC가 Birkhoff polytope 제약이라는 구체적 수학을 갖고 있던 것과 비교하면 간극이 더 도드라집니다.

이론과 업데이트 규칙의 불일치. Proposition 3.5의 그래디언트 보존은 rank-1 Delta Operator(Theorem 3.2)에 의존하는데, 실제 MGT 업데이트(Eq. 7)는 $\text{Proj}_{\mathbf{k}}(\mathbf{X}_l)$ 를 $\alpha\mathbf{X}_l$ 로, rank-1 구조를 요소별 게이팅으로 바꾼 근사입니다. 근사 후에도 스펙트럼 성질이 유지되는지는 증명되지 않았습니다. Appendix의 증명들이 모두 원래 DDL 연산자에 대한 것이라, 정작 MGT 자체의 이론은 비어 있는 셈입니다.

베이스라인 선택. 대조군이 Post-LN Transformer인데, 2026년 시점의 표준은 Pre-LN이고 깊은 네트워크에서 Post-LN이 불안정하다는 건 이미 잘 알려진 사실입니다(Xiong et al., 2020). Post-LN 대비 개선은 상대적으로 쉬운 목표라서, Pre-LN + DeepNet 같은 강한 베이스라인과의 비교가 없으면 설득력이 떨어질 수 있습니다. LayerScale(Touvron et al., 2021)이나 gated attention 계열과의 비교도 필요해 보이고요.

참조 문헌의 특이점. 이 논문의 두 기둥인 mHC(arXiv 2512.24880)와 DDL(arXiv 2601.00417)은 각각 2025년 12월, 2026년 1월에 공개된 극히 최신 프리프린트입니다. 본 논문(2601.01014)이 DDL 공개 후 약 2주 만에 나온 결합 제안이라는 점은, 이 분야의 속도를 보여주는 동시에 두 기반 프레임워크 자체의 검증도 아직 진행 중임을 뜻합니다.

포지셔닝

깊이 스케일링 연구의 계보에서 보면, DeepNet이 초기화·정규화로, CaiT/LayerScale이 잔차 브랜치의 학습 가능한 스케일로, ReZero류가 게이트 초기화로 접근했던 문제를, 이 논문은 "잔차 업데이트의 기하학적 재설계"라는 더 급진적인 층위에서 접근합니다. 아이디어의 실질적 신규성은 mHC와 DDL의 결합 및 tanh 기반 음수 게이트 확장에 있고, 나머지는 두 선행 프레임워크의 정리에 가깝습니다.

8. 마무리

정리하면, 이 논문은 (1) 랭크 붕괴와 잔차 누적을 기하학적 관점에서 통합적으로 진단하고, (2) 방향 제약(mHC)과 동적 지우기(DDL)를 결합한 MGT 블록을 설계했으며, (3) 이를 검증할 다섯 개 실험의 프로토콜을 반증 가능한 가설과 함께 제시했습니다. 아키텍처 아이디어 자체보다는 "잔차 연결을 접다발(tangent bundle) 위의 제어된 벡터로 보는" 관점의 전환, 그리고 가설을 미리 등록해두는 실험 설계 방식에서 얻어갈 것이 많은 논문입니다.

다만 실험 결과가 나오기 전까지 MGT의 실효성은 열린 질문입니다. 특히 β 분포의 상전이 가설(실험 3)이 실제로 관찰되는지, 그리고 소프트 게이팅이 정말 "기하학적" 효과를 내는 것인지 아니면 단순히 게이팅의 일반적 이점인지를 분리해낼 수 있는지가 후속 결과의 관전 포인트가 될 겁니다. 100층 이상 스케일링에 관심 있는 분이라면 이 저자들의 후속 버전과, 기반이 된 Deep Delta Learning(arXiv 2601.00417) 원논문을 함께 추적해볼 만합니다.

참고 자료

원논문: Geometric and Dynamic Scaling in Deep Transformers (arXiv 2601.01014)
Deep Delta Learning: arXiv 2601.00417
mHC: Manifold-Constrained Hyper-Connections: arXiv 2512.24880
Rank collapse 이론: Attention is not all you need (ICML 2021)