논문 리뷰: CASPER: Concept-integrated Sparse Representation for Scientific Retrieval

CASPER: 과학 문헌 검색을 위한 개념 통합 희소 표현

논문 정보
제목: CASPER: Concept-integrated Sparse Representation for Scientific Retrieval
저자: Lam Thanh Do, Linh Van Nguyen, Jiayu Li, David Fu, Kevin Chen-Chuan Chang
소속: University of Illinois Urbana-Champaign, Aalto University
코드: https://github.com/louisdo/CASPER

---

매년 수백만 편이 쏟아지는 과학 논문들 속에서 정말 관련 있는 문헌을 찾아내는 일은 점점 어려워지고 있다. 특히 연구자가 찾는 건 단순히 키워드가 일치하는 문서가 아니라, 같은 **연구 개념(research concept)**을 다루는 논문들이다. "transfer learning"을 검색했을 때 "domain adaptation"이나 "knowledge distillation"을 다룬 논문도 함께 발견되길 원하는 것처럼.

이 논문에서 제안하는 CASPER는 바로 이 지점을 공략한다. 기존의 희소 검색(Learned Sparse Retrieval, LSR) 모델들이 BERT 토큰만을 표현 단위로 쓰는 것과 달리, CASPER는 토큰과 키프레이즈(keyphrase)를 동시에 표현 단위로 활용해 개념 수준의 매칭을 가능하게 한다. 거기에 더해 학술 문헌 내부의 참조 관계를 학습 신호로 활용하는 FRIEREN 프레임워크를 함께 제안하는데, 이 조합이 8개 과학 검색 벤치마크에서 강력한 Dense/Sparse 베이스라인들을 전반적으로 앞선다.

---

배경: 왜 과학 문헌 검색은 어려운가

희소 검색(LSR)의 현황

SPLADE(Formal et al., 2021)를 필두로 한 Learned Sparse Retrieval은 Dense Retrieval의 강력한 대안으로 자리잡았다. 입력 텍스트를 BERT 어휘 크기만큼의 희소 벡터로 인코딩하고, Inverted Index와의 호환성 덕분에 배포 효율이 높으며, 각 차원이 어떤 토큰에 대응하는지 명확하다는 해석가능성(interpretability)도 장점이다.

SPLADE의 기본 수식은 다음과 같다. 입력 문서 $d$에서 토큰 $i$가 어휘 토큰 $j$에 부여하는 중요도를 $w^d_{ij}$라 할 때, 문서 전체에서 $j$의 중요도는 max pooling으로 계산된다:

$w^d_j = \max_{i \in d} \log(1 + \text{ReLU}(w^d_{ij}))$

학습은 triplet $(q_i, d^+_i, d^-_i)$ 집합에서 대조 손실(contrastive loss)과 FLOPS 정규화를 결합해 수행된다:

$\mathcal{L} = \mathcal{L}^{\text{rank}}_{\text{IBN}} + \lambda_q \cdot \mathcal{L}^q_{\text{FLOPS}} + \lambda_d \cdot \mathcal{L}^d_{\text{FLOPS}}$

과학 검색이 직면한 세 가지 문제

그런데 이 SPLADE류 접근법을 과학 도메인에 그대로 적용하면 잘 작동하지 않는다. 저자들은 세 가지 구체적인 장벽을 짚는다.

1) 개념적 표현 단위의 부재. BERT 토큰은 세밀한 어휘 매칭엔 강하지만, "transfer learning"과 "domain adaptation"이 같은 연구 개념의 서로 다른 표현이라는 걸 자체적으로 포착하기 어렵다. SPLADE도 어휘 확장(query expansion)을 시도하지만, 토큰 단위로만 작동하기 때문에 연구 개념 간의 관계를 제대로 반영하지 못한다.

2) 어떤 단위를 개념으로 볼 것인가? 개념을 표현 단위로 쓰겠다고 결정해도, 수백만 편의 논문을 아우를 수 있는 포괄적이고 공통적인 어휘를 어떻게 구성할 것인지가 문제다.

3) 학습 신호의 부족. 기존 데이터 소스들은 개념 수준의 표현을 학습하기에 적합하지 않다. 인용 링크는 의미적 유사성과의 괴리가 있고, 사용자 쿼리·인터랙션 데이터는 독점적이어서 얻기 어렵다. 저자들이 직접 분석한 결과, SciRepEval Search 데이터의 44%가 쿼리가 문서 제목의 부분 문자열이거나 그 역인 경우였다. 이는 "알려진 항목 검색(known-item retrieval)"에 치우쳐 있다는 뜻이다.

---

CASPER: 아키텍처

Figure 1: 학술 참조의 예시

Figure 1: FRIEREN이 활용하는 네 가지 학술 참조 신호의 예시. 제목, 인용 문맥, 저자 지정 키프레이즈, 공동 인용이 각각 쿼리로 사용된다. (원논문)

이 그림이 CASPER의 전체 아이디어를 압축해서 보여준다. 하나의 논문(Document)을 기준으로, 다른 논문들이 그것을 언급하는 방식들 — 인용 문맥(citation context), 공동 인용(co-citation), 저자가 달아둔 키프레이즈, 제목 — 이 모두 "이 논문이 어떤 개념을 다루는지"를 서로 다른 각도에서 설명한다. CASPER는 이 신호들을 무료로, 대규모로 수집할 수 있다는 점을 적극 이용한다.

Figure 2: CASPER 전체 구조

Figure 2: (a) CASPER 모델 아키텍처 — 토큰 레벨과 키프레이즈 레벨의 이중 표현. (b) 학습 과정 — 토큰과 키프레이즈 표현에 대한 분리 학습. (원논문)

CASPER의 기반은 DistilBERT-base다. 이 위에 확장된 어휘(BERT 토큰 + 키프레이즈)를 얹고, MLM 레이어를 통해 각 어휘 차원의 중요도를 예측한다. 핵심은 토큰과 키프레이즈가 동일한 임베딩 공간의 서로 다른 차원을 점유한다는 것이다.

4.1 키프레이즈 어휘 구성

키프레이즈 어휘를 구성하는 방식이 꽤 체계적이다. S2ORC 코퍼스에서 1000만 편의 논문을 샘플링하고, ERU-KG 알고리즘으로 각 문서의 키프레이즈 집합 $K_{d_i}$를 추출한 뒤, **최대 커버리지 문제(maximum coverage problem)**로 어휘 구성을 모델링한다:

$V_k = \arg\max_{V \subseteq K, |V| = |V_k|} \left| \bigcup_{k \in V} D_k \right|$

여기서 $D_k$는 키프레이즈 $k$를 포함하는 문서들의 집합이다. 이 문제는 NP-hard이므로 그리디 알고리즘으로 근사한다 — 매 단계에서 아직 커버되지 않은 문서를 가장 많이 커버하는 키프레이즈를 선택하는 방식.

결과적으로 $|V_k| = 30\text{k}$의 키프레이즈 어휘를 구성하고, 이를 BERT 어휘에 추가해 확장된 어휘를 갖는 모델을 만든다. 새로 추가된 키프레이즈 토큰들은 무작위 초기화되므로, 과학 논문 코퍼스로 MLM 사전학습을 추가로 진행한다.

Table 1: SPLADE vs CASPER 표현 비교

Table 1: SPLADE와 CASPER의 쿼리 표현 비교. CASPER는 토큰 수준 뿐 아니라 "domain adaptation", "knowledge transfer" 같은 개념 수준 매칭이 가능하다.

표에서 바로 차이가 보인다. SPLADE는 개별 단어들에 가중치를 부여하고, 심지어 "brain"이나 "college" 같은 관련 없는 단어들도 포함된다. 반면 CASPER는 "deep learning", "transfer learning", "domain adaptation"처럼 의미 있는 연구 개념을 하나의 차원으로 다룬다. 이게 바로 개념 통합 표현의 핵심 이점이다.

4.2 풀링 전략: 왜 토큰과 키프레이즈를 다르게 처리하는가

SPLADE는 max pooling을 사용한다. 특정 토큰이 문서 내 어느 하나의 위치에서라도 강하게 활성화되면 표현에 포함시키는 방식이다. 이는 토큰에는 잘 맞는다.

하지만 연구 개념은 다르다. 개념의 관련성은 문서 전반에 걸쳐 일관되게 나타날 때 더 의미가 있다. 그래서 CASPER는 키프레이즈에는 sum pooling을 적용해, 개념이 문서 전체에서 누적적으로 얼마나 중요한지를 반영한다.

4.3 학습: 토큰과 키프레이즈 표현의 분리 학습

토큰 기반 표현과 키프레이즈 기반 표현은 서로 다른 정보를 담는다. 전자는 세밀한 구별을, 후자는 연구 개념 수준의 구별을 담당한다. 이에 따라 두 표현의 학습을 분리(decouple)한다:

$\mathcal{L}^{\text{rank}} = \lambda_t \mathcal{L}^t_{\text{rank-IBN}} + \lambda_k \mathcal{L}^k_{\text{rank-IBN}}$

여기서 $\mathcal{L}^t_{\text{rank-IBN}}$는 토큰 표현 학습 손실로, in-batch 네거티브와 하드 네거티브를 모두 포함한다. 반면 $\mathcal{L}^k_{\text{rank-IBN}}$는 키프레이즈 표현 학습 손실로, 하드 네거티브를 제외한다. 하드 네거티브는 개념적으로 유사하지만 세밀한 차이가 있는 문서이므로, 키프레이즈 표현이 이를 네거티브로 학습하면 개념 수준의 매칭 능력이 손상될 수 있다는 판단이다.

4.4 추론: 개념 점수와 토큰 점수의 결합

추론 시 문서 랭킹은 두 점수의 가중 합으로 결정된다:

$s(q, d) = s_t(q, d) + \beta \cdot s_k(q, d)$

여기서 $s_t(q, d) = \sum_{j \in V_t} w^d_j w^q_j$는 토큰 매칭 점수이고, $s_k(q, d) = \sum_{j \in V_k} w^d_j w^q_j$는 개념 매칭 점수다. $\beta$는 개념 수준 점수의 영향력을 조절하는 하이퍼파라미터로, 기본값은 0.25다.

---

FRIEREN: 무료 학습 데이터 수집 프레임워크

FRIEREN(FRee scIEntific REtrieval supervisioN)은 학술 문헌에서 자연스럽게 발생하는 참조 관계를 훈련 데이터로 변환하는 프레임워크다. 네 가지 쿼리 소스를 활용한다:

S2ORC 코퍼스의 7%만 사용해도 360만 개의 triplet을 생성할 수 있었다. 소스별 최대 150만 개를 샘플링해 균형을 맞췄다.

---

실험

평가 데이터셋

Table 2: 평가 데이터셋 통계

Table 2: 8개 과학 검색 벤치마크 통계. BEIR 소속(SciFact, SCIDOCS, NFCorpus)과 도메인 특화 데이터셋이 혼합되어 있다.

8개 데이터셋이 의도적으로 다양하게 구성됐다. 코퍼스 크기가 5천에서 77만 건까지, 평균 관련 문서 수(Avg D/Q)는 1.1에서 80까지 폭넓다. 단일 도메인 편향을 피하려는 설계다.

메인 실험 결과

Table 3: 8개 벤치마크에서의 검색 성능 (nDCG@10 / Recall@100)

nDCG@10:

Recall@100:

Table 3: 8개 벤치마크 검색 성능. CASPER와 CASPER++의 결과는 볼드 처리. CASPER++는 CASPER와 BM25 점수의 단순 합산 앙상블.

결과를 해석할 때 중요한 맥락이 있다. CASPER는 DistilBERT-base 기반으로, 파라미터 수가 비슷한 모델들과 비교한 것이다. FRIEREN 없이 학습된 베이스라인들과 비교하면 nDCG@10 기준 36.8 vs. 최고 35.3(E5-base-v2)으로 CASPER가 앞선다.

더 중요한 건 FRIEREN으로 학습된 베이스라인들과의 비교다. ColBERT FRIEREN이 nDCG@10 37.1로 CASPER의 36.8보다 약간 앞서지만, Recall@100은 CASPER가 57.3으로 ColBERT FRIEREN의 55.9보다 높다. 1단계 검색기(first-stage retriever)로서의 적합성은 Recall@100이 더 중요한 지표인 만큼, 이 부분에서 CASPER의 이점이 분명하다.

확장 어휘만으로는 설명이 안 된다는 것도 확인된다. SPLADEv2 words FRIEREN — 즉 단순히 영어 단어 30k개를 추가 어휘로 쓴 변형 — 이 35.3 / 55.5로 CASPER의 36.8 / 57.3보다 열세다. 어휘 확장이 아니라 개념 통합 표현 자체가 성능 향상의 원인이라는 뜻이다.

Figure 3: 데이터 소스별 기여도

Figure 3: FRIEREN의 각 데이터 소스를 하나씩 제거했을 때의 성능 저하. nDCG@10(왼쪽)과 Recall@100(오른쪽). (원논문)

각 막대는 해당 데이터 소스를 제거했을 때의 성능 하락 폭이다. 결과가 꽤 명확하다:

• 공동 인용(co-citation) 제거: nDCG@10 -7.28%, Recall@100 -5.65%로 가장 큰 타격
• 인용 문맥(citation context) 제거: nDCG@10 -11.73%, Recall@100 -6.78%로 두 메트릭을 합산하면 가장 영향이 크다
• 키프레이즈 제거: nDCG@10 -4.15%, Recall@100 -1.20%로 중간 수준
• 제목 제거: nDCG@10 -3.16%, Recall@100 -0.81%
• 사용자 쿼리 제거: nDCG@10 -0.82%, Recall@100 -0.20%로 가장 미미함

사용자 쿼리가 가장 영향력이 낮다는 건 논문의 핵심 주장을 뒷받침하는 결과다. 과학 도메인에서 사용자 상호작용 데이터는 "알려진 항목 검색"에 치우쳐 있어 학습 신호로서 제한적이라는 것. 반면 인용 문맥과 공동 인용은 무료로 대규모 수집이 가능하면서도 가장 강력한 신호임이 입증됐다.

Figure 4: 효율성-효과성 트레이드오프

Figure 4: 다양한 프루닝 수준에서 CASPER, CASPER++와 베이스라인들의 디스크 공간/레이턴시-nDCG@10 트레이드오프. CSFCube 데이터셋, 단일 스레드 CPU 기준. (원논문)

기본 CASPER($\alpha = 1.0$)는 레이턴시 측면에서 다른 모델들보다 높은 편이다. 그러나 $\alpha = 0.8$, $0.9$ 수준으로 프루닝하면 성능 저하 없이 레이턴시가 경쟁력 있는 범위(200-600ms)로 떨어진다. 희소 모델의 디스크 공간 효율은 Dense 모델 대비 월등하다는 점도 확인된다.

---

키프레이즈 생성 능력

CASPER는 검색 모델이지만, 희소 벡터의 가중치를 이용해 키프레이즈 생성도 할 수 있다. 방법은 간단하다:

• 현재 키프레이즈(present keyphrases): 문서에서 명사구를 추출한 후, CASPER의 희소 가중치를 이용해 랭킹. 랭킹 함수는: $\text{rank}(c_i) = \frac{\sum_{j \in V_t \cup V_k} \text{IDF}(j) \cdot w^d_j \cdot \mathbb{1}[j \in c_i]}{|c_i|^\gamma} \cdot \omega^d(c_i)$ 여기서 $\gamma$는 긴 후보를 선호하는 파라미터, $\omega^d(c_i)$는 문서 내 등장 위치를 반영하는 가중치.

• 부재 키프레이즈(absent keyphrases): $V_k$ 중 문서에 없지만 높은 활성화 가중치 $w^d_k$를 갖는 키프레이즈. Seq2Seq 생성 없이 키프레이즈를 제안한다는 게 속도상 큰 이점이다.

Table 4: 키프레이즈 생성 성능

Table 4: 5개 벤치마크에서의 키프레이즈 생성 성능. SemF1/SemR이 높을수록, Diversity(emb_sim)가 낮을수록 좋다. Throughput은 초당 처리 문서 수.

솔직히 SemF1 부분은 아쉽다. CASPER가 CopyRNN의 86% 수준에 그친다. 그런데 Diversity를 보면 얘기가 달라진다. CASPER의 emb_sim이 CopyRNN의 절반 수준인데, 이는 CASPER가 더 다양한 키프레이즈를 생성한다는 의미다. SemR(재현율)은 비슷한 수준(49.6 vs 53.0)이니, CopyRNN의 높은 F1은 대체로 유사한 키프레이즈를 반복 생성해 정밀도를 높인 결과라고 볼 수 있다.

처리 속도는 3.3배 빠르다(36.3 vs 11 doc/s). Seq2Seq 생성을 아예 안 하니 당연한 결과다.

Figure 6: 키프레이즈 생성 정성 분석

Figure 6: 로봇 비전 논문에 대한 CopyRNN vs CASPER의 키프레이즈 생성 결과. 주황색은 현재 키프레이즈, 파란색은 부재 키프레이즈. (원논문)

CopyRNN는 "nearest neighbor search"와 "nearest neighbor"처럼 거의 동일한 키프레이즈를 반복 생성하는 경향이 있다. 반면 CASPER는 부재 키프레이즈로 "computer vision"을 제안했는데, 이게 실제 정답(Ground Truth)에 있는 키프레이즈다. CopyRNN은 기존 텍스트의 조합을 넘지 못하는 경향이 있는 반면, CASPER는 개념 어휘($V_k$)를 직접 활성화하므로 진짜 의미의 "부재 키프레이즈"를 생성할 수 있다.

---

Ablation Studies

D.1 개념 점수 가중치 β의 영향

Figure 5: β 값에 따른 검색 성능 변화

Figure 5: β ∈ {0, 0.25, 0.5, 0.75, 1.0}에서의 nDCG@10(왼쪽)과 Recall@100(오른쪽). (원논문)

$\beta = 0$일 때 — 즉 개념 점수를 전혀 사용하지 않으면 — 성능이 크게 떨어진다. 개념 매칭이 실질적인 기여를 한다는 직접적인 증거다. 반면 $\beta$가 커질수록 성능이 단조 감소한다. 최적은 $\beta = 0.25$, 개념 점수가 보조적 역할을 할 때 가장 효과적이다.

D.2 Sum vs Max Pooling

Table 5: Sum vs Max Pooling 비교

Table 5: 개념 표현에 sum vs max pooling 사용 시 성능 비교. 8개 데이터셋 평균.

Sum pooling이 nDCG@10 기준 1.1 포인트, Recall@100 기준 1.1 포인트 앞선다. 크지 않아 보일 수 있지만, 8개 데이터셋 평균이라는 점에서 일관된 차이다. 논문의 직관 — 연구 개념의 중요도는 문서 전반의 누적적 빈도로 측정하는 게 더 맞다 — 이 경험적으로 뒷받침된다.

D.3 키프레이즈 어휘 변형

Table 6: 키프레이즈 어휘 설정 비교

Table 6: 키프레이즈 어휘 크기 및 구성 방식에 따른 성능 비교.

흥미로운 패턴이 보인다. $|V_k| = 15\text{k}$가 NDCG@10 37.1로 오히려 기본값(30k)보다 약간 높다. 어휘가 너무 작으면 커버리지 부족, 너무 크면 노이즈 증가 — 중간 어딘가에 스위트스팟이 있는 것이다.

빈도 기반 어휘(가장 자주 등장하는 30k 키프레이즈)는 최대 커버리지 방식보다 성능이 낮다(36.2 vs 36.8). 물론 빈도 기반도 어느 정도의 커버리지를 제공하지만, 명시적으로 최대 커버리지를 목표로 최적화한 어휘가 더 효과적이라는 결론이다.

D.4 단일 도메인 vs 다학제 학습

Table 7: 학습 데이터 규모별 단일/다학제 비교

Table 7: CS 특화 4개 데이터셋에서 단일 도메인 vs 다학제 CASPER 성능. 학습 데이터 규모별 비교.

데이터가 적을 때(600k)는 단일 도메인이 유리하고, 데이터가 많아질수록(3.6M) 다학제 학습이 앞선다. 크로스 도메인 지식 전이(cross-domain knowledge transfer)가 실질적으로 작동한다는 증거다. CS 도메인 특화 검색이라도, 다른 분야의 학습 데이터에서 공통된 개념 표현이 학습되면 도움이 된다는 해석이 가능하다.

---

Appendix: Recall@1000 결과

Table 8: 8개 벤치마크에서의 Recall@1000

Table 8: 8개 벤치마크에서의 Recall@1000.

Recall@1000은 대규모 재순위 시스템(reranker)을 쓸 때 더 중요한 지표다. CASPER가 평균 80.3으로 모든 베이스라인을 앞선다. 특히 SciFact에서 100%를 달성했고, CSFCube에서 60.2로 다음 최고(SPLADEv2 FRIEREN 54.6)보다 5.6포인트 높다.

---

강점과 한계

강점

CASPER의 설계에서 가장 인상적인 부분은 두 가지 혁신이 서로를 강화한다는 점이다. 개념 어휘($V_k$)가 있으니 FRIEREN에서 저자 지정 키프레이즈를 쿼리 소스로 활용할 수 있고, 그 학습이 다시 키프레이즈 표현을 강화한다. 단순히 어휘를 확장하는 게 아니라, 키프레이즈가 표현 단위로서 제대로 학습되는 구조다.

해석가능성도 실용적 강점이다. 어떤 개념이 검색에 기여했는지 가중치를 보면 바로 알 수 있다. 키프레이즈 생성 능력도 덤이다.

한계

저자들이 솔직하게 밝히는 한계 세 가지:

1. 지식 증류(knowledge distillation) 미적용: Cross-encoder나 LLM으로부터의 증류를 적용하지 않았다. SPLADE-distil 계열과 비교하면 개선 여지가 있다.

2. 스케일 실험 부족: FRIEREN으로 훨씬 더 많은 데이터를 생성할 수 있지만, 계산 자원 제한으로 S2ORC의 7%만 활용했다. 더 큰 모델, 더 많은 데이터에서의 성능은 미지수다.

3. 고정된 키프레이즈 어휘: 새로운 연구 개념이 등장하면 어휘를 업데이트하고 재학습해야 한다. DyVo처럼 동적으로 개념을 추가할 수 있는 유연성은 없다. 저자들이 이를 인식하고 "CASPER의 end-to-end 학습과 DyVo의 동적 유연성을 결합하는 것이 유망한 미래 방향"이라고 직접 언급한다.

개인적으로 아쉬운 점을 하나 덧붙이면, 키프레이즈 어휘의 도메인 편향 가능성이다. S2ORC에서 추출했지만 어떤 분야가 더 많이 대표되는지에 따라 성능 차이가 있을 수 있는데, 이에 대한 세밀한 분석은 없다.

---

관련 연구와의 포지셔닝

CASPER와 가장 유사한 선행 연구는 DyVo(Nguyen et al., 2024)다. DyVo도 BERT 어휘에 개념(엔티티)을 추가하지만, 엔티티 검색기가 고정(frozen)되어 있고 end-to-end 학습이 아니다. CASPER는 토큰과 키프레이즈 표현을 함께 학습하는 통합 모델이라는 점에서 차별화된다.

SPECTER2/AspireV2(Kang et al., 2024, 2025) 계열과 비교하면, 이 연구들이 Dense Retrieval 기반의 개념 인식 표현에 집중한 반면, CASPER는 희소 표현으로 같은 목표를 달성하는 첫 시도에 가깝다. 희소 모델의 효율성과 해석가능성을 개념 인식 능력과 결합했다는 점에서 의미가 있다.

---

정리

CASPER는 세 가지를 동시에 잘 해낸다. 검색 성능에서 8개 벤치마크 평균을 올리고, 1단계 검색기로서의 Recall@100/1000에서 명확한 우위를 보이며, 추론 속도도 프루닝으로 경쟁력 있게 조정할 수 있다. 학술 논문 내 무료 참조 신호를 체계적으로 수집하는 FRIEREN은 라벨 부족 문제에 대한 실용적인 해법이기도 하다.

"어떤 개념으로 검색했는가"를 희소 벡터의 가중치로 바로 볼 수 있다는 것 — 블랙박스 Dense 모델에서는 얻기 어려운 이 투명성이, 과학 문헌 검색처럼 신뢰성이 중요한 도메인에서 장기적으로 중요한 자산이 될 것이다.