논문 리뷰: Scientific Paper Retrieval with LLM-Guided Semantic-Based Ranking

SemRank: LLM-Guided Semantic-Based Ranking 리뷰

코퍼스 기반 과학적 개념(concept)으로 시맨틱 인덱스를 구축하고, LLM의 쿼리 이해 능력을 결합해 과학 논문 검색 성능을 일관되게 향상시키는 플러그앤플레이 프레임워크

논문 정보

---

1. 들어가며

학술 논문 검색은 단순한 키워드 매칭과는 성격이 다르다. "텍스트 생성 모델을 여러 차원에서 평가하는 방법론을 다룬 연구가 있나요?"라는 질문 하나를 생각해 보면, 여기에는 'natural language generation', 'automatic evaluation' 같은 상위 주제부터 'multidimensional evaluation metrics' 같은 세부 용어까지 여러 층위의 과학적 개념이 얽혀 있다. 기존 dense retriever는 쿼리 전체를 하나의 벡터로 압축하기 때문에, 이런 다층적 의미를 정교하게 포착하는 데 한계가 있었다.

최근 LLM을 활용한 검색 개선 시도가 늘고 있지만, HyDE처럼 가상의 문서를 생성하거나 CSQE처럼 관련 문장을 확장하는 방식은 코퍼스의 실제 구조와 동떨어진 콘텐츠를 만들어내기 쉽다. LLM이 과학 문헌에 대한 심층 지식을 갖고 있지 않기 때문에, 환각(hallucination) 문제도 피할 수 없다.

SemRank는 이 두 가지 문제를 동시에 해결하려는 접근이다. 코퍼스의 각 논문에 대해 미리 다중 세분도(multi-granular)의 과학적 개념 인덱스를 만들어두고, 검색 시점에는 LLM이 코퍼스에서 유도된 후보 개념들 중에서 쿼리의 정보 요구(information need)를 가장 잘 대표하는 핵심 개념을 선별하게 한다. 생성이 아니라 선택이기 때문에 환각이 줄고, 코퍼스의 인덱스 구조와 정렬(align)되기 때문에 매칭도 정교해진다.

---

2. 기존 연구의 한계

2.1 Dense Retrieval의 구조적 한계

DPR 이후 dense retrieval은 빠르게 발전해 왔다. ANCE, RocketQA, ADORE 등이 네거티브 샘플링 전략을 개선했고, 과학 도메인에서는 SciBERT, SPECTER-v2 같은 사전학습 모델이 등장했다. 하지만 이 방법들의 근본적 제약은 문서와 쿼리를 각각 하나의 dense 벡터로 표현한다는 점이다. 복잡한 과학 쿼리에 담긴 세분화된 개념들을 단일 벡터가 전부 포착하기 어렵다. MixGR처럼 sub-query와 proposition 수준의 매칭을 시도한 연구도 있지만, 과학적 개념의 계층 구조를 명시적으로 다루지는 못했다.

2.2 LLM 기반 검색 향상의 한계

HyDE는 LLM으로 가상 문서를 생성해 쿼리 벡터로 쓰는 방식이고, GRF는 관련 컨텍스트를 생성한다. CSQE는 상위 문서에서 문장을 추출해 쿼리를 확장한다. 이 방법들의 공통 문제는 두 가지다. 첫째, LLM이 생성한 내용이 코퍼스의 실제 용어 체계와 일치하지 않을 수 있다. 둘째, 여전히 dense retriever의 전체 문서 수준 인코딩에 의존하므로, 쿼리가 구체적으로 무엇을 요구하는지를 명시적으로 표현하지 못한다.

2.3 코퍼스 지식 활용 방법의 한계

BERT-QE는 코퍼스에서 텍스트 청크를 선택해 쿼리를 확장하고, ToTER은 분류학(taxonomy) 기반 토픽 분포를 비교하며, TaxoIndex는 학술 분류 체계를 활용한 시맨틱 인덱스를 구축한다. 이 중 ToTER과 TaxoIndex는 SemRank와 가장 유사한데, 지도학습 데이터가 필요하거나 토픽 수준의 단일 세분도만 다룬다는 제약이 있다.

이런 한계들이 SemRank의 동기로 이어진다: 코퍼스 지식으로 LLM을 보강(augment)하면서, 다중 세분도의 개념을 명시적으로 포착할 수 있는 프레임워크가 필요하다는 것이다.

---

3. 핵심 아이디어

SemRank의 핵심 통찰은 간명하다. 과학 논문 검색에서 중요한 건 문서 전체의 유사도가 아니라, 쿼리와 문서가 공유하는 과학적 개념의 일치도라는 것이다. 'natural language generation'이라는 넓은 토픽부터 'multidimensional evaluation metrics'라는 좁은 키 프레이즈까지, 다양한 세분도(granularity)에서 개념을 맞춰봐야 검색이 정확해진다.

기존 방법들이 LLM에게 자유롭게 텍스트를 생성하게 했다면, SemRank는 코퍼스에서 유도한 후보 개념 리스트를 LLM에 제시하고 그 안에서 선택하게 한다. 이 전환이 결정적인데, 생성(generation)을 선택(selection)으로 바꿈으로써 환각을 줄이고 코퍼스의 인덱스 구조와의 정렬을 보장한다.

---

4. 제안 방법 (Method)

4.1 전체 구조

SemRank는 오프라인 인덱싱(Sec 3.1)과 온라인 검색(Sec 3.2), 크게 두 단계로 구성된다. 오프라인에서는 코퍼스의 각 논문에 대해 연구 토픽과 키 프레이즈로 이루어진 시맨틱 인덱스를 만들고, 온라인에서는 base retriever의 초기 결과를 바탕으로 LLM이 쿼리의 핵심 개념을 식별한 뒤, 개념 수준 시맨틱 매칭으로 순위를 재조정한다.

Figure 2: SemRank 프레임워크 개요. 왼쪽(Sec 3.1)이 오프라인 시맨틱 인덱스 구축, 오른쪽(Sec 3.2)이 온라인 LLM 기반 검색 과정. (원논문)

Figure 2를 보면 전체 흐름이 한눈에 들어온다. 왼쪽에서 코퍼스의 각 문서는 LLM과 토픽 분류기를 거쳐 토픽 라벨과 키 프레이즈의 조합인 시맨틱 인덱스로 변환된다. 오른쪽에서는 쿼리가 들어오면 base retriever로 초기 상위 문서를 가져오고, 그 문서들의 시맨틱 인덱스에서 빈도 기반으로 후보 개념을 수집한 뒤, LLM이 최종 핵심 개념을 선택한다. 이 개념들의 임베딩을 코퍼스 인덱스와 코사인 유사도로 매칭해 최종 점수를 산출하는 구조다.

다음 Figure 1은 이 과정을 구체적 예시로 보여준다.

Figure 1: LitSearch 데이터셋에서 SPECTER-v2를 base retriever로 사용한 예시. SemRank가 과학적 개념을 포착해 순위를 개선하는 과정. (원논문)

쿼리 "텍스트 생성 모델을 다양한 차원에서 평가하는 방법"에 대해 base retriever가 반환한 상위 10개 중 정답인 Passage A가 89위에 있었지만, SemRank가 'NLG evaluation', 'multi-dimensional evaluation' 같은 개념을 잡아내면서 1위로 올라왔다. 반면 story generation에 관한 Passage B는 주제가 다르므로 순위가 밀려났다. 개념 수준의 명시적 매칭이 dense 벡터의 홀리스틱한 매칭보다 정교한 구분을 가능하게 하는 셈이다.

4.2 시맨틱 인덱스 구축 (오프라인)

오프라인 인덱싱은 두 단계로 진행된다: 후보 토픽 예측과 핵심 개념 식별.

후보 토픽 예측 (Candidate Topic Prediction)

먼저 다중 라벨 텍스트 분류기를 학습시켜 각 논문이 어떤 연구 토픽에 속하는지 예측한다. 모델 구조는 log-bilinear text matching network으로, 논문 인코더는 SPECTER-v2로 초기화한다. 토픽 임베딩도 같은 사전학습 모델로 얻되, 인코더와 분리(detach)해서 역전파 비용을 절감한다. 분류기는 문서 $d_i$가 토픽 $t_j \in T$에 속할 확률을 다음과 같이 예측한다:

$P(t_j | d_i) = \sigma(t_j^T W d_i)$

여기서 $\sigma$는 시그모이드 함수, $W$는 학습 가능한 상호작용 행렬, $t_j$와 $d_i$는 각각 토픽과 문서의 인코딩 벡터다. 학습에는 이진 교차 엔트로피 손실을 사용한다:

$L = -\sum_{t_j \in T} \left[ \mathbb{1}[t_j \in T_i] \log P(t_j | d_i) + \alpha \cdot \mathbb{1}[t_j \notin T_i] \log(1 - P(t_j | d_i)) \right]$

계수 $\alpha$는 큰 라벨 공간에서 양성/음성 라벨의 불균형을 보정하기 위한 작은 상수(논문에서는 $1 \times 10^{-2}$)다. 이 분류기의 라벨 공간은 Microsoft Academic Graph의 13,613개 컴퓨터과학 토픽이다.

핵심 개념 식별 (Core Concepts Identification)

분류기가 예측한 후보 토픽 리스트를 LLM에 제시하고, LLM에게 두 가지를 요청한다: (1) 후보 중 너무 넓거나 무관한 토픽을 걸러내고 핵심 토픽을 선택하기, (2) 논문에서 키 프레이즈를 추출하기.

Figure 4: 시맨틱 인덱스 구축을 위해 LLM에 주어지는 프롬프트. (원논문)

이 프롬프트 설계에서 중요한 건, LLM에게 자유 생성을 시키는 게 아니라 분류기가 좁혀놓은 후보 안에서 선택하게 한다는 점이다. 이렇게 하면 생성 작업이 선택·추출 작업으로 바뀌면서 환각이 줄고, 선택된 토픽이 라벨 공간의 정규 형태(canonical form)를 따르게 된다.

분류기를 먼저 돌리는 전략은 비용 측면에서도 유리하다. 직접 LLM에 13,613개 토픽 공간 전체를 다루게 하면 비용이 98% 더 들기 때문이다(자세한 비용 분석은 실험 섹션에서 다룬다). 또한 분류기는 도메인 단위로 한 번만 학습하면 같은 도메인의 모든 코퍼스에 재사용할 수 있다.

결과적으로 각 논문 $d_i$에 대해 라벨 공간에 속하는 연구 토픽 집합 $T_i \subset T$와 키 프레이즈 집합 $P_i$가 만들어진다.

4.3 LLM 기반 시맨틱 검색 (온라인)

온라인 검색은 세 단계로 진행된다: 쿼리 후보 개념 구성, LLM 기반 핵심 개념 식별, 개념 기반 랭킹.

쿼리 후보 개념 구성 (Candidate Concepts Construction)

Pseudo relevance feedback에서 영감을 얻은 단계다. Base retriever의 초기 랭킹 결과에서 상위 문서들의 시맨틱 인덱스($T_i$, $P_i$)를 모아, 자주 등장하는 토픽과 키 프레이즈를 각각 top-k개씩 수집한다. 이를 $T^0(q)$와 $P^0(q)$로 표기한다. 상위 문서에서 빈번히 언급되는 개념이므로, 쿼리와 관련될 가능성이 높다.

LLM 기반 핵심 개념 식별 (LLM-Guided Core Concept Identification)

수집된 후보 개념과 상위 문서를 LLM에 제시하고, 쿼리의 관련 논문을 가장 잘 식별할 수 있는 핵심 개념을 선택하게 한다.

Figure 5: 쿼리 핵심 개념 식별을 위해 LLM에 주어지는 프롬프트. (원논문)

코퍼스에서 유도된 후보 개념을 제공하는 것이 두 가지 이점을 만든다: (1) 현재 검색 결과의 고수준 요약으로서 LLM이 쿼리와 결과를 해석하는 데 도움이 되고, (2) 고품질 후보 리스트로서 환각을 줄이고 충실도(faithfulness)를 보장한다.

LLM의 출력으로 쿼리의 핵심 개념 집합 $C(q)$를 얻는다. 이 집합은 다양한 세분도의 개념을 포함하므로, 필요한 수준에서 매칭이 가능하다.

핵심 개념 기반 랭킹 (Core Concept-Based Ranking)

쿼리의 핵심 개념 $C(q)$와 각 논문의 개념 $C_i = T_i \cup P_i$ 사이의 유사도를 multi-vector similarity matching으로 계산한다:

$s_{\text{sem}}(q, d_i) = \sum_{c \in C(q)} \max_{c' \in C_i} \text{sim}(c, c')$

각 쿼리 개념 $c$에 대해 논문의 개념 중 가장 유사한 것의 코사인 유사도를 취하는 구조다. 임베딩 기반 소프트 매칭이므로, 'hallucination'과 'hallucinated content'처럼 약간 다르게 표현된 유사 개념도 잡아낼 수 있다.

최종 점수는 base retriever의 점수와 z-score 정규화 후 결합한다:

$s(q, d_i) = z(s_{\text{base}}(q, d_i)) + z(s_{\text{sem}}(q, d_i))$

4.4 SemRank의 효율성

온라인 검색 과정에서 SemRank는 LLM을 딱 한 번 호출하며, 출력 길이도 구조화된 개념 리스트이므로 매우 짧다. 모든 개념 임베딩은 오프라인에서 미리 계산해 둘 수 있기 때문에, 검색 시점에는 코사인 유사도 연산(정규화된 벡터의 내적)만 필요하고 CPU에서도 충분히 돌아간다. 추가적인 base retriever 호출도 불필요하다.

---

5. 실험 결과

5.1 실험 설정

데이터셋

Table 1 (원논문): 데이터셋 통계.

세 데이터셋은 규모와 특성이 상이하다. CSFCube는 소규모이지만 쿼리당 관련 문서(Doc/Query)가 13.32개로 가장 많고, DORISMAE는 중간 규모에 쿼리당 19.49개의 관련 문서가 있다. LitSearch는 64K 이상의 코퍼스에 597개 쿼리를 가진 대규모 벤치마크인데, 쿼리당 관련 문서가 1.07개뿐이라 정밀한 검색이 요구된다.

Base Retrievers: BM25(sparse), SPECTER-v2(unsupervised dense), Hybrid(BM25+SPECTER-v2), E5-large-v2(instruction-tuned), GritLM-7B(instruction-tuned, 과학 데이터 학습 포함).

베이스라인: Boudin et al.(키프레이즈 생성 기반 인덱싱), BERT-QE(코퍼스 텍스트 청크 확장), ToTER(토픽 분류 기반), HyDE(가상 문서 생성), GRF(LLM 관련 컨텍스트 생성), CSQE(LLM 문장 선택 + 가상 문서).

평가 지표: Recall@K. CSFCube/DORISMAE는 K=50, 100, LitSearch는 K=5, 20, 100.

구현: 토픽 분류기는 MAPLE로 학습, SPECTER-v2-base로 초기화, 학습률 5e-5, 10 에폭, $\alpha = 0.01$. 후보 개념 수 $k=50$. LLM은 GPT-4.1-mini(모든 LLM 기반 방법에 동일 적용). GPU는 NVIDIA RTX A6000 1장.

5.2 주요 결과 (Main Results)

Table 2 (원논문): 베이스라인과의 Recall@K 비교. 최고 점수 볼드, 차선 밑줄.

SemRank는 두 base retriever 모두에서 전 데이터셋, 전 메트릭에 걸쳐 일관되게 최고 성능을 기록했다. SPECTER-v2 기반에서 LitSearch R@5를 보면, SemRank(0.5028)는 base retriever(0.3931) 대비 27.9%p 향상을 보이는데, 이는 가장 강력한 LLM 베이스라인인 CSQE(0.4366)보다도 6.6%p 높은 수치다.

E5-large-v2 기반에서도 패턴은 동일하다. GRF가 일부 메트릭에서 선전하지만(LitSearch R@100에서 0.8319), SemRank는 대부분의 메트릭에서 우위를 보인다. CSQE는 DORISMAE에서 오히려 base retriever보다 성능이 떨어지는 경우가 있는데(R@50: 0.4787 vs 0.5548), 이는 LLM 생성 콘텐츠가 코퍼스와 정렬되지 않으면 오히려 노이즈로 작용할 수 있음을 보여준다. SemRank는 이런 역효과 없이 모든 조건에서 안정적으로 개선을 이뤄냈다.

5.3 다양한 Base Retriever에서의 성능

Table 3 (원논문): 다양한 base retriever에 SemRank를 적용한 결과.

SemRank가 진정한 "플러그앤플레이"임을 확인할 수 있는 결과다. Sparse(BM25), unsupervised dense(SPECTER-v2), hybrid, instruction-tuned(E5, GritLM) 등 종류를 불문하고 모든 retriever에서 일관된 성능 향상을 가져온다.

특히 GritLM-7B 결과가 인상적이다. GritLM은 과학 코퍼스를 학습 데이터에 포함한 SOTA 모델로, LitSearch R@100이 이미 0.9149에 달한다. 이런 강력한 모델 위에서도 SemRank는 추가 향상을 이끌어냈다(0.9221). 이미 높은 성능의 retriever에서도 개념 수준 매칭이 추가 가치를 제공한다는 뜻이다.

Hybrid 모델에서의 향상도 시사하는 바가 크다. Hybrid는 sparse + dense 특성을 이미 결합한 것인데, SemRank가 여기에 추가적으로 기여한다는 건 개념 수준 시맨틱 매칭이 단순히 sparse와 dense 특성의 조합이 아니라, 과학적 지식을 포착하는 별개의 차원임을 보여준다.

5.4 Ablation Study

Table 4 (원논문): LitSearch에서 SPECTER-v2 기반 Ablation Study.

Ablation 결과에서 몇 가지 중요한 패턴이 드러난다.

인덱싱 측면: No Topic(R@5: 0.4331)과 No Phrase(R@5: 0.4160) 모두 full SemRank(0.5028)보다 크게 떨어지지만, 키 프레이즈를 제거했을 때 성능 하락이 더 심하다. 이는 세부 정보를 포착하는 키 프레이즈의 역할이 넓은 토픽 라벨보다 검색에서 더 결정적이라는 의미다. 다만 토픽 없이도 base보다는 나은데, 키 프레이즈만으로도 일정 수준의 개념 매칭이 가능하기 때문이다.

검색 측면: No Corpus(코퍼스 후보 없이 LLM 직접 생성)는 R@5가 0.4060으로 급락한다. LLM이 코퍼스와 무관한 용어를 만들어내면 인덱스와 매칭이 안 되기 때문이다. No LLM 변형 두 가지(분류기 기반, 빈도 기반)도 마찬가지로 크게 떨어지는데, No LLM (freq)는 R@5가 base retriever(0.3931)보다 오히려 낮은 0.3897를 기록한다. 단순 빈도 집계로는 쿼리의 정보 요구를 파악할 수 없다는 뜻이다. LLM의 텍스트 이해 능력과 코퍼스 지식의 보강이 함께 있어야 효과가 나는 것이 Ablation의 가장 중요한 교훈이다.

5.5 효율성 분석

Table 5 (원논문): LLM 기반 방법들의 효율성 비교.

SemRank의 효율성은 압도적이다. 쿼리당 1.82초로 두 번째로 빠른 GRF(2.78초)보다 1.5배 빠르다. 비결은 LLM 출력 길이에 있다. SemRank의 평균 출력은 18.92 토큰에 불과한데, 이는 구조화된 개념 리스트를 출력하기 때문이다. HyDE가 169.39 토큰, CSQE가 462.21 토큰을 생성하는 것과 비교하면 차이가 극명하다.

retriever 호출도 1회면 충분하고(GRF, CSQE는 2회), LLM 호출도 1회다(CSQE는 2회). 거기다 개념 임베딩은 오프라인 계산이 가능하고, 검색 시점의 연산은 CPU에서 돌아가는 코사인 유사도뿐이다.

오프라인 인덱싱 비용도 합리적이다. CSFCube(4,207편)에 대해 분류기 추론 52초, LLM 프롬프팅 84초 + $1.74. 분류기 없이 LLM에 직접 시맨틱 인덱스를 생성시키면 42분 +$85가 드는데, 분류기 기반 후보 선별이 비용을 98% 절감하는 셈이다.

5.6 LLM 기반 리랭킹과의 결합

Table 6 (원논문): LLM 기반 리랭킹과 SemRank 결합 결과 (LitSearch).

여기서 "+ Reranking"은 LLM 리랭킹 단독, "+ SemRank"는 SemRank 후 LLM 리랭킹을 적용한 것이다. LLM 리랭킹은 제공된 상위 문서 내에서만 순위를 재조정하므로 R@100은 변하지 않는다. 반면 SemRank는 시맨틱 매칭으로 관련 문서를 더 많이 상위로 끌어올리기 때문에 R@100까지 개선된다.

SPECTER-v2에서 Reranking만 적용하면 R@20이 0.7038인데, SemRank를 먼저 적용하면 0.7435로 올라간다. SemRank가 리랭킹의 입력(상위 100개 문서)을 더 좋은 후보로 채워주기 때문에, 리랭킹의 효과까지 극대화되는 것이다. 두 방법이 충돌 없이 상호보완적으로 동작한다는 점이 실용적으로 중요하다.

5.7 파라미터 분석

Figure 3: LitSearch에서 후보 개념 수 $k$에 따른 성능 변화. 왼쪽: SPECTER-v2, 오른쪽: GritLM. (원논문)

후보 개념 수 $k$를 5부터 100까지 변화시킨 결과, $k \geq 25$이면 성능이 대체로 안정적이다. 두 retriever 모두에서 비슷한 패턴을 보인다. $k$가 작을 때(5~10) R@5에서 약간 성능이 올라가는 경향이 있는데, 후보 수가 적으면 LLM이 더 집중적으로 선택하게 되어 상위 랭킹의 변별력이 높아지기 때문으로 보인다. 반면 후보가 너무 적으면 필요한 개념을 놓칠 수 있어 R@100 같은 넓은 범위의 recall에서는 불리하다. 논문은 $k=50$을 기본값으로 사용했다.

---

6. 강점과 한계

강점

• 일관된 범용성: Table 3에서 확인한 것처럼, sparse부터 7B급 instruction-tuned 모델까지 모든 종류의 retriever에서 성능이 향상된다. 특정 retriever에 맞춤 학습이 필요 없는 진정한 플러그앤플레이 방식이다.
• 효율성과 성능의 균형: Table 5에서 보듯 가장 빠르면서 가장 좋은 성능을 보인다. 보통 성능과 효율은 트레이드오프 관계인데, SemRank는 구조화된 개념 리스트라는 간결한 출력 형식 덕분에 둘 다 잡았다.
• 환각 억제 설계: 자유 생성 대신 코퍼스 기반 후보에서 선택하는 방식이 환각을 구조적으로 억제한다. Ablation의 No Corpus 결과(R@5: 0.4060 vs SemRank: 0.5028)가 이를 뒷받침한다.
• 분류기 사전 필터링의 비용 효과: LLM 호출 비용을 98% 절감하면서 성능도 높이는 영리한 설계다.

한계 및 아쉬운 점

• 제목+초록만 사용: 현재 실험은 논문의 제목과 초록만으로 검색한다. 전문(full text)을 다루면 긴 구조화 텍스트 이해라는 추가 난제가 생기는데, 이에 대한 실험이 없다.
• 개념 간 관계 미고려: 시맨틱 인덱스가 개념의 집합(set)으로만 구성되어, 개념 간 계층 구조나 의존 관계를 활용하지 못한다. 예를 들어 'evaluation metrics'가 'NLG'의 하위 개념이라는 정보를 쓸 수 있으면 매칭이 더 정교해질 것이다.
• 프롬프트 민감도: LLM 프롬프팅 기반이므로 프롬프트 설계와 LLM 모델 특성에 따라 결과가 달라질 수 있다. 다른 도메인에서는 프롬프트 튜닝이 필요할 가능성이 있다.
• 도메인 제한: 실험이 전산학(CS) 도메인에 한정되어 있다. 생의학, 물리학 등 다른 분야에서의 효과는 미검증 상태다. 물론 이는 고품질 검색 벤치마크의 부재라는 커뮤니티 차원의 문제이기도 하다.
• 영어 전용: 다국어 또는 멀티모달(도표, 그림) 논문 검색에 대한 논의가 없다.

---

7. 마치며

SemRank는 과학 논문 검색에서 "개념 수준의 명시적 매칭"이라는 아이디어를 설득력 있게 실현한 연구다. 기존 방법들이 문서 전체를 하나의 벡터로 뭉뚱그리거나, LLM에게 자유롭게 텍스트를 생성시키던 것과 달리, 코퍼스에서 추출한 다중 세분도 개념 인덱스를 매개로 LLM의 텍스트 이해 능력과 코퍼스의 실제 지식을 연결했다.

이 방법론에서 가져갈 만한 교훈이 몇 가지 있다. 우선 LLM을 검색에 활용할 때, 자유 생성보다 코퍼스 기반 선택이 환각 억제와 효율 면에서 더 낫다는 점. 또한 분류기 같은 가벼운 모듈로 LLM 입력을 사전 필터링하면 비용을 대폭 절감할 수 있다는 점. 마지막으로, 개념 수준 시맨틱 매칭은 sparse/dense 특성과는 독립적인 별개의 정보를 제공한다는 점이다. 향후 개념 간 관계 모델링이나 전문(full-text) 처리로 확장된다면 과학 문헌 검색의 실용적 도구로 자리잡을 가능성이 충분하다.

---

References

• Ajith et al. (2024). LitSearch: A retrieval benchmark for scientific literature search. EMNLP.
• Gao et al. (2023). Precise zero-shot dense retrieval without relevance labels. ACL.
• Kang et al. (2024a). Improving retrieval in theme-specific applications using a corpus topical taxonomy. WWW.
• Kang et al. (2024b). Taxonomy-guided semantic indexing for academic paper search. EMNLP.
• Lei et al. (2024). Corpus-steered query expansion with large language models. EACL.
• Mackie et al. (2023). Generative relevance feedback with large language models. SIGIR.
• Singh et al. (2022). Scirepeval: A multi-format benchmark for scientific document representations. EMNLP.
• Zhang et al. (2025). TELEClass: Taxonomy enrichment and LLM-enhanced hierarchical text classification with minimal supervision. WWW.