논문 리뷰: ThinkQE – Query Expansion via an Evolving Thinking Process

ThinkQE: Query Expansion via an Evolving Thinking Process 리뷰

LLM의 "생각하는 과정"을 쿼리 확장에 접목하고, 코퍼스와 반복적으로 상호작용하며 확장을 진화시키는 제로샷 검색 프레임워크

논문 정보

---

1. 들어가며

"who is robert gray"라는 검색 쿼리를 생각해 보자. Robert Gray는 1792년 컬럼비아 강을 발견한 미국 탐험가이기도 하지만, 동명의 호주 시인이기도 하고, 영국의 성직자였을 수도 있다. 기존 LLM 기반 쿼리 확장(Query Expansion, QE) 방법은 모델이 가장 자신 있는 하나의 해석에만 집중한 확장문을 생성하는 경향이 강하다. 확률이 높은 완성(completion)에 기대다 보니, 여러 의미나 맥락을 놓치는 거다.

쿼리 확장은 정보 검색에서 오래된 기법이다. 사용자의 짧은 쿼리에 관련 용어를 추가해서 검색 품질을 높이는 건데, BM25 같은 희소 검색기(sparse retriever)와 함께 쓰면 별도의 학습 없이도 강력한 검색 성능을 뽑아낼 수 있다. HyDE, Query2doc 같은 최근 LLM 기반 방법들이 좋은 성과를 보여줬지만, 탐색의 폭(exploration)과 결과의 다양성(diversity)이라는 측면에서는 여전히 아쉬운 점이 있었다.

ThinkQE는 이 문제를 두 가지 축으로 해결한다. 첫째, R1-distilled LLM의 사고 과정(thinking process)을 쿼리 확장에 활용해 더 깊고 다양한 의미 탐색을 유도한다. 둘째, 검색 결과를 피드백 삼아 확장을 반복적으로 정제하는 코퍼스 상호작용(corpus interaction) 전략을 도입한다. 추가 학습 없이(zero-shot) DL19, DL20, BRIGHT 벤치마크에서 학습 기반 밀집 검색기와 리랭커를 능가하는 성능을 달성한 점이 인상적이다.

---

2. 기존 연구의 한계

2.1 전통적 쿼리 확장과 유사 관련 피드백

쿼리 확장의 역사는 1990년대까지 거슬러 올라간다. Rocchio의 유사 관련 피드백(Pseudo-Relevance Feedback, PRF)은 초기 검색 결과에서 유용한 용어를 추출해 쿼리를 보강하는 고전적 접근법이다. 이후 ConceptNet을 활용한 다각화 확장(Bouchoucha et al., 2013) 등의 시도가 있었지만, 이런 방법들은 코퍼스에 있는 용어에만 의존하기 때문에 의미적 확장의 폭이 제한적이었다.

2.2 LLM 기반 쿼리 확장

HyDE(Gao et al., 2022)는 가상의 답변 문서를 생성해 검색하는 방식으로 제로샷 밀집 검색의 돌파구를 열었다. Query2doc(Wang et al., 2023)는 LLM이 생성한 유사 문서를 원래 쿼리에 붙이는 전략을, LameR(Shen et al., 2024)는 검색 증강 방식의 쿼리 확장을, CSQE(Lei et al., 2024)는 코퍼스 기반 확장을 제안했다. 하지만 이들 모두 한 번의 LLM 호출로 확장을 끝내거나(single-shot), 모델의 내부 지식에 크게 의존하기 때문에 하나의 해석에 치우친 확장을 생성하는 문제가 있다. 쿼리의 다면적 의미(facets)를 포착하기 어려운 것이다.

2.3 학습 기반 리랭커와 밀집 검색기

DPR, ANCE, Contriever FT 같은 지도 학습 밀집 검색기는 MS MARCO 같은 대규모 데이터셋에서 학습해 좋은 성능을 내지만, 새로운 도메인에 대한 일반화가 과제다. 최근에는 DeepSeek-R1의 사고 흔적(thinking traces)을 증류한 Rank1, Rank-K 같은 리랭커가 등장해 사고 과정을 접목한 검색 시도가 이뤄지고 있지만, 이들은 학습이 필요하고 계산 비용도 크다. BM25 top-20 또는 top-100 문서에 대해 리스트 단위(listwise) 리랭킹을 수행해야 하는 건 실용적 부담이 상당하다.

ThinkQE의 출발점은 바로 여기에 있다. 사고 과정의 힘은 빌리되, 학습 없이 쿼리 확장만으로 같은 효과를 낼 수 없을까?

---

3. 핵심 아이디어

ThinkQE의 통찰은 두 가지로 요약된다.

첫 번째는 사고 과정의 명시적 활용이다. R1-distilled 모델은 답변을 생성하기 전에 <think>...</think> 블록 안에서 중간 사고를 전개하도록 학습되어 있다. 이 사고 과정에서 모델은 쿼리의 모호성을 인식하고, 여러 해석을 탐색하며, 누락된 맥락을 보완한다. 기존 방법들이 바로 확장문을 생성하게 했다면, ThinkQE는 "먼저 생각하고 나서 확장하라"고 요구하는 것이다.

두 번째는 진화하는 코퍼스 상호작용이다. 한 번의 확장으로 끝내지 않고, 확장된 쿼리로 다시 검색하고, 새로운 문서를 보고, 다시 확장하는 반복 루프를 돌린다. 이 과정에서 중복 문서를 걸러내고(redundancy filtering), 이전 확장을 누적하는(expansion accumulation) 전략을 통해 쿼리가 점진적으로 진화한다. 유사 관련 피드백(PRF)의 아이디어를 LLM 시대에 맞게 재해석한 셈이다.

기존 방법들과의 가장 큰 차이는, 동일한 컴퓨팅 예산에서도 병렬 확장(한 번에 여러 확장 생성)보다 반복적 상호작용이 훨씬 효과적이라는 실험적 증거를 보여줬다는 점이다.

---

4. 제안 방법 (Method)

4.1 전체 구조

ThinkQE는 다라운드(multi-round) 프레임워크로, 각 라운드에서 (1) BM25 검색, (2) 중복 필터링, (3) 사고 기반 확장, (4) 쿼리 업데이트의 네 단계를 반복한다. 전체 파이프라인은 학습이 전혀 필요 없으며, 추론 시점(test-time)에만 동작한다.

Table 1은 "who is robert gray"라는 쿼리에 대해 기존 방법과 ThinkQE의 확장 결과를 비교한 예시다.

Table 1 (원논문): 기존 단순 확장과 ThinkQE의 확장 비교. ThinkQE는 사고 과정을 통해 더 깊은 추론과 다면적 맥락화를 유도한다.

사고 과정을 거친 확장은 구체적인 날짜(May 11, 1792), 탐험 거리(approximately 20 miles), 역사적 의의(mapping and understanding of the region) 같은 세부 정보가 풍부하다. 단순 확장이 사실 나열에 그치는 반면, ThinkQE의 확장은 맥락과 의미를 더 깊이 파고드는 모습이다.

4.2 코퍼스에서 초기 증거 검색

원래 쿼리 $q_0$에 대해 BM25로 코퍼스 $\mathcal{C}$에서 상위 $K$개 문서를 검색한다:

$D_0 = \text{TopK}(\text{BM25}(q_0, \mathcal{C}))$

이 $D_0$가 LLM에게 제공할 첫 번째 검색 근거(retrieval-grounded context)가 된다. LLM이 허공에서 확장문을 만들어내는 게 아니라, 실제 코퍼스의 문서를 참고하도록 하는 것이다.

4.3 사고 과정을 통한 확장 (Expansion via Thinking Process)

확장 생성에는 R1-distilled LLM을 사용한다. 이 모델은 답변 전에 자연스럽게 사고 체인(thinking chain)을 생성하도록 학습되어 있어서, 별도의 프롬프트 엔지니어링이나 스캐폴딩 없이도 두 단계 워크플로를 구현할 수 있다:

1. 사고 단계(Thinking Phase): 모델이 $q_0$와 $D_0$를 보고 잠재적 개념을 식별하고, 모호성을 해소하며, 정보 요구의 대안적 해석이나 누락된 측면을 탐색한다.
2. 확장 단계(Expansion Phase): 사고 출력을 바탕으로 원래 쿼리에 관련 용어와 개념을 추가하는 확장 세그먼트 $e_1$을 생성한다.

Table 2는 ThinkQE에서 사용하는 프롬프트다.

Table 2 (원논문): ThinkQE의 사고 기반 확장에 사용되는 프롬프트. {·}는 쿼리와 top-K 문서의 플레이스홀더.

프롬프트 설계가 간결한 게 눈에 띈다. 검색된 문서를 "대부분 틀린" 후보로 제시하고, 모델 자신의 지식을 활용하라고 지시한다. 이렇게 하면 모델이 검색 문서에 과도하게 의존하지 않으면서도 코퍼스의 맥락을 참고할 수 있다.

4.4 코퍼스 피드백을 통한 진화 (Evolution via Corpus Feedback)

ThinkQE의 차별점은 위 확장 과정을 반복적으로 수행한다는 것이다. 각 라운드 $t = 1, \ldots, T$에서 네 가지 단계를 거친다:

1단계 - 검색: 현재 쿼리 $q_t$로 코퍼스에서 문서를 검색한다.

$R_t = \text{BM25}(q_t, \mathcal{C})$

2단계 - 중복 필터링: 다양성을 높이고 반복을 피하기 위해, (a) 블록리스트 $B_t$에 있는 문서, (b) 이전 라운드의 top-K 결과 $D_{t-1}$에 있던 문서를 제외한다.

$D_t^{\text{new}} = \text{TopK}(R_t \setminus (B_t \cup D_{t-1}))$

3단계 - 사고 기반 확장: 원래 쿼리 $q_0$와 필터링된 문서 $D_t^{\text{new}}$를 LLM에 넣어 다음 확장 $e_{t+1}$을 생성한다.

4단계 - 쿼리 업데이트: 새 확장을 기존 쿼리에 연결한다.

$q_{t+1} = q_t \oplus e_{t+1}$

쿼리가 길어지면서 원래 의도가 희석될 수 있는데, 이를 방지하기 위해 최종 쿼리에서 원래 쿼리를 $n$번 반복한다:

$n = \frac{\text{len}(\text{expansions})}{\text{len}(q_0)} \times \lambda, \quad \lambda = 3$

여기서 $\text{len}(\text{expansions})$는 모든 확장 세그먼트의 총 단어 수, $\text{len}(q_0)$는 원래 쿼리의 단어 수다. $\lambda$가 클수록 원래 쿼리의 비중이 커져서 의도 보존 효과가 강해진다.

이 설계에서 두 가지 핵심 메커니즘이 있다: **확장 누적(expansion accumulation)**과 중복 필터링(redundancy filtering). 확장 누적은 이전 라운드의 확장을 버리지 않고 계속 쌓아가면서 점점 풍부한 쿼리를 만들고, 중복 필터링은 매 라운드마다 새로운 문서를 보게 해서 정보 다양성을 확보한다. 둘 다 빠지면 성능이 크게 떨어지는데, 이건 뒤의 ablation 실험에서 확인할 수 있다.

---

5. 실험 결과

5.1 실험 설정

데이터셋: 크게 두 부류로 나뉜다. (1) 사실형 검색(Factoid-style): TREC DL19, DL20 (MS MARCO 문서 컬렉션 기반), (2) 추론형 검색(Reasoning-oriented): BRIGHT 벤치마크의 StackExchange 도메인 7개 하위 분야 — Biology, Earth Science, Economics, Psychology, Robotics, Stack Overflow, Sustainable Living. 수학·코딩 도메인은 자연어 확장이 적합하지 않아 제외했다.

Table 7 (원논문): 데이터셋 통계.

DL19/DL20은 테스트 쿼리가 4350개밖에 안 되지만 코퍼스가 880만 문서로 대규모인 반면, BRIGHT의 각 도메인은 쿼리가 100개 안팎, 코퍼스는 512만 규모다. BRIGHT는 단순 키워드 매칭이 아닌 추론이 필요한 질문들로 구성되어 있어서 더 도전적인 벤치마크다.

구현 상세: 기본 모델로 QWEN-R1-Distill-14B를 사용하고, 온도 0.7로 샘플링한다. BM25는 Pyserini 기본 하이퍼파라미터로 수행한다. 각 라운드에서 top-5 문서를 사용하되, DL 벤치마크에서는 128 토큰, BRIGHT에서는 512 토큰으로 문서를 잘라서 프롬프트에 넣는다. 다양성을 위해 2개의 후보 확장을 샘플링하고, 상호작용 라운드는 3으로 설정했다.

베이스라인: DL19/DL20에서는 HyDE, Query2doc, MILL, LameR, CSQE 같은 제로샷 QE 방법과 Rank1-32B, Rank-K-32B 같은 R1-distilled 리랭커, 그리고 DPR, ANCE, Contriever FT 같은 지도 학습 밀집 검색기를 비교 대상으로 삼았다. BRIGHT에서는 GritLM-7B, GTE-QWEN-7B, ReasonIR-8B 같은 LLM 기반 임베딩 모델과 RankGPT4, RankZephyr, Rank-R1, Rank-K 같은 리랭커도 포함했다.

5.2 주요 결과: DL19 & DL20

Table 3 (원논문): TREC DL19, DL20 결과. 볼드는 전체 최고 성능.

R1-14B 모델을 사용한 ThinkQE가 DL19에서 nDCG@10 68.8을 기록했는데, 이는 Rank-K-32B(66.2)를 2.6포인트 앞서는 수치다. 32B 파라미터의 학습 기반 리랭커를 14B 모델의 제로샷 쿼리 확장이 이긴 것이다. MAP에서도 45.9로 모든 방법 중 최고이며, R@100도 89.3으로 가장 높다.

다른 추론 모델들(QWEN3-8B, QWEN3-14B, OpenThinker2-7B, Phi4-Reasoning-14B)과 조합해도 일관되게 높은 성능을 보여준다는 점도 중요하다. ThinkQE가 특정 모델에 종속된 결과가 아니라 프레임워크 자체의 효과임을 보여주는 거다. 다만 R1-14B와의 조합이 가장 좋은 건, 이 모델이 사고-답변 분리를 가장 잘 학습했기 때문으로 보인다.

Contriever FT 대비로 보면, MS MARCO에서 지도 학습한 밀집 검색기와 제로샷 BM25+QE가 비슷한 수준까지 올라온 것이어서 의미가 크다. DL19 MAP 기준 45.9 vs 41.7로 ThinkQE가 오히려 앞선다.

5.3 주요 결과: BRIGHT (StackExchange)

*Table 4 (원논문): BRIGHT 벤치마크 StackExchange 도메인 결과 (nDCG@10). 볼드는 전체 1위, 밑줄은 2위. Rank-K-32B는 top-20 문서에 대해 계산 집약적 리스트 단위 리랭킹 수행.

BRIGHT에서 가장 눈에 띄는 건 ThinkQE가 같은 R1-14B 모델을 쓰는 HyDE(27.2)와 LameR(29.3) 대비 평균 5~7포인트 이상 앞선다는 것이다. 동일 모델, 동일 제로샷 설정에서 프레임워크만 바꿔서 이 정도 격차가 난다는 건 사고 과정과 코퍼스 상호작용의 효과가 실질적임을 보여준다.

전체 1위는 Rank-K-32B(37.9)지만, 이 모델은 R1 증류 학습이 필요하고 GPT-4o CoT로 재작성한 쿼리의 검색 결과에 대해 32B 모델로 리스트 단위 리랭킹을 해야 하는, 자원 소모가 훨씬 큰 파이프라인이다. ThinkQE w. Phi-4-Reasoning-14B(36.0)가 그 1.9포인트 차이로 따라가면서도 학습이 전혀 불필요하다는 점은 실용적 관점에서 매력적이다.

도메인별로 보면, Biology(51.8)와 Earth Science(55.3)에서 특히 강한 반면, Robotics(최고 22.0)은 전반적으로 모든 방법이 낮은 성능을 보인다. 이는 Robotics 도메인 질문의 특수성(기술적·구조적 질의가 많을 수 있음)에서 기인하는 것으로 보인다. QWEN3-14B의 Stack Overflow 도메인 성능이 16.1로 유독 낮은 것도 흥미로운데, 코딩 관련 질문에서 자연어 확장의 한계가 드러나는 지점이다.

---

6. 분석 (Analysis)

논문은 BRIGHT 벤치마크에 대해 다양한 분석 실험을 수행했다.

6.1 사고 과정의 영향

Table 5 (원논문): 사고 과정의 영향. 기본 QWEN-14B, 사고를 건너뛴 NoThinking 변형, 사고 과정을 켠 ThinkQE 비교.

세 가지 설정을 비교한다. (1) R1 증류가 안 된 기본 QWEN-14B, (2) R1 모델이지만 가짜 사고 블록(<think>Okay, I think I have finished thinking.</think>)을 삽입해서 사고를 우회한 NoThinking 변형, (3) 사고 과정을 켠 ThinkQE.

Base → NoThinking으로 +2.2, NoThinking → Thinking으로 +2.7 향상이 있다. R1 증류 자체가 모델 품질을 올리지만, 실제로 사고 과정을 수행하는 것이 추가로 2.7포인트의 의미 있는 개선을 가져온다. "생각하는 척"만 해서는 안 되고 정말로 생각해야 효과가 있는 것이다.

도메인별 상세 결과를 보면:

Table 10 (원논문): 사고 과정 영향의 도메인별 상세 결과.

사고 과정의 효과가 가장 큰 도메인은 Psychology(+5.8)와 Earth Science(+5.0)다. 이 도메인들은 질문이 복잡하고 여러 해석이 가능한 경우가 많아서 사고 과정이 특히 유용한 것으로 보인다. 반면 Robotics(+0.8)에서는 효과가 미미한데, 기술적 질문의 특성상 사고 과정보다는 정확한 용어 매칭이 더 중요할 수 있다.

6.2 코퍼스 상호작용의 영향

Figure 1: 진화하는 코퍼스 상호작용의 영향. 병렬 스케일링(한 번에 여러 확장) vs 코퍼스 상호작용 스케일링(반복 확장) 비교. (원논문)

Figure 1은 ThinkQE의 두 번째 핵심 기여인 코퍼스 상호작용의 효과를 보여준다. 가로축은 LLM 호출 횟수이고, 세로축은 BRIGHT 평균 nDCG@10이다. 핑크 실선이 병렬 스케일링(같은 라운드에서 여러 번 확장 생성), 파란 점선이 코퍼스 상호작용 스케일링(여러 라운드에 걸쳐 확장)이다.

같은 LLM 호출 2회 시점에서 둘 다 32.5로 시작하지만, 호출 횟수가 늘어날수록 격차가 벌어진다. 6회 호출 시 병렬 스케일링은 33.1에 그치는 반면, 코퍼스 상호작용은 34.9에 도달한다. 병렬 스케일링은 2회 이후 성능이 거의 정체되는데, 같은 문서를 보고 확장을 여러 번 만들어봐야 정보량에 한계가 있기 때문이다. 반복 상호작용은 매 라운드마다 새로운 문서를 보면서 정보를 축적하기 때문에 컴퓨팅을 더 효율적으로 활용하는 셈이다.

도메인별 상세 결과:

Table 11 (원논문): 코퍼스 상호작용 영향의 도메인별 상세 결과.

병렬 스케일링에서 호출 수를 늘려도 일부 도메인(Biology, Robotics)은 오히려 성능이 떨어지는 현상이 보인다. 동일 문서에 기반한 중복 확장이 노이즈를 추가하기 때문이다. 코퍼스 상호작용에서는 Psychology가 2→4→6 호출에서 35.8→39.0→40.0으로 일관되게 올라가는 게 인상적이다.

6.3 확장 누적 및 중복 필터링 메커니즘

Table 6 (원논문): 확장 누적과 중복 필터링 메커니즘의 영향.

두 메커니즘을 각각 빼본 결과다. 확장 누적만 사용하면 34.2, 중복 필터링만 사용하면 33.4, 둘 다 사용하면 34.9다. 둘 다 기여하지만, 확장 누적이 약간 더 중요한 것으로 보인다 — 이전 확장을 누적하지 않으면 매 라운드 처음부터 다시 시작하는 셈이니 정보 손실이 크다. 중복 필터링이 없으면 같은 문서를 반복적으로 보게 돼서 확장 다양성이 줄어든다.

도메인별 상세 결과를 보면:

Table 12 (원논문): 확장 누적 및 중복 필터링의 도메인별 상세 결과.

Psychology에서 확장 누적 없이 필터링만 하면 34.8로 크게 떨어지는 반면, 필터링 없이 누적만 해도 39.5로 상당히 높다. 복잡한 심리학 질문에서는 이전 확장이 제공하는 맥락 축적이 더 결정적인 역할을 하는 것으로 보인다. 반면 Biology에서는 누적 없이 필터링만 한 경우(47.5)가 오히려 풀 모델(47.3)보다 미세하게 높은데, 이건 통계적 변동 범위 내의 차이로 봐야 한다.

---

7. 추가 실험 및 부록 (Appendix)

7.1 λ 파라미터의 영향

$\lambda$는 원래 쿼리 반복 빈도를 조절하는 파라미터다. 값이 클수록 원래 쿼리를 더 많이 반복해서 의도 보존 효과가 강해진다.

Table 13 (원논문): λ 값에 따른 성능 변화.

$\lambda=1$일 때 평균 30.1로 가장 낮고, $\lambda=3$ 이상에서는 34.9~35.2로 안정화된다. $\lambda$가 너무 낮으면 원래 쿼리가 확장에 묻혀서 의도가 희석되는 문제가 발생하는 것이다. $\lambda=3$부터 $\lambda=6$까지 성능 차이가 0.3포인트 이내로, 하이퍼파라미터 민감도가 낮다는 건 실용적으로 좋은 특성이다. 논문에서는 $\lambda=3$을 기본값으로 사용했다.

Biology에서 $\lambda$가 커질수록 꾸준히 올라가는 패턴(38.2→49.7)이 뚜렷한데, 이 도메인에서는 원래 쿼리의 핵심 키워드를 강하게 유지하는 것이 특히 중요한 듯하다.

7.2 효율성-효과성 분석

Table 14 (원논문): ThinkQE의 효율성-효과성 분석. H100 GPU 1개 기준.

모델 크기 스케일링, 사고 과정, 다라운드 세 가지 축의 트레이드오프를 정리한 표다.

모델 크기만 키우는 것(R1-14B → R1-32B, No Thinking)은 지연 시간이 2배 이상 늘어나는데(3.71s → 7.88s) 성능은 +0.6밖에 오르지 않는다. 반면, 같은 R1-14B에 사고 과정을 켜면 15.40s로 지연이 커지긴 하지만 +2.7의 의미 있는 향상을 얻는다. 사고 과정이 모델 크기 확대보다 성능 대비 효율이 좋은 셈이다.

흥미로운 건, 사고 과정을 켠 상태에서 14B→32B로 올려도 +0.4밖에 추가되지 않는다는 것(32.5→32.9). 사고 과정이 이미 모델 크기 증가의 이점을 상당 부분 흡수해 버리는 것으로 보인다. 다라운드(3라운드)로 가면 45.44s지만 34.9로 올라가서, 시간을 더 투자할 가치가 있는 경로임은 분명하다.

7.3 비웹 검색 데이터셋 결과

Table 8 (원논문): 비웹 검색 데이터셋 결과 (nDCG@10). MILL과 LameR는 비공개 GPT-3.5-Turbo 모델 기반.

웹 검색이 아닌 도메인에서도 ThinkQE는 경쟁력이 있다. TREC-Covid에서 76.1로 최고 성능이고, Scifact에서도 73.3으로 LameR(73.5)에 거의 근접한다. 한 가지 짚을 점은, MILL과 LameR가 비공개 상용 모델인 GPT-3.5-Turbo를 사용한다는 것이다. ThinkQE는 공개 14B 모델로 이 성능을 달성했으니 공정한 비교에서는 더 유리할 수 있다.

7.4 도메인 특화 데이터셋에서의 라운드 수 영향

Table 9 (원논문): TREC-COVID 데이터셋에서의 반복 라운드별 성능.

반복 라운드가 늘어나면 주제 이탈(topic drift) 위험이 있는데, TREC-Covid에서는 2라운드까지 성능이 오르고 3라운드에서도 거의 유지된다(76.2→76.1). 확장 누적과 원래 쿼리 반복 전략이 주제 이탈을 효과적으로 방지하고 있다는 증거다.

7.5 통계적 유의성 검정

Table 15 (원논문): 통계적 유의성 검정 결과. †는 HyDE 대비, ‡는 LameR 대비 유의미하게 우수 (t-test, p<0.05).

ThinkQE는 HyDE 대비 7개 도메인 중 6개에서, LameR 대비 5개에서 통계적으로 유의미한 우위를 보인다. 유일하게 유의하지 않은 Robotics 도메인(19.3 vs 16.3/17.7)은 전반적으로 모든 방법의 성능이 낮은 곳이라 변동성이 크기 때문이다.

---

8. 강점과 한계

강점

• 학습 불필요 + 강력한 성능: Table 3에서 보듯 14B 제로샷 모델이 32B 학습 기반 리랭커를 능가한다. 새로운 도메인에 즉시 적용 가능하다는 건 실용적으로 큰 장점이다.
• 잘 설계된 ablation: 사고 과정, 코퍼스 상호작용, 확장 누적, 중복 필터링 각각의 기여를 꼼꼼하게 분리해서 보여준다. 특히 "NoThinking" 설정(가짜 사고 블록 삽입)으로 R1 증류 효과와 실제 사고 효과를 구분한 것은 설득력 있다.
• 넓은 모델 호환성: R1-14B 외에도 QWEN3-8B/14B, OpenThinker2-7B, Phi-4-Reasoning-14B 등 5종의 추론 모델에서 일관된 효과를 보여 프레임워크의 범용성을 입증했다.
• 프레임워크의 단순함: 별도 학습, 특수 인프라 없이 BM25 + LLM만으로 동작한다. 프롬프트도 간결하고 재현하기 쉽다.

한계 및 아쉬운 점

• 추론 시간 비용: Table 14에서 확인되듯 3라운드 기준 쿼리당 45초는 지연에 민감한 서비스에서 쓰기 어렵다. 저자들도 이를 한계로 인정했다. 사고 과정의 길이를 제어하거나, 사고 없이 빠르게 처리할 쿼리를 자동 판별하는 전략이 있으면 좋겠다.
• 영어 전용 실험: 다국어 설정에서의 효과는 미검증 상태다. 사고 과정이 다국어에서도 같은 수준의 탐색 효과를 가져올지는 별도 검증이 필요하다.
• 수학·코딩 도메인 제외: BRIGHT의 수학·코딩 하위 도메인을 의도적으로 제외했는데, 자연어 확장의 한계라는 건 이해하지만 이 도메인들에서의 성능을 확인하고 어떤 양상을 보이는지 분석했으면 논문의 완성도가 더 높았을 것이다.
• BM25 의존: 1단계 검색기로 BM25만 사용하는데, 밀집 검색기(dense retriever)와 조합했을 때의 시너지는 탐구하지 않았다. BM25의 어휘 매칭 한계가 ThinkQE의 성능 상한을 제약할 가능성이 있다.
• DL19/DL20의 제한된 테스트 세트: 43~50개 쿼리로는 통계적으로 안정적인 결론을 내기 어렵고, 실제로 BRIGHT에 대해서만 유의성 검정을 수행했다.

---

9. 마치며

ThinkQE는 "LLM이 먼저 생각하게 하고, 코퍼스와 대화하게 하라"는 단순하지만 효과적인 원칙을 쿼리 확장에 적용한 논문이다. 별도 학습 없이 BM25라는 오래된 검색기 위에서 추론 모델의 사고 능력을 활용해 학습 기반 밀집 검색기와 리랭커를 넘어서는 성능을 달성했다.

이 논문이 보여주는 더 큰 그림은 test-time compute의 가치다. 모델을 더 크게 만들거나 더 많은 데이터로 학습하는 것보다, 추론 시점에서 더 깊이 생각하고 더 많이 상호작용하는 것이 효율적일 수 있다는 것. Table 14에서 모델 크기 2배 증가(+0.6)보다 사고 과정 추가(+2.7)가 훨씬 효과적이었다는 결과가 이를 잘 보여준다.

후속 연구로는 (1) 사고 과정의 효율화 — 모든 쿼리에 동일한 깊이의 사고가 필요한 건 아닐 테니 적응적 사고 예산 할당, (2) BM25를 넘어선 검색기와의 조합, (3) 다국어 확장 같은 방향이 유망해 보인다. 개인적으로는 중복 필터링 전략을 좀 더 정교하게 만들어서 — 단순히 이전 결과를 제외하는 게 아니라 의미적 다양성을 측정하는 방식으로 — 더 적은 라운드에서 더 높은 다양성을 달성할 수 있을지도 궁금하다.

---

References

• Gao et al. (2022). "Precise Zero-Shot Dense Retrieval without Relevance Labels" (HyDE)
• Wang et al. (2023). "Query2doc: Query Expansion with Large Language Models"
• Shen et al. (2024). "Retrieval-Augmented Retrieval: Large Language Models are Strong Zero-Shot Retriever" (LameR)
• Lei et al. (2024). "Corpus-Steered Query Expansion with Large Language Models" (CSQE)
• DeepSeek-AI (2025). "DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning"
• Weller et al. (2025). "Rank1: Test-Time Compute for Reranking in Information Retrieval"
• Yang et al. (2025b). "Rank-K: Test-Time Reasoning for Listwise Reranking"
• Su et al. (2025). "BRIGHT: A Realistic and Challenging Benchmark for Reasoning-Intensive Retrieval"
• Rocchio Jr (1971). "Relevance Feedback in Information Retrieval"