논문 리뷰: DeepRetrieval - Hacking Real Search Engines and Retrievers with Large Language Models via Reinforcement Learning

DeepRetrieval: Hacking Real Search Engines and Retrievers with Large Language Models via Reinforcement Learning 리뷰

한 줄 요약: 지도 학습 데이터 없이 강화학습(RL)만으로 LLM에게 검색 엔진을 "해킹"하는 쿼리 생성 전략을 학습시켜, 3B 파라미터로 GPT-4o와 Claude-3.5-Sonnet을 뛰어넘는 검색 성능을 달성한 연구.

논문 정보

1. 들어가며

정보 검색(Information Retrieval, IR) 시스템은 방대한 문서 컬렉션에서 사용자가 원하는 정보를 찾아내는 핵심 기술이다. 전통적인 키워드 매칭 방식은 사용자의 의도와 실제 쿼리 사이의 의미적 간극(semantic gap)을 극복하기 어려웠고, 최근에는 LLM을 활용한 쿼리 증강(query augmentation)이 이 문제를 해소하는 유력한 방법으로 부상했다.

그런데 기존 LLM 기반 쿼리 증강 방법에는 근본적인 한계가 있다. 대부분 지도 학습(SFT)이나 증류(distillation) 기법에 의존하기 때문에, 고비용의 인간 라벨링 또는 대형 모델의 출력 데이터가 필요하다. 더 근본적인 문제는, 이런 방법들이 "사람이 작성한 쿼리를 모방"하는 것을 목표로 하지, 실제 검색 성능 자체를 최적화하지는 않는다는 점이다.

DeepRetrieval은 이 관점을 완전히 뒤집는다. 참조 쿼리(reference query) 없이, 검색 메트릭 자체를 보상(reward)으로 사용하는 강화학습을 통해 LLM이 시행착오로 최적의 쿼리 생성 전략을 스스로 발견하도록 한다. 결과적으로 3B 파라미터 모델이 GPT-4o와 Claude-3.5-Sonnet을 능가하는 성능을 보여주었고, 문헌 검색에서는 이전 SOTA 대비 리콜(recall)을 2.6배 이상 끌어올렸다. 솔직히, 이 성능 격차는 논문을 처음 봤을 때 상당히 인상적이었다.

2. 기존 연구의 한계

LLM 기반 쿼리 증강 연구는 크게 세 가지 방향으로 진행되어 왔다.

지도 학습 기반 접근: LEADS (Wang et al., 2025)처럼 GPT-4o에서 증류한 "골든 쿼리"와 인간 주석을 활용해 모델을 파인튜닝하는 방식이다. 높은 비용이 수반되며, 참조 쿼리의 품질에 성능이 크게 좌우된다.

정적 선호 데이터셋 기반 RL: Wu et al. (2021)이나 Hsu et al. (2024)은 검색 메트릭을 활용해 선호 데이터셋을 구축한 뒤, DPO 유사 전략으로 학습했다. 그러나 이는 정적(static) 데이터에 의존하므로, 동적인 탐색이 불가능하다.

RAG 프레임워크 내 보상 모델: Ma et al. (2023)이나 Wang et al. (2024b)은 하위 생성기(generator)의 출력 품질을 보상으로 활용했다. 간접적인 보상이므로 검색 자체의 최적화와는 거리가 있다.

이들 방법의 공통적인 문제는 (1) 감독 데이터가 필요하고, (2) 참조 쿼리를 "모방"하는 데 그치며, (3) 검색 엔진의 실제 동작 방식에 맞춘 직접적인 최적화가 이루어지지 않는다는 것이다. 개인적으로는, 검색 시스템이라는 블랙박스(black-box)와 직접 상호작용하면서 학습하는 접근이 훨씬 자연스럽다고 생각한다.

3. 핵심 아이디어

DeepRetrieval의 핵심 아이디어를 한 문장으로 압축하면 이렇다: 검색 메트릭을 보상으로 직접 활용하는 강화학습을 통해, LLM이 검색 엔진의 선호도를 시행착오로 학습하게 한다.

이 프레임워크의 세 가지 설계 원칙은 다음과 같다.

1. 지도 데이터 불필요: 참조 쿼리나 인간 주석 없이, 검색 결과 자체가 학습 신호가 된다.
2. 추론 후 생성(Reasoning-then-Generation): DeepSeek-R1에서 영감을 받아 <think> 섹션에서 먼저 추론한 뒤, <answer> 섹션에서 쿼리를 생성하는 구조를 채택했다.
3. 태스크 독립적 보상 설계: 리콜(recall), NDCG, 실행 정확도(execution accuracy) 등 태스크별 메트릭을 보상으로 유연하게 변환한다.

Figure 1: DeepRetrieval 성능 개요. (a) 실제 검색 엔진(PubMed, ClinicalTrials.gov)에서의 문헌 검색 성능(Recall@3K); (b) 클래식 정보 검색 및 SQL 데이터베이스 검색 태스크에서의 성능. (원논문)

Figure 1의 (a)를 보면, DeepRetrieval이 문헌 검색에서 기존 방법들을 압도적으로 뛰어넘는 것을 확인할 수 있다. Publication 검색에서 65.07%, Trial 검색에서 63.18%의 리콜을 달성하며, 2위인 LEADS(24.68%, 32.11%)와 비교 자체가 무색할 정도의 차이를 보인다. (b)의 레이더 차트에서도 DeepRetrieval(점선)이 거의 모든 방향에서 가장 바깥쪽에 위치하며, 다양한 태스크에 걸친 일관된 우위를 보여준다.

4. 제안 방법 (Method)

4.1 문제 정의

문서 컬렉션 $D$와 사용자 쿼리 $q$가 주어졌을 때, 쿼리 증강의 목표는 원래 쿼리 $q$를 더 효과적인 쿼리 $q'$로 변환하는 것이다. DeepRetrieval은 이를 RL 문제로 정식화한다.

• 상태(State): 사용자의 원래 쿼리 $q$
• 행동(Action): 모델이 생성한 증강 쿼리 $q'$
• 보상(Reward): $q'$로 검색했을 때의 검색 성능 메트릭 (예: recall, NDCG, execution accuracy)

4.2 추론 강화 강화학습 프레임워크

Figure 2: DeepRetrieval의 추상적 개요. 입력 사용자 쿼리에 기반하여 LLM이 증강 쿼리를 생성하고, 이를 통해 문서를 검색한다. 포맷 보상과 검색 보상 모두 모델 업데이트를 위한 피드백으로 계산된다. (원논문)

Figure 2에 나타난 전체 아키텍처를 살펴보면, 파이프라인은 직관적이다. 사용자 쿼리가 입력되면, LLM이 <think> 태그 내에서 쿼리를 어떻게 증강할지 추론하고, <answer> 태그 내에서 최종 증강 쿼리를 출력한다. 이 쿼리로 실제 검색을 수행한 뒤, 검색 결과와 정답(ground truth)을 비교하여 검색 보상(Retrieval Reward)을 계산한다. 여기에 출력 형식을 준수했는지에 대한 포맷 보상(Format Reward)을 합산한 최종 보상이 모델 업데이트에 사용된다.

출력 구조는 각 검색 도메인의 요구사항에 맞게 조정된다:

• 문헌 검색 / 희소 검색: 불리언 표현식(boolean expression) 형태
• 밀집 검색: 자연어 쿼리 확장
• SQL 데이터베이스 검색: SQL 문

4.3 보상 함수 설계

보상 함수는 두 가지 구성요소로 이루어진다:

$r(q, q') = r_{\text{retrieval}}(q, q') + r_{\text{format}}(q, q')$

여기서 $r_{\text{retrieval}}$은 태스크별 검색 성능을 반영하고, $r_{\text{format}}$은 요구되는 출력 구조에 대한 준수도를 나타낸다.

검색 보상은 다음과 같이 계산된다:

$r_{\text{retrieval}}(q, q') = \text{Metric}(R_{q'}, I_q)$

• $R_{q'}$: 증강 쿼리 $q'$를 사용해 얻은 검색 결과
• $I_q$: 쿼리 의도의 성공 기준(정답 문서, 답변 스팬 등)
• $\text{Metric}(\cdot, \cdot)$: 태스크별 평가 함수

태스크별 구체적인 보상 설계는 아래 표에 정리되어 있다.

Table 8 (원논문): 태스크별 정의, 평가 메트릭, 보상 설계 요약

문헌 검색과 증거 기반 검색에서는 구간별 이산 보상(discrete reward)을, 희소/밀집 검색과 SQL에서는 연속 보상(continuous reward)을 사용하는 점이 인상적이다. 문헌 검색의 경우 recall이 0.05 미만이면 -3.5라는 상당한 패널티를 부여하여, 완전한 실패에 대한 명확한 학습 신호를 제공한다.

4.4 PPO 최적화

DeepRetrieval은 PPO(Proximal Policy Optimization) 알고리즘으로 최적화된다. KL 정규화가 포함된 목적 함수는 다음과 같다:

$\max_{\pi} \mathbb{E}_{q \sim \rho, q' \sim \pi}[r(q, q')] - \beta \cdot D_{KL}[\pi \| \pi_{\text{ref}}]$

여기서 $\pi_{\text{ref}}$는 RL 시작 전의 초기 정책(reference policy), $\beta$는 KL 패널티 계수로, 탐색과 안정성 사이의 균형을 조절한다.

PPO 목적 함수는 세 가지 항으로 구성된다:

$L^{\text{PPO}}(\theta) = L^{\text{CLIP}}(\theta) - c_1 L^{\text{VF}}(\theta) + c_2 S[\pi_\theta]$

• $L^{\text{CLIP}}$: 비율 클리핑을 통한 안정적인 정책 업데이트
• $L^{\text{VF}}$: 가치 함수(Value Function) 손실로 보상 예측 분산 감소
• $S[\pi_\theta]$: 엔트로피 보너스로 다양한 쿼리 탐색 유도

구현 세부 사항으로, 기본 모델은 Qwen2.5-3B-Instruct이며, actor 학습률 1e-6, critic 학습률 1e-5, KL 계수 0.001, 생성 온도 0.6, 배치 크기 64로 설정되었다. HybridFlow(verl) 프레임워크 위에서 텐서 병렬화와 데이터-모델 하이브리드 병렬화를 활용하여 학습한다. 하드웨어는 NVIDIA A100 80GB 2장으로 충분하다는 점이 실용적이다.

5. 실험 결과

5.1 문헌 검색 및 증거 기반 검색

Table 1 (원논문): 검색 엔진을 이용한 문헌 검색과 증거 기반 검색 성능. Publication과 ClinicalTrials는 Recall@3K, 증거 기반 검색(NQ, TriviaQA, SQuAD)은 H@N(답변 스팬 히트)으로 측정.

결과부터 말하자면, 문헌 검색에서의 성능 격차가 충격적이다. DeepRetrieval의 65.07%(Publication)과 63.18%(ClinicalTrials)는 이전 SOTA인 LEADS의 24.68%와 32.11%를 2배 이상 뛰어넘는다. LEADS가 GPT-4o에서 증류한 골든 쿼리와 인간 주석을 활용해 Mistral-7B를 파인튜닝한 것과 비교하면, 감독 데이터 없이 3B 모델로 이 성능을 달성한 것은 RL의 탐색 능력이 얼마나 강력한지를 보여준다.

증거 기반 검색에서는 NQ와 TriviaQA에서 GPT-4o, Claude-3.5-Sonnet과 대등한 성능을, SQuAD에서는 이들을 상당 폭으로 능가하는 성능을 보인다 (H@1: 38.5 vs GPT-4o 30.4, Claude-3.5 28.5). 3B 파라미터 모델이 수백 배 큰 상용 모델과 경쟁하거나 이기는 결과가 RL 기반 접근의 파라미터 효율성을 잘 드러낸다.

reasoning 과정을 제거한 ablation(w/o reasoning)에서도 성능 하락이 확연하다. 특히 문헌 검색에서 reasoning 유무에 따라 65.07% vs 51.90%(Publication), 63.18% vs 53.31%(ClinicalTrials)로 약 10%p 이상의 차이가 나며, 추론 과정이 검색 쿼리의 품질에 크게 기여함을 보여준다.

5.2 클래식 희소 및 밀집 텍스트 검색

Table 2 (원논문): 클래식 희소(S)·밀집(D) 문서 검색 NDCG@10 성능. BM25(희소), E5-Large/BGE/Contriever(밀집)를 기반 검색기로 사용.

몇 가지 주목할 패턴이 보인다.

첫째, DeepRetrieval은 희소 검색에서 8개 데이터셋 중 7개, 밀집 검색에서 8개 중 6개에서 최고 성능을 달성한다. 이는 프레임워크가 특정 검색기에 종속되지 않는 검색기 불가지론(retriever-agnostic) 특성을 갖고 있음을 보여준다.

둘째, BGE가 HotpotQA, FEVER, MS MARCO의 학습 데이터로 사전 학습된 경우, 이미 높은 성능(NDCG@10 > 0.7)을 달성하고 있어 개선 여지가 적다. 다른 쿼리 증강 모델들은 이 경우 오히려 성능을 떨어뜨리는 경우가 많은데, DeepRetrieval은 여전히 소폭이나마 개선을 보인다 (FEVER: 82.5 → 84.1). 이 점이 중요한데, 이미 잘 작동하는 검색기에도 해를 끼치지 않는다는 의미이기 때문이다.

셋째, MS MARCO 도메인별 서브셋에서 BM25+DeepRetrieval이 밀집 검색을 오히려 능가한다. 저자들은 "Make BM25 Great Again"이라는 재미있는 표현을 쓰는데, 효율성 면에서 BM25가 밀집 검색보다 34배 빠르다는 점을 고려하면, 성능과 효율성을 동시에 달성할 수 있는 실용적 가치가 크다.

넷째, SciFact는 학습 데이터가 약 800개밖에 되지 않아 DeepRetrieval이 최고 성능을 달성하지 못한다. 이는 RL 학습에도 어느 정도의 학습 데이터 규모가 필요함을 시사한다.

5.3 SQL 데이터베이스 검색

Table 3 (원논문): BIRD와 Spider에서의 SQL 데이터베이스 검색 실행 정확도. 'w/ cold start'는 SFT 모델에서 RL을 시작하는 방식.

SQL 생성에서도 RL의 강점이 잘 드러난다. RL from scratch(DeepRetrieval 3B-Base)가 동일 베이스 모델의 SFT 모델(Qwen2.5 3B-Inst SFT w/ reasoning: 37.29/60.93)을 BIRD에서 +4.11, Spider에서 +7.86 능가한다. 인간이 작성한 고품질 SQL을 학습한 SFT보다, 실행 정확도를 직접 보상으로 사용하는 RL이 더 효과적이라는 점은, SQL 정답이 하나가 아닐 수 있다는 SQL 태스크의 특성과 맞닿아 있다.

DeepRetrieval 3B-Coder의 49.02(BIRD)는 GPT-4o의 55.35보다는 낮지만, 7B-Coder로 확장하면 56.00으로 GPT-4o를 넘어선다. Spider에서는 3B-Coder(74.85)만으로도 GPT-4o(73.50)를 초과한다.

Cold start(SFT로 초기화 후 RL)의 효과는 BIRD에서 더 두드러진다 (Base: 41.40 → 44.00, +2.6). 아무래도 BIRD가 Spider보다 난이도가 높아 초기 탐색이 어려운 상황에서, SFT 초기화가 더 좋은 탐색 경로를 열어주는 것으로 보인다. 반면, 이미 코딩 능력이 강한 Coder 모델에서는 cold start의 효과가 미미하거나 오히려 소폭 하락(Spider: 74.85 → 74.34)하기도 한다.

6. 추가 실험 및 부록 (Appendix)

6.1 지식 주입(Knowledge Injection) 분석

Figure 3: 증거 기반 검색에서의 지식 주입 분석. LLM이 사전 지식을 바탕으로 답변 정보를 생성 쿼리에 주입할 수 있으며, 보조 LLM으로 주입된 지식을 제거하여 그 기여도를 측정한다. (원논문)

이 분석은 LLM 기반 쿼리 증강의 공정성(fairness)과 관련된 중요한 이슈를 다룬다. LLM이 이미 답을 "알고 있는" 경우, 쿼리에 답변 정보를 슬쩍 넣어버릴 수 있다. 과연 성능 향상이 순수한 쿼리 재작성 능력에서 오는 것인지, 아니면 이런 "치팅"에서 오는 것인지를 분리하는 것이 핵심이다.

데이터셋별로 결과가 크게 다르다:

• NQ: 지식 주입(22.1%)과 기타 요인(쿼리 표준화 등) 모두 성능에 기여하며, 주입된 지식을 제거해도 성능이 크게 유지된다.
• TriviaQA: 성능 향상이 지식 주입(41.5%)에 크게 의존하며, 주입 지식 제거 시 성능이 크게 하락한다.
• SQuAD: 지식 주입률이 낮고(4.6%), 성능 향상이 데이터셋 분포 이해에 더 의존한다.

DeepRetrieval이 데이터셋별로 주입률을 자동 조절한다는 점이 흥미롭다. NQ에서는 22.1%, TriviaQA에서는 41.5%, SQuAD에서는 4.6%로, 각 데이터셋에 최적화된 전략을 RL을 통해 스스로 발견한 것이다.

6.2 추론 과정의 길이 변화 분석

Figure 4: PubMed 검색 엔진을 이용한 문헌 검색에서의 추론(Thinking)과 쿼리 생성 길이 연구. (1) Qwen-2.5-3B-Inst, (2) Llama-3.2-3B-Inst, (3) 추론 없는 Qwen 세 가지 설정을 비교한다. (원논문)

Figure 4는 이 논문에서 가장 통찰이 풍부한 그래프 중 하나다.

(a) 추론 길이의 감소: DeepSeek-R1에서 관찰된 "aha moment"(추론 체인이 갈수록 길어지는 현상)와 정반대로, DeepRetrieval에서는 학습이 진행될수록 추론 길이가 줄어든다. 초기에는 150토큰 이상이던 Qwen의 think 길이가 학습 후반에는 약 30~40토큰으로 수렴한다. 저자들의 설명에 따르면, 검색 쿼리 생성은 수학 문제와 달리 본질적으로 긴 추론이 필요하지 않다. 추론은 초기 탐색(exploration)을 위한 보조 도구 역할을 하며, 효과적인 전략을 발견한 후에는 그 필요성이 줄어드는 것이다. 솔직히 이 관찰은 상당히 설득력이 있고, 태스크 특성에 따른 reasoning의 역할 차이를 잘 보여준다.

(b) 추론 없는 모델의 쿼리 길이 폭발: Qwen (No Think)은 학습이 진행되면서 쿼리 길이가 400~600토큰까지 폭발적으로 증가한다. 추론 과정 없이 바로 쿼리를 생성하면, 모델이 무분별한 확장 전략(term repetition)에 빠져 지역 최적해(local minimum)에 갇히게 된다.

(c) 서로 다른 정책, 비슷한 성능: Qwen과 Llama가 비슷한 성능(step 1400~1800에서 65% 내외)에 도달하지만, (b)를 보면 Qwen은 긴 쿼리를, Llama는 짧은 쿼리를 생성하는 전혀 다른 정책을 학습했다. 같은 검색 엔진과 상호작용하면서도 다른 경로로 유사한 성능에 도달한 것은, RL의 탐색 유연성을 잘 보여주는 사례다.

6.3 추론 없는 모델의 지역 최적해 문제

Figure 12 (원논문): 쿼리 생성 예시. Step 400과 Step 600에서 가장 일반적인 보상 받은 쿼리 패턴을 보여준다. (원논문)

Figure 12를 보면 문제가 명확해진다. Qwen (No Think)은 step 400에서 이미 길고 장황한 OR 연결 쿼리로 보상을 받기 시작한다. 이 초기 강화가 step 600에서는 "ovarian atrophy"와 같은 용어가 반복되는 퇴화된(degenerate) 쿼리 패턴으로 이어진다. 반면, 추론 기능이 있는 Qwen과 LLaMA는 초기부터 잘 구조화된 불리언 쿼리를 생성하며, step 600에서는 더 정교하고 의미적으로 정확한 쿼리로 진화한다.

이 결과는 추론 과정이 단순한 성능 향상을 넘어, RL 학습의 최적화 궤적(optimization trajectory) 자체를 건강하게 유지하는 역할을 한다는 것을 시사한다.

6.4 데이터셋 세부사항

논문은 광범위한 데이터셋을 사용한다.

Table 4, 5 (원논문): 문헌 검색 및 증거 기반 검색 데이터셋 통계

문헌 검색에서는 PICO 형식(Patient, Intervention, Comparison, Outcome)으로 구조화된 쿼리를 사용하며, 이는 의학 검색에서 널리 쓰이는 표준 형식이다.

Table 6 (원논문): 클래식 텍스트 검색 데이터셋 통계

Table 7 (원논문): BIRD와 Spider 데이터셋 통계

6.5 프롬프트 설계

논문은 각 태스크별로 서로 다른 프롬프트를 설계하여 사용한다.

Figure 13 (원논문): 문헌 검색에 사용된 프롬프트. PICO 형식의 쿼리를 불리언 검색식으로 변환하도록 안내한다. (원논문)

Figure 14 (원논문): 증거 기반 검색에 사용된 프롬프트. BM25 기반 Wikipedia 코퍼스 검색을 위한 쿼리 재작성을 안내한다. (원논문)

Figure 15 (원논문): 클래식 희소 문서 검색에 사용된 프롬프트. 데이터셋별로 태스크에 맞는 세부 지시를 포함한다. (원논문)

Figure 16 (원논문): 클래식 밀집 문서 검색에 사용된 프롬프트. 의미적 유사성 기반 검색을 위한 쿼리 확장을 안내한다. (원논문)

Figure 17 (원논문): SQL 데이터베이스 검색에 사용된 프롬프트. 데이터베이스 스키마와 외부 지식(선택)을 제공하여 SQL을 생성하도록 안내한다. (원논문)

Figure 18 (원논문): 지식 주입 검사 및 정제에 사용된 프롬프트. Claude-3.5-Sonnet을 보조 LLM으로 활용한다. (원논문)

모든 프롬프트에서 <think>/<answer> 구조를 일관되게 사용하며, 태스크별로 출력 형식(불리언 식, 자연어, SQL)과 역할 설명을 달리하는 것이 체계적으로 잘 설계되어 있다.

6.6 사례 연구 (Case Studies)

부록에서 제공하는 사례 연구는 DeepRetrieval의 동작 방식을 직관적으로 이해하는 데 유용하다.

문헌 검색 사례 (Table 9): 원본 PICO 쿼리를 단순 OR 연결하면 recall이 0%이고, GPT-4o의 불리언 쿼리는 14.81%에 그치는 반면, DeepRetrieval은 "DDAVP"라는 약물 약어와 "Randomized Controlled Trial"이라는 연구 유형 필터를 적절히 조합하여 recall을 극대화한다. 검색 엔진의 인덱싱 구조를 RL로 학습한 결과, 인간 전문가도 쉽게 떠올리기 어려운 쿼리 패턴을 발견한 것이다.

SQL 사례 (Table 13): "books that are not 'Poet'"라는 쿼리에서, GPT-4o는 'Title != Poet'로 잘못 해석하여 빈 결과를 반환하지만, DeepRetrieval은 정확히 'Type != Poet'으로 해석하여 올바른 결과를 반환한다. 실행 정확도를 직접 보상으로 사용하는 RL의 이점이 잘 드러나는 사례다.

7. 강점과 한계

강점

1. 간결하고 설득력 있는 핵심 아이디어: "검색 메트릭을 보상으로 직접 사용한다"는 아이디어는 단순하지만 강력하다. 기존 방법들이 간접적인 최적화에 의존했다는 점에서, 이 직접적 접근이 왜 더 효과적인지에 대한 논리가 탄탄하다.

2. 포괄적인 실험: 5가지 검색 태스크(문헌 검색, 증거 기반 검색, 희소 검색, 밀집 검색, SQL)에 걸친 광범위한 실험은 제안 방법의 일반성을 잘 입증한다. 특히 실제 검색 엔진(PubMed, ClinicalTrials.gov) API를 사용한 실험은 현실적 적용 가능성을 높인다.

3. 풍부한 분석: 지식 주입 분석, 추론 길이 변화 관찰, 서로 다른 LLM이 다른 정책을 학습한다는 발견 등은 단순한 성능 보고를 넘어 깊은 이해를 제공한다. "왜 RL이 SFT보다 나은가", "왜 추론이 도움되는가"에 대한 체계적 분석도 좋다.

4. 실용성: 3B 모델 + A100 2장이라는 접근 가능한 자원 요구량, 감독 데이터가 불필요한 학습 방식, 다양한 검색기에 적용 가능한 범용성 모두 실용적 가치가 높다.

한계

1. 검색 API 의존성: 문헌 검색 실험에서 PubMed/ClinicalTrials.gov API를 호출하므로, RL 학습 중 API 비용과 지연 시간이 발생한다. 학습 시간과 비용에 대한 구체적인 정보가 부족하다는 점이 아쉽다.

2. 소규모 데이터 한계: SciFact(800개 학습 데이터)에서 최고 성능을 달성하지 못한 점에서, RL 기반 접근도 일정 규모 이상의 학습 데이터가 필요함을 알 수 있다. 저자원(low-resource) 시나리오에서의 성능 한계에 대한 체계적 분석이 추가되면 좋겠다.

3. 지식 주입 이슈: 증거 기반 검색에서 모델이 사전 지식을 쿼리에 주입할 수 있다는 점은 공정성 문제를 제기한다. 저자들이 이를 분석한 것은 좋지만, 이를 제어하거나 방지하는 메커니즘이 없다는 점은 아쉽다.

4. 일반화 검증의 한계: 현재 Qwen2.5-3B-Instruct와 Llama-3.2-3B 두 모델에서만 검증되었다. 더 큰 모델(7B, 13B)에서의 RL 학습 양상이나, 다른 RL 알고리즘(GRPO, REINFORCE++ 등)과의 비교가 없다. 개인적으로는, GRPO를 사용했을 때의 결과가 궁금하다.

5. 보상 함수 설계의 일반화: 문헌 검색의 구간별 이산 보상 함수의 임계값(0.7, 0.5, 0.4 등)이 어떤 기준으로 설정되었는지에 대한 설명이 부족하다. 보상 함수의 하이퍼파라미터에 대한 민감도 분석이 있었다면 더 완성도가 높았을 것이다.

8. 마치며

DeepRetrieval은 정보 검색 분야에 강화학습을 적용하는 방법론의 강력한 사례를 제시한다. "검색 엔진을 해킹한다"는 다소 자극적인 표현은, 실제로 RL이 검색 시스템의 내부 선호도를 시행착오로 학습하여 인간 전문가가 발견하기 어려운 최적 쿼리 패턴을 찾아낸다는 점에서 과장이 아니다.

가장 인상적인 것은, SFT가 "정답을 모방"하는 데 그치는 반면 RL은 "검색 결과를 직접 최적화"한다는 패러다임 전환이다. SQL 생성에서 인간이 작성한 정답 SQL보다 RL이 발견한 SQL이 더 높은 실행 정확도를 보이는 결과는, 이 패러다임의 효과를 단적으로 보여준다. 추론 체인의 길이가 학습 과정에서 줄어드는 관찰 역시, DeepSeek-R1의 "aha moment"와 대비되며 태스크 특성에 따른 reasoning의 역할을 새롭게 이해하게 한다.

아쉬운 점은, 학습 비용과 API 호출 비용에 대한 정보가 제한적이고, 보상 함수 설계의 임계값에 대한 추가 분석이 없다는 것이다. 또한 다양한 모델 규모와 RL 알고리즘에 대한 확장 실험이 있었다면 더 완성도 높은 연구가 되었을 것이다.

그럼에도 불구하고, 감독 데이터 없이 3B 모델로 상용 LLM을 능가하는 검색 성능을 달성했다는 사실은, 향후 RL 기반 정보 검색 연구의 방향을 제시하는 중요한 이정표가 될 것이다. 특히 "BM25+DeepRetrieval이 밀집 검색을 능가한다"는 결과는, 효율성과 성능을 동시에 추구하는 실용적 시스템 구축에 큰 시사점을 준다.

References

• Pengcheng Jiang et al. "DeepRetrieval: Hacking Real Search Engines and Retrievers with Large Language Models via Reinforcement Learning." COLM 2025. arXiv:2503.00223
• Daya Guo et al. "DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning." arXiv:2501.12948, 2025.
• Zifeng Wang et al. "A Foundation Model for Human-AI Collaboration in Medical Literature Mining." arXiv:2501.16255, 2025.
• John Schulman et al. "Proximal Policy Optimization Algorithms." arXiv:1707.06347, 2017.
• Tianzhe Chu et al. "SFT Memorizes, RL Generalizes: A Comparative Study of Foundation Model Post-Training." arXiv:2501.17161, 2025.