논문 리뷰: R1-Searcher: Incentivizing the Search Capability in LLMs via Reinforcement Learning

R1-Searcher: Incentivizing the Search Capability in LLMs via Reinforcement Learning 리뷰

한 줄 요약: 프로세스 보상이나 SFT 없이, 2단계 결과 기반 강화학습(RL)만으로 LLM이 추론 중 자율적으로 외부 검색을 수행하도록 학습시키는 프레임워크

논문 정보

---

1. 들어가며

DeepSeek-R1, OpenAI o1 같은 대형 추론 모델(Large Reasoning Models, LRMs)이 강화학습을 통해 수학이나 코딩 문제에서 뛰어난 추론 능력을 보여주고 있다. 그런데 이 모델들에게는 치명적인 약점이 하나 있다. 모든 문제를 내부 지식에만 의존해서 풀려고 한다는 것이다. 최신 뉴스나 시간에 민감한 정보, 전문 도메인 지식이 필요한 질문 앞에서는 사실을 지어내는 환각(hallucination) 현상이 쉽게 발생한다.

이 문제를 해결하기 위한 가장 자연스러운 접근은 검색 증강 생성(Retrieval-Augmented Generation, RAG)이다. 모델이 모르는 것은 외부에서 찾아보게 하자는 아이디어인데, 기존 RAG 방법론들은 크게 세 가지 한계를 안고 있었다. 프롬프트 기반 방법은 GPT-4 같은 폐쇄형 모델에 의존하고, SFT 기반 증류는 일반화 능력이 부족하며, 테스트 타임 스케일링(MCTS 등)은 추론 비용이 지나치게 높다.

R1-Searcher는 이 세 가지 한계를 모두 우회하는 방법을 제안한다. 핵심 전략은 단순하면서도 효과적이다. SFT나 프로세스 보상 없이, 오직 결과 기반 RL만으로 모델이 "언제, 어떻게 검색할지"를 스스로 탐색하며 학습하게 만든다. 솔직히, 이렇게 단순한 설계로 GPT-4o-mini 기반 방법을 압도하는 결과가 나온다는 점이 이 논문의 가장 큰 매력이다.

---

2. 기존 연구의 한계

LLM에 외부 검색 능력을 부여하려는 시도는 다양하게 존재해왔다. 각 접근법의 한계를 정리하면 다음과 같다.

프롬프트 기반 방법 (Self-Ask, IRCoT 등): 질문을 분해하고 검색 쿼리를 생성하도록 프롬프트를 설계하는 방식이다. 복잡한 프롬프트 엔지니어링이 필요하고, 최적 성능을 위해 GPT-4o-mini 같은 폐쇄형 모델에 의존하는 경우가 많다. 오픈소스 모델에서는 성능이 크게 떨어진다.

SFT 기반 증류 방법: 강력한 모델의 검색 행동을 소규모 모델에 증류하는 접근이다. 최근 연구(Chu et al., 2025)에 따르면 SFT는 솔루션 경로를 단순히 암기하는 경향이 있어, 새로운 시나리오에 대한 일반화 능력이 부족하다. 이 논문의 실험에서도 SFT 대비 RL의 일반화 우위가 명확하게 드러난다.

테스트 타임 스케일링 (CR-Planner, ReARTeR 등): 추론 시 MCTS(Monte Carlo Tree Search) 등으로 탐색 공간을 확장하는 방법이다. 성능은 뛰어나지만, 추론 시 검색 호출 횟수가 크게 늘어나 실용성이 떨어진다. ReARTeR의 경우 테스트 타임에 대규모 탐색 비용이 발생한다.

R1-Searcher가 이들과 결정적으로 다른 점은, 검색 능력을 학습 시점에 모델 내부에 내재화한다는 것이다. 추론 시에는 단순히 한 번의 생성 과정 안에서 필요할 때 검색을 호출하므로, 테스트 타임 비용이 최소화된다.

---

3. 핵심 아이디어

R1-Searcher의 핵심 아이디어는 두 문장으로 요약할 수 있다.

1. 2단계 결과 기반 RL: Stage-1에서 검색 호출 형식을 학습하고, Stage-2에서 검색 결과를 활용한 정답 생성을 학습한다. 커리큘럼 러닝과 유사한 점진적 학습 전략이다.
2. 외부 검색 환경과의 상호작용: RL 학습 과정에서 모델이 실제 검색 시스템과 상호작용하며 탐색한다. 검색 결과 문서는 환경의 관측(observation)으로 취급되어 loss 계산에서 마스킹된다.

개인적으로 가장 인상적인 부분은, 이 방법이 SFT cold start 없이도 베이스 모델(Qwen-2.5-7B-Base)에서 바로 RL 학습이 가능하다는 점이다. DeepSeek-R1이 "RL-Zero"라는 이름으로 SFT 없는 RL 학습의 가능성을 보여줬는데, R1-Searcher는 이를 검색 증강 시나리오로 확장한 셈이다.

---

4. 제안 방법 (Method)

4.1 데이터 선택 (Data Selection)

RL 학습의 효율성을 위해, 학습 데이터의 난이도를 세 단계로 분류한다. Qwen-2.5-7B-Instruct 모델에 로컬 검색 시스템을 붙여 각 질문에 대해 rollout을 수행하고, 정답에 도달하는 데 필요한 rollout 수에 따라 난이도를 구분한다.

• Easy: 10회 미만의 rollout으로 정답 도달
• Medium: 10~20회 rollout
• Difficult: 20회 이상 rollout

Table 1 (원논문): RL 학습에 사용된 데이터 구성. Stage-1은 소량의 Medium 데이터만 사용하고, Stage-2에서 Medium과 Difficult 데이터를 혼합하여 사용한다.

Stage-1에서는 350개의 중간 난이도 데이터만 사용하는 반면, Stage-2에서는 총 8,148개의 데이터를 사용한다. Stage-1이 적은 데이터로도 충분한 이유는, 이 단계의 목표가 단순히 "검색을 호출하는 형식"을 배우는 것에 한정되기 때문이다.

4.2 2단계 결과 기반 강화학습 (Two-Stage Outcome-based RL)

Stage-1: 검색 호출 학습

Stage-1의 목표는 모델이 외부 검색 시스템을 호출할 수 있다는 사실을 인지하고, 올바른 형식으로 검색을 수행하는 것이다. 정답의 정확성은 고려하지 않는다.

검색 보상 (Retrieval Reward):

$R_{\text{retrieve}} = \begin{cases} 1 & \text{if } n \geq 1 \\ -1 & \text{if } n = 0 \end{cases}$

여기서 $n$은 검색 호출 횟수다. 검색을 한 번이라도 수행하면 +1, 전혀 수행하지 않으면 -1의 보상을 부여한다.

형식 보상 (Format Reward): 올바른 형식을 따르면 +1, 그렇지 않으면 -1을 부여한다. 올바른 형식의 조건은 다음과 같다.

1. <think>...</think> 와 <answer>...</answer> 태그를 올바르게 사용
2. 생성된 출력에 깨진 문자나 읽을 수 없는 내용이 없어야 함
3. 검색 호출 시 <begin_of_query>...</end_of_query> 태그를 사용하고, 검색 없이 문서를 직접 생성하지 않아야 함

$R_{\text{format}}^{\text{Stage-1}} = \begin{cases} 1 & \text{if format is correct} \\ -1 & \text{if format is incorrect} \end{cases}$

Stage-1의 최종 보상: $R_{\text{Stage-1}} = R_{\text{retrieve}} + R_{\text{format}}^{\text{Stage-1}}$

Stage-2: 검색 활용 및 정답 생성 학습

Stage-2에서는 검색 보상을 제거하고, 대신 정답 보상(Answer Reward)을 도입한다. 모델이 검색을 통해 얻은 정보를 활용하여 정확한 답을 생성하도록 학습한다.

형식 보상: Stage-1과 동일한 판단 기준을 사용하되, 패널티 값이 다르다.

$R_{\text{format}}^{\text{Stage-2}} = \begin{cases} 0 & \text{if format is correct} \\ -2 & \text{if format is incorrect} \end{cases}$

Stage-2에서 형식이 올바른 경우 보상이 0인 이유는, 이 단계에서는 정답 정확도가 주된 학습 신호여야 하기 때문이다. 형식 위반에 대해서는 -2라는 강한 패널티를 부여하여 형식 붕괴를 방지한다.

정답 보상 (Answer Reward): 예측 답변과 정답 간의 F1 스코어를 사용한다.

$R_{\text{answer}} = F_1 = \frac{2 \times \text{Precision} \times \text{Recall}}{\text{Precision} + \text{Recall}}$

여기서 $\text{Precision} = \frac{IN}{PN}$, $\text{Recall} = \frac{IN}{RN}$이며, $PN$은 예측 답변의 단어 수, $RN$은 정답의 단어 수, $IN$은 두 답변의 교집합 단어 수를 나타낸다.

Stage-2의 최종 보상: $R_{\text{Stage-2}} = R_{\text{answer}} + R_{\text{format}}^{\text{Stage-2}}$

4.3 학습 알고리즘

기본 알고리즘은 Reinforce++를 기반으로 하되, RAG 시나리오에 맞게 두 가지 핵심 수정을 가한다.

RAG 기반 Rollout: 모델이 <end_of_query> 토큰을 생성하면 생성을 일시 중단하고, 해당 쿼리로 실제 검색을 수행한다. 검색 결과는 <begin_of_documents>...</end_of_documents> 태그로 감싸서 모델의 컨텍스트에 삽입한 뒤, 이어서 생성을 계속한다. 이 과정이 하나의 rollout 안에서 여러 번 반복될 수 있다.

검색 마스크 기반 손실 계산 (Retrieval Mask-based Loss Calculation): 검색으로 가져온 문서 부분(<begin_of_documents>...</end_of_documents>)은 환경의 관측값이지 모델이 생성해야 할 토큰이 아니다. 따라서 이 구간의 토큰을 loss 계산에서 마스킹하여, 외부 문서가 모델의 고유한 추론 및 생성 학습에 간섭하는 것을 방지한다. 이 설계가 없으면 모델이 검색 없이 문서를 직접 생성하려는 비정상적 행동을 학습할 위험이 있다.

---

5. 실험 결과

5.1 실험 설정

데이터셋: HotpotQA, 2WikiMultiHopQA (in-domain), Musique, Bamboogle (out-of-domain)의 4개 멀티홉 QA 벤치마크를 사용한다.

평가 지표: Cover Exact Match (ACC_R)와 LLM-as-Judge (ACC_L, GPT-4o-mini 기반)을 사용한다.

검색 환경: KILT에서 제공하는 2019년 영문 위키피디아를 100단어 단위로 분할한 2,900만 개 패시지. 검색기는 BGE-large-en-v1.5를 사용한다.

백본 모델: Qwen-2.5-7B-Base와 Llama-3.1-8B-Instruct.

5.2 메인 결과 (Main Results)

Figure 1: R1-Searcher와 기존 방법들의 4개 멀티홉 QA 벤치마크 성능 비교. LLM-as-Judge (ACC_L) 기준. (원논문)

Figure 1에서 한눈에 드러나는 것은 R1-Searcher(파란색 계열)가 모든 벤치마크에서 기존 방법들을 크게 앞선다는 점이다. HotpotQA에서 Qwen-2.5-7B-RL이 75.0%를 기록하며, GPT-4o-mini 기반 최강 베이스라인인 ReARTeR(50.6%)를 24.4%p 차이로 압도한다. 2WikiMultiHopQA에서는 그 격차가 더 벌어져 65.0% vs 53.4%를 보인다. Out-of-domain인 Bamboogle과 Musique에서도 R1-Searcher가 상위권을 유지하며 일반화 능력을 증명한다.

아래 표는 전체 베이스라인과의 상세 비교다. 원논문의 Table 2는 파싱 과정에서 셀 병합이 복잡하여, 핵심 비교 결과를 정리하여 재구성했다.

Table 2 (원논문 재구성): R1-Searcher와 베이스라인의 4개 멀티홉 QA 벤치마크 성능 비교. 굵은 글씨는 제안 방법의 결과. GPT-4o-mini, Qwen-2.5-7B-Base, Llama-3.1-8B-Instruct를 각각 GPT, Qwen, Llama로 약칭.

세 가지 핵심 관찰 사항이 있다.

첫째, 성능 향상 폭이 크다. Qwen-2.5-7B-Base 기반 R1-Searcher는 HotpotQA에서 ReARTeR(GPT-4o-mini) 대비 ACC_L 기준 48.2%p 향상(0.506 -> 0.750), 2WikiMultiHopQA에서 21.7%p 향상을 달성했다. 7B 오픈소스 모델이 GPT-4o-mini 기반 방법을 이 정도 격차로 이기는 것은 상당히 의미 있는 결과다.

둘째, Cold start 없이 Base 모델에서도 동작한다. Qwen-2.5-7B-Base는 instruction tuning조차 되지 않은 모델인데, SFT cold start 없이 순수 RL만으로 최고 성능을 달성했다. 이는 RL이 검색 능력을 처음부터 유도할 수 있음을 보여주며, DeepSeek-R1의 "RL-Zero" 패러다임이 검색 증강 시나리오에서도 유효함을 입증한다.

셋째, 일반화 능력이 우수하다. 학습에 사용하지 않은 Musique와 Bamboogle에서도 강한 성능을 보인다. 특히 8,148개라는 비교적 소량의 학습 데이터만으로 이러한 일반화가 가능하다는 점은, 모델이 단순히 데이터셋 특화 패턴을 암기한 것이 아니라 "검색을 활용한 추론"이라는 범용적 능력을 학습했음을 시사한다.

5.3 Ablation Study

5.3.1 GRPO vs Reinforce++

Figure 2: Llama-3.1-8B-Instruct에서 GRPO와 Reinforce++의 학습 과정 비교 -- 보상, 응답 길이, 검색 횟수. (원논문)

Figure 2를 보면 두 알고리즘의 보상 곡선은 유사하지만, GRPO가 더 긴 응답과 더 많은 검색 횟수를 보인다. GRPO의 응답 길이는 학습 후반부에 350 토큰 이상으로 증가하는 반면, Reinforce++는 275 토큰 부근에 머문다. 검색 횟수 역시 GRPO가 3.0 이상으로 올라가는 반면 Reinforce++는 2.5 수준이다.

Table 3 (원논문): GRPO와 Reinforce++로 학습한 Llama-3.1-8B-Instruct의 성능 비교.

결과를 보면, GRPO는 out-of-domain인 Bamboogle에서 CEM 56.0으로 Reinforce++(50.4)를 크게 앞서지만, in-domain인 HotpotQA에서는 Reinforce++가 CEM 64.8로 더 높다. 평균적으로는 거의 비슷한 수준(59.0 vs 58.9)이다. R1-Searcher는 최종적으로 Reinforce++를 채택했는데, 이는 in-domain 학습 효율성이 더 높다는 판단에 기인한 것으로 보인다. 개인적으로는 일반화 능력이 더 강한 GRPO도 시나리오에 따라 좋은 선택이 될 수 있다고 생각한다.

5.3.2 RL vs SFT

Table 4 (원논문): Qwen-2.5-7B-Base와 Llama-3.1-8B-Instruct에서 RL과 SFT의 성능 비교.

RL과 SFT의 차이는 명확하다. Qwen-Base에서 평균 CEM이 60.6 vs 50.1로, RL이 SFT를 10.5%p 앞선다. Llama-Instruct에서도 58.2 vs 48.2로 10.0%p 차이가 난다. 두 백본 모델 모두에서 일관된 패턴이 나타나는 것이 의미 있다.

논문의 Case Study(Section 5.1)에 따르면, SFT로 학습한 모델은 검색 쿼리를 생성하기는 하지만, 검색 타이밍과 관련성이 RL 모델에 비해 떨어진다. SFT 모델은 잘못된 내부 지식에 기반하여 이미 전제를 세운 뒤에 검색을 하는 경향이 있다. 예를 들어, "영국 하노버 왕조의 마지막 왕은 언제 사망했는가?"라는 질문에서, RL 모델은 먼저 "누가 마지막 왕인지" 검색한 반면, SFT 모델은 조지 3세라고 잘못 가정한 뒤 사망일만 검색하여 오답을 냈다. 이것이야말로 "SFT는 암기하고, RL은 일반화한다"는 최근 연구 흐름을 뒷받침하는 좋은 사례다.

5.4 추가 분석 (Additional Analysis)

5.4.1 정답 보상 설계 (Answer Reward)

Figure 3: Qwen-2.5-7B-Base에서 EM, CEM, F1 기반 정답 보상의 학습 과정 비교 -- 보상, 응답 길이, 검색 횟수. (원논문)

Figure 3을 보면 EM 기반 보상(빨간색)의 학습이 특히 불안정하다. 보상 곡선이 -2.0 근처까지 떨어지며, 응답 길이도 100 토큰 이하로 축소된다. EM이 이렇게 나쁜 이유는, 오픈 엔디드 QA에서 정답과 정확히 일치하는 답변을 생성하기가 매우 어렵기 때문이다. 모델 입장에서는 어떤 답을 생성해도 보상이 0인 경우가 대부분이므로, 학습 신호가 희소해진다. 반면 F1은 부분 일치도 보상으로 이어지므로 보다 부드러운 학습 신호를 제공한다.

Table 5 (원논문): Qwen-2.5-7B-Base에서 정답 보상 메트릭별 성능 비교.

F1 기반 보상이 평균 CEM 60.6으로 가장 높고, EM 기반은 39.7로 극적으로 낮다. EM 대비 F1의 평균 CEM 개선폭이 52.6%에 달한다. CEM(59.5)도 준수하지만, F1이 in-domain과 out-of-domain 모두에서 가장 균형 잡힌 성능을 보여준다. 보상 함수의 설계가 RL 학습의 성패를 좌우한다는 것을 극명하게 보여주는 결과다.

5.4.2 형식 보상 (Format Reward)

형식 보상의 엄격한 제약이 왜 필요한지에 대해, 논문은 학습 과정에서 관찰된 네 가지 문제 사례를 보고한다.

1. 모델이 <begin_of_query>...</end_of_query> 없이 <begin_of_documents>...</end_of_documents>를 직접 생성 -- 검색 없이 "가짜 문서"를 만들어내는 행동
2. Base 모델에서 KL을 0으로 설정했을 때, 학습 후반부에 의미 없는 출력을 생성
3. Llama 모델에서 Stage-1 학습을 생략하면, 검색을 전혀 수행하지 않고 바로 답변
4. CEM을 감독 신호로 사용했을 때, 불필요하게 긴 응답을 생성 (정답을 포함하기만 하면 보상을 받으므로)

이러한 reward hacking 사례들은 RL 학습에서 보상 설계의 섬세함이 얼마나 중요한지를 잘 보여준다. 특히 3번은 2단계 학습 설계의 필요성을 직접적으로 정당화한다.

---

6. 추가 실험 및 부록 (Appendix)

6.1 데이터 난이도 분포의 영향

Figure 4: Qwen-2.5-7B-Base에서 학습 데이터 난이도 구성별 학습 과정 비교. w. Difficult는 어려운 데이터를 포함, w/o Difficult는 중간 난이도로 대체. (원논문)

Figure 4에서 어려운 데이터를 포함한 경우(w. Difficult, 주황색)가 응답 길이와 검색 횟수 모두에서 더 높은 값을 보인다. 어려운 문제를 만나면 모델이 더 많은 검색을 수행하고 더 긴 추론을 하게 된다는 것이 직관적으로 이해된다.

Table 6 (원논문): 학습 데이터 난이도 구성별 Qwen-2.5-7B-Base 성능 비교.

어려운 데이터를 포함했을 때 평균 CEM이 58.8에서 60.8로 2.0%p 향상되었다. 차이가 극적이지는 않지만, 특히 HotpotQA에서 CEM이 61.8 -> 65.4로 3.6%p 오른 점이 눈에 띈다. 어려운 문제가 모델의 추론 깊이를 끌어올리는 효과가 있는 것으로 판단된다.

6.2 데이터 다양성의 영향

Figure 5: Qwen-2.5-7B-Base에서 학습 데이터셋 구성별 학습 과정 비교 -- HotpotQA 단독, 2Wiki 단독, 혼합. (원논문)

Figure 5에서 가장 눈에 띄는 것은 2Wiki 단독(파란색)의 보상 곡선이 가장 높지만, 실제 테스트 성능은 가장 낮다는 역설이다. 높은 학습 보상이 반드시 좋은 테스트 성능으로 이어지지 않는다는 점은 RL 학습에서 과적합(overfitting) 위험을 상기시켜 준다.

Table 7 (원논문): 학습 데이터셋 구성별 Qwen-2.5-7B-Base 성능 비교.

혼합 데이터셋이 평균 CEM 60.6으로, HotpotQA 단독(54.6)이나 2Wiki 단독(43.6) 대비 각각 6.0%p, 17.0%p 높은 성능을 보인다. 2Wiki 단독 학습이 특히 저조한 이유는, 2WikiMultiHopQA 데이터셋 자체의 다양성이 부족하여 RL 학습 중 과적합이 발생하기 때문으로 분석된다. 학습 데이터의 다양성이 RL 기반 검색 학습의 일반화에 결정적이라는 명확한 근거가 된다.

6.3 온라인 검색으로의 일반화

Figure 6: Bamboogle 데이터셋에서 로컬 검색과 온라인 검색(Google API) 사용 시 성능 비교. CEM (Cover Exact Match) 기준. (원논문)

이 실험은 R1-Searcher의 일반화 능력을 가장 극적으로 보여준다. 학습 시에는 위키피디아 기반 로컬 검색만 사용했지만, 테스트 시 Google Web Search API로 전환해도 성능이 떨어지기는커녕 오히려 올라간다.

Qwen-2.5-7B-RL-Online이 62.4%로, 같은 모델의 로컬 검색 버전(52.8%) 대비 18.2%p 향상되었다. 더 인상적인 것은, 32B 파라미터의 Search-o1(QwQ-32B-Preview, 온라인 검색 사용)이 56.0%인데, 7B 모델인 R1-Searcher가 이를 6.4%p 앞선다는 점이다. 모델 크기가 4배 이상 작음에도 더 나은 성능을 달성한 것이다.

이 결과는 R1-Searcher가 단순히 특정 검색 시스템의 응답 패턴을 암기한 것이 아니라, "불확실할 때 검색하고, 검색 결과를 추론에 통합하는" 범용적 능력을 학습했음을 강하게 시사한다.

6.4 Case Study: Qwen vs Llama

논문의 Section 5.2에서 RL 학습 후 두 백본 모델의 추론 패턴 차이를 분석한다. "Citibank이 설립된 해의 미국 대통령은 누구인가?"라는 질문에 대해:

• Qwen-2.5-7B-Base (RL): 질문을 명시적으로 분해한다. "Step 1: Citibank 설립 연도 확인" -> 검색 -> "1812년" -> "Step 2: 1812년 미국 대통령 확인" -> 검색 -> "James Madison" -> 정답
• Llama-3.1-8B-Instruct (RL): 질문 분해 없이 한 번에 검색한다. "president united states citibank founded" -> 결과에서 명확한 답을 못 찾음 -> "president united states 1812" 재검색 -> "James Madison" -> 정답

두 모델 모두 정답에 도달하지만, Qwen이 더 체계적인 문제 분해 능력을 보인다. 이는 Base 모델이 instruction-tuned 모델보다 RL을 통해 검색 전략을 더 유연하게 학습할 수 있음을 시사한다.

---

7. 강점과 한계

강점

1. 설계의 단순함과 효과의 극적 대비: SFT cold start나 프로세스 보상, MCTS 같은 복잡한 구성 요소 없이, 오직 결과 기반 RL만으로 SOTA를 달성한다. 재현 가능성도 높아 보인다.

2. 풍부한 ablation: 알고리즘(GRPO vs Reinforce++), 학습 방법(RL vs SFT), 보상 함수(EM/CEM/F1), 데이터 난이도, 데이터 다양성에 대한 체계적 분석이 인상적이다. RL 학습의 각 요소가 결과에 미치는 영향을 명확히 파악할 수 있다.

3. Base 모델 직접 학습 가능: instruction tuning 없는 Base 모델에서 바로 RL 학습이 가능하고, 오히려 더 좋은 성능을 낸다는 발견은 실용적으로 큰 가치가 있다.

4. 온라인 검색 일반화: 로컬 검색 환경에서 학습한 모델이 온라인 검색으로 전환해도 성능이 향상되는 결과는, 이 방법론의 범용성을 설득력 있게 보여준다.

한계

1. 모델 스케일의 제한: 7B/8B 모델에서만 실험이 수행되었다. 32B 이상의 대형 모델에서도 동일한 효과를 보이는지, 그리고 스케일링에 따른 성능 변화가 어떤지 확인이 필요하다. 저자들도 Future Work에서 이 점을 언급하고 있다.

2. 검색 품질에 대한 의존성: 검색 시스템의 성능이 전체 파이프라인의 상한선을 결정한다. BGE-large-en-v1.5 대신 더 강한/약한 검색기를 사용했을 때의 성능 변화에 대한 분석이 없다는 점이 아쉽다.

3. 학습 비용 정보 부족: RL 학습에 필요한 GPU 시간, 메모리, 총 rollout 수 등 학습 비용에 대한 상세 정보가 논문에 부족하다. 16 rollouts per sample에 8,148개 샘플이면 총 130,000회 이상의 rollout이 필요한데, 각 rollout마다 실제 검색이 수반되므로 학습 비용이 상당할 것으로 예상된다.

4. 단일 언어(영어) 평가: 모든 실험이 영어 데이터셋과 영어 위키피디아에 한정되어 있다. 다국어 환경에서의 일반화는 검증되지 않았다.

5. 비교 대상의 공정성: 솔직히, Table 2에서 ReARTeR 등 GPT-4o-mini 기반 베이스라인과의 비교는 해석에 주의가 필요하다. GPT-4o-mini는 프롬프팅만으로 검색을 수행하는 반면, R1-Searcher는 RL 학습을 통해 특화된 모델이므로 비교 조건이 동일하지 않다. 다만, 최종 사용자 관점에서는 결과의 품질이 중요하므로 이 비교 자체가 무의미하지는 않다.

---

8. 마치며

R1-Searcher는 "LLM이 검색을 배우게 하려면 어떻게 해야 하는가?"라는 질문에 대해 매우 깔끔한 답을 제시한다. 복잡한 파이프라인이나 프로세스 보상 없이, 2단계 결과 기반 RL이라는 상대적으로 단순한 프레임워크로 강력한 결과를 달성했다.

개인적으로 이 논문에서 가장 기억에 남는 인사이트는 세 가지다. 첫째, EM 보상 vs F1 보상의 극적인 성능 차이(평균 CEM 39.7 vs 60.6)는 RL 연구에서 보상 설계가 얼마나 중요한지를 수치로 증명한다. 둘째, SFT 모델이 "잘못된 전제 위에서 검색"하는 행동 패턴은 SFT의 근본적 한계를 보여주는 직관적인 사례다. 셋째, 로컬 검색에서 학습한 모델이 온라인 검색에서 오히려 더 잘 동작한다는 결과는, 이 프레임워크의 실용적 가치를 크게 높인다.

아쉬운 점은 학습 비용에 대한 분석과 더 큰 모델에서의 검증이 없다는 것이다. 그래도 DeepSeek-R1 이후 RL 기반 LLM 학습 연구가 폭발적으로 늘어나는 시점에서, 검색 증강과 RL을 결합하는 구체적이고 재현 가능한 방법론을 제시했다는 점에서 의미 있는 기여라고 평가한다. 향후 더 큰 모델, 다양한 도구(검색 외 계산기, 코드 실행기 등), 다국어 환경으로의 확장이 기대된다.

---

References

• Song, H., Jiang, J., Min, Y., Chen, J., Chen, Z., Zhao, W. X., Fang, L., & Wen, J.-R. (2025). R1-Searcher: Incentivizing the Search Capability in LLMs via Reinforcement Learning. arXiv:2503.05592.
• DeepSeek-AI. (2025). DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning. arXiv:2501.12948.
• Hu, J. (2025). Reinforce++: A Simple and Efficient Approach for Aligning Large Language Models.
• Sun, Z. et al. (2025). ReARTeR: Retrieval-Augmented Reasoning with Trustworthy Process Rewarding.
• Li, X. et al. (2025). Search-o1: Agentic Search-Enhanced Large Reasoning Models.
• Chu, T. et al. (2025). SFT Memorizes, RL Generalizes: A Comparative Study of Foundation Model Post-Training.
• Yang, Z. et al. (2018). HotpotQA: A Dataset for Diverse, Explainable Multi-hop Question Answering. EMNLP.
• Ho, X. et al. (2020). Constructing a Multi-hop QA Dataset for Comprehensive Evaluation of Reasoning Steps. COLING.
• Trivedi, H. et al. (2022). MuSiQue: Multihop Questions via Single-hop Question Composition. TACL.
• Press, O. et al. (2023). Measuring and Narrowing the Compositionality Gap in Language Models. Findings of EMNLP.