논문 리뷰: Annotation-Free Reinforcement Learning Query Rewriting via Verifiable Search Reward (RL-QR)

Annotation-Free Reinforcement Learning Query Rewriting via Verifiable Search Reward (RL-QR) 리뷰

한 줄 요약: 사람의 어노테이션 없이, 인덱스에 맞춰 합성한 쿼리와 검색 결과 자체를 보상으로 활용하는 강화학습 기반 쿼리 리라이팅(Query Rewriting) 프레임워크 RL-QR을 제안한다.

논문 정보

1. 들어가며

RAG(Retrieval-Augmented Generation) 시스템은 외부 지식을 검색하여 LLM의 응답 품질을 높이는 데 핵심적인 역할을 한다. OpenAI, Google Gemini 등 주요 AI 어시스턴트들이 웹 검색 기반 RAG를 채택하고 있으며, 산업 현장에서도 사내 문서 기반 RAG가 폭넓게 활용되고 있다. 그런데 RAG 시스템의 성능은 결국 "얼마나 좋은 쿼리를 검색기(Retriever)에 던지느냐"에 크게 좌우된다.

쿼리 리라이팅(Query Rewriting)은 사용자의 원본 질의를 검색기가 이해하기 쉬운 형태로 변환하는 기법이다. 검색기를 도메인별로 새로 학습시키거나, 인덱스를 재구축하는 것보다 훨씬 비용 효율적이고 모듈화가 쉽다는 장점이 있다. 그러나 기존의 쿼리 리라이팅 연구들은 대부분 사람이 직접 만든 어노테이션 데이터에 의존하고 있어, 새로운 도메인이나 모달리티(Modality)로 확장하기가 어렵다는 근본적 한계를 안고 있다.

LG Uplus 연구팀이 제안한 RL-QR은 이 문제를 정면으로 돌파한다. 사람의 어노테이션을 완전히 제거하고, 인덱스에 정렬된(Index-Aligned) 합성 쿼리를 만든 뒤, 실제 검색 결과의 NDCG 점수를 보상(Reward)으로 직접 활용하여 강화학습으로 쿼리 리라이터를 훈련한다. 텍스트 문서뿐 아니라 슬라이드, PDF 같은 비정형 시각 문서(Unstructured Visual Documents)까지 적용 가능하다는 점이 가장 큰 차별점이다.

2. 기존 연구의 한계

쿼리 리라이팅에 대한 기존 접근법은 크게 두 갈래로 나뉜다.

암묵적 학습(Implicit Learning): Search-R1(Jin et al., 2025) 같은 방법은 최종 답변이 맞으면 보상을 주는 방식이다. 직관적이지만, 이를 위해 인덱스-쿼리-답변-검증기(Verifier) 세트가 필요하고, 결국 사람이 만든 정답 어노테이션에 의존하게 된다.

명시적 학습(Explicit Learning): MAFERW(Wang et al., 2025) 같은 방법은 관련 문서가 검색되면 보상을 주지만, 쿼리마다 양성(Positive)/음성(Negative) 문서 쌍을 사람이 표시해야 한다. 대규모 도메인으로 확장하기가 사실상 불가능하다.

이 두 접근법 모두 공통적으로 세 가지 문제를 갖는다.

1. 비용: 대량의 인간 어노테이션은 돈과 시간이 크게 든다.
2. 도메인 제한: 큐레이팅된 텍스트 전용 데이터에서만 작동하며, 비정형 문서(슬라이드, 이미지 포함 PDF 등)로의 확장이 어렵다.
3. 검색기 종속: 특정 검색기에 맞춰 학습되어, 다른 검색기로 전환 시 재학습이 필요하다.

솔직히, 산업 환경에서 매번 도메인이 바뀔 때마다 사람이 쿼리-문서 쌍을 만들어주는 것은 현실적으로 불가능에 가깝다. RL-QR이 이 점을 파고든 것은 매우 실용적인 관점이라고 생각한다.

3. 핵심 아이디어

RL-QR의 핵심 아이디어는 세 문장으로 요약된다.

1. 인덱스에 정렬된 쿼리 합성: 각 문서(인덱스)로부터 해당 문서를 반드시 참조해야 답할 수 있는 질문을 LLM으로 합성한다.
2. 검증 가능한 검색 보상(Verifiable Search Reward): 합성된 쿼리의 정답 문서를 이미 알고 있으므로, 리라이팅된 쿼리로 검색했을 때 원본 문서가 상위에 나오는지를 NDCG로 직접 측정하여 보상으로 사용한다.
3. GRPO 기반 강화학습: 이 보상을 기반으로 Group Relative Policy Optimization을 통해 쿼리 리라이터를 학습한다.

이 구조의 결정적 장점은, 어떤 검색기(Lexical, Semantic, Multimodal)든 어떤 도메인이든, 인덱스만 있으면 어노테이션 없이 바로 적용할 수 있다는 것이다. 개인적으로 이 설계가 단순하면서도 강력하다고 본다. 복잡한 파이프라인 없이, "검색 결과 그 자체를 보상으로 쓴다"는 발상이 명쾌하다.

4. 제안 방법 (Method)

4.1 인덱스 정렬 쿼리 합성 (Index-Aligned Query Synthesis)

RL-QR의 첫 번째 단계는 훈련용 쿼리를 인덱스로부터 합성하는 것이다. 핵심은 "해당 문서가 반드시 필요한 질문"을 만드는 것이다.

텍스트 모달 인덱스의 경우, 원본 데이터 $DB_{raw}$를 문서 파서 $P$와 검색 엔진 $E$로 처리하여 인덱스를 구성한다:

$\mathcal{I}_{text} \leftarrow \bigcup_{d \in DB_{raw}} E.index(P.parse(d))$

멀티모달 인덱스의 경우, 파서 없이 원본 문서를 직접 임베딩하여 인덱스를 만든다:

$\mathcal{I}_{multimodal} \leftarrow \bigcup_{d \in DB_{raw}} E.index(d)$

여기서 $E$는 멀티모달 임베딩 모델(예: ColPali)을 활용한다.

쿼리 합성에는 Qwen3-VL-235B-A22B 모델을 사용하며, 아래와 같은 프롬프트를 적용한다.

Generating Document-Requiring Question and Answer

Read the document carefully, then perform the following three steps:

1. Think of a scenario that necessitates the information contained within the document.
2. Create a question that logically fits the identified scenario.
3. Provide an answer that accurately matches the created question based on the document's content.

Note: If the document's information is insufficient to identify a situation requiring the document, output blank spaces.

Table 1 (원논문): 인덱스 정렬 쿼리 합성을 위한 프롬프트 템플릿. 시나리오와 질문을 이어붙이면 더 긴 쿼리를 생성할 수 있다. 생성된 답변은 리라이터 학습에는 사용되지 않지만, 이후 답변 모델 후훈련(Post-training)이나 엔드투엔드 RAG 평가에 활용 가능하다.

이 프롬프트 설계가 영리한 점은, 단순히 "이 문서에 대한 질문을 만들어라"가 아니라, 시나리오를 먼저 구상하게 함으로써 실제 사용자가 던질 법한 자연스러운 쿼리가 생성되도록 유도한다는 것이다.

4.2 강화학습 쿼리 리라이터 (RL Query Rewriter)

논문에서 강조하는 중요한 설계 원칙이 하나 있다. 검색기마다 별도의 리라이터를 학습한다는 것이다. $N$개의 RAG 시스템이 있으면, 하나의 범용 리라이터가 아니라 $N$개의 리라이터를 각각 둔다. 이는 검색기의 특성이 근본적으로 다르기 때문이다. BM25 같은 어휘 검색기(Lexical Retriever)는 키워드 빈도에 민감한 반면, 시맨틱 검색기(Semantic Retriever)는 임베딩 공간에서의 유사도에 의존한다.

기존 암묵적 RL 접근법의 목적 함수는 다음과 같다:

$\max_{\pi_{\theta}, \pi_{LLM}} \mathbb{E}_{x \sim D, y \sim \pi_{\theta}(\cdot|x;R), z \sim \pi_{LLM}(\cdot|x;R(y))} \left[ r_{\phi}(x, z) \right]$

여기서 $x$는 훈련 데이터의 샘플, $y$는 리라이팅된 쿼리, $z$는 최종 응답, $\pi_{\theta}$는 리라이터, $\pi_{LLM}$은 최종 응답 모델, $r_{\phi}$는 보상 함수다. 문제는 이 $r_{\phi}$가 쿼리-응답 또는 쿼리-검색 수준의 인간 어노테이션을 본질적으로 필요로 한다는 것이다.

RL-QR의 목적 함수는 이를 단순화한다:

$\max_{\pi_{\theta}} \mathbb{E}_{x \sim D, y \sim \pi_{\theta}(\cdot|x;R)} \left[ r_{\phi}(x, y) \right]$

최종 응답 모델 $\pi_{LLM}$과 최종 응답 $z$를 아예 빼버렸다. 리라이터의 출력 $y$ 자체만으로 보상을 계산한다. 이 "다운스케일링(Down-scaling)"이 학습을 간결하고 빠르게 만드는 핵심이다.

**검증 가능한 검색 보상 (Verifiable Search Reward)**은 NDCG를 직접 사용한다:

$r_{\text{retrieval}}(x, y) = NDCG(\text{index}_{x}, R(y))$

합성 쿼리 $x$의 원본 문서 $\text{index}_x$가 리라이팅된 쿼리 $y$로 검색했을 때 상위 랭킹에 나오는지를 측정한다. 정답 문서를 알고 있으니 NDCG를 자동으로 계산할 수 있다.

추가로 형식 패널티 $r_{\text{penalty}}$가 있다. 리라이팅된 쿼리가 <answer>...</answer> 형식 안에 들어가도록 강제하고, 불필요한 장황함을 줄인다. 이 패널티는 그룹 내에서 [0.5, 1] 범위로 정규화된다.

최종 보상 함수는 다음과 같다:

$r_{\phi}(x, y) = \lambda_1 r_{\text{retrieval}}(x, y) + \lambda_2 r_{\text{penalty}}(y)$

이 보상을 바탕으로 GRPO(Group Relative Policy Optimization) 목적 함수로 최적화한다:

$\mathcal{J}_{\text{GRPO}}(\theta) = \mathbb{E}\left[x \sim D, \{o_i\}_{i=1}^{G} \sim \pi_{\theta_{\text{old}}}(O|q)\right] \left[ \frac{1}{G} \sum_{i=1}^{G} \frac{1}{|o_i|} \sum_{t=1}^{|o_i|} \left\{ \min\left( r_{i,t}(\theta)\hat{A}_{i,t}, \text{clip}\left(r_{i,t}(\theta), 1-\epsilon, 1+\epsilon\right)\hat{A}_{i,t} \right) \right\} \right]$

여기서 $r_{i,t}(\theta) = \frac{\pi_{\theta}(o_{i,t}|x, o_{i,<t})}{\pi_{\theta_{old}}(o_{i,t}|x, o_{i,<t})}$는 확률 비율(Probability Ratio), $\epsilon$과 $\beta$는 하이퍼파라미터, $\hat{A}_{i,t}$는 그룹 내 상대적 보상에 기반한 어드밴티지(Advantage)다.

4.3 전체 알고리즘 요약

전체 학습 과정을 의사코드(Pseudocode)로 정리하면 다음과 같다.

Algorithm 1: Annotation-free RL-QR

입력: 검색기 $R$, 검색 인덱스 $\mathcal{I}$, 쿼리 합성 어시스턴트 $Assistant$ 출력: 최적화된 정책 $\pi_\theta$

1. $\pi_\theta$ 초기화
2. for index $I$ in $\mathcal{I}$ do
3. $\quad q \leftarrow Assistant(I)$ (인덱스로부터 쿼리 합성)
4. $\quad rewards \leftarrow$ EmptyList
5. $\quad$ for $i$ in $N_{rollout}$ do
6. $\quad\quad q'_i \leftarrow \pi_\theta(q)$ (쿼리 리라이팅)
7. $\quad\quad SearchedIndices_i \leftarrow R(q'_i)$ (검색 수행)
8. $\quad\quad r_i \leftarrow NDCG(I, SearchedIndices_i)$ (보상 계산)
9. $\quad\quad rewards$.append($r_i$)
10. $\quad$ end for
11. $\quad A \leftarrow GroupComputation(rewards)$ (어드밴티지 계산)
12. $\quad$ 어드밴티지 $A$를 사용하여 정책 $\pi_\theta$ 업데이트
13. end for
14. return $\pi_\theta$

이 알고리즘에서 주목할 점은, 온라인(Online)과 오프라인(Offline) 모두 적용 가능하다는 것이다. 쿼리 합성을 미리 해둘 수도 있고, 학습 중에 실시간으로 생성할 수도 있다.

5. 실험 결과

5.1 실험 설정

RAG 시스템 구성: 총 세 가지 인하우스(In-house) RAG 프레임워크를 사용한다.

• Semantic: 임베딩 모델로 사용자 쿼리와 코퍼스를 벡터로 변환하여 검색. 키워드가 달라도 의미적으로 유사한 문서를 찾을 수 있다.
• Lexical: BM25 기반 전통적 정보 검색 시스템. 토큰 단위 정확 매칭(TF-IDF)에 강점이 있다.
• Multimodal: Semantic과 유사하지만 문서 파서 없이 원본 이미지를 직접 임베딩. 파서의 정보 손실이 없어 비정형 문서에 강하다.

데이터셋:

• MS MARCO v2.1 (텍스트 검색): 10,078개 코퍼스, 1,011개 쿼리 (테스트셋 1%)
• MTEB VIDORE V2 (비정형 시각 문서 검색): 4,544개 시각 문서, 327개 쿼리 -- ESG, Ecology, ESG Highlight, BioMedical 4개 하위 도메인 포함
• Internal (사내 비정형 산업 데이터): 2,791개 문서, 4,398개 쿼리

훈련 세부사항: Qwen3 모델(no_think 모드)을 리라이터로 초기화하고, SFT(Supervised Fine-Tuning) 없이 바로 RL 학습을 1 에포크(Epoch) 수행한다. 8대의 H100 80GB GPU에서 학습당 1~2시간이 소요되며, 병목은 검색 오버헤드와 검색 엔진-리라이터 간 통신이다. GRPO 학습에는 HuggingFace TRL 라이브러리와 DeepSpeed를 사용했다.

5.2 전체 성능 비교 (Main Results)

Table 2 (원논문): NDCG@3 기준 정보 검색 벤치마크 결과. 4B, 8B, 14B 다양한 모델 크기에서 RL-QR의 강건성을 보여준다.

이 표에서 가장 먼저 눈에 들어오는 것은, 바닐라 Qwen3 모델이 리라이터로서 매우 불안정하다는 점이다. MTEB의 Semantic/Lexical 일부에서는 Raw query보다 나은 결과를 보이지만, Internal 데이터에서는 76.52 -> 28.08 (4B), 76.52 -> 27.86 (8B)로 급격히 하락한다. 이는 사전학습된 LLM이 "검색 쿼리"를 "대화 명령"으로 해석하는 경향이 있기 때문이다.

반면 RL-QR은 모든 검색기-벤치마크 조합에서 일관된 성능 향상을 달성한다. 특히 주목할 결과 몇 가지를 짚어보면:

• Multimodal + MTEB Avg: Raw query 51.28 -> RL-QR 14B 60.94 (약 19% 향상)
• Lexical + Internal: Raw query 72.55 -> RL-QR 14B 80.84 (약 11% 향상). 바닐라 Qwen3-14B는 60.03으로 오히려 하락했다.
• Semantic + MARCO: Raw query 87.62 -> RL-QR 14B 92.67 (약 5.8% 향상). 이미 높은 베이스라인에서도 꾸준한 개선을 보인다.
• Multimodal 14B에서의 극적 개선: Qwen3-14B의 MTEB Avg가 12.73인데, RL-QR 적용 후 60.94로 약 4.8배 향상된다. 14B 모델이 오히려 더 심하게 대화 모드에 빠지는 경향이 있고, RL-QR이 이를 효과적으로 교정한다는 뜻이다.

5.3 도메인별 분석

텍스트 벤치마크 (MS MARCO v2.1): RL-QR은 Semantic과 Lexical 모두에서 5% 이상의 검색 성능 향상을 달성한다. 바닐라 Qwen3 리라이터는 최악의 경우 -27%, 최선의 경우에도 -4%의 성능 하락을 보이는 것과 대비된다.

비정형 멀티모달 벤치마크 (MTEB VIDORE V2): Lexical 검색기에서 최대 3.9배, Semantic 검색기에서 최대 3.5배의 검색 리콜 개선을 달성했다. 바닐라 베이스라인은 특정 태스크에서 부분적 개선을 보이지만, Internal 데이터의 Lexical에서 -71% 하락 같은 치명적 성능 저하를 동반한다.

5.4 쿼리 길이 분석

Table 3 (원논문): MS MARCO 벤치마크에서의 쿼리 길이 통계.

Table 4 (원논문): MTEB Vidore V2 벤치마크에서의 쿼리 길이 통계.

Table 3과 4를 비교하면, RL-QR이 도메인과 검색기에 따라 쿼리 길이 전략을 완전히 다르게 학습한다는 것이 명확하다.

• MS MARCO (웹 검색): RL-QR은 원본 쿼리와 거의 동일한 길이를 유지한다 (36~38 토큰). 바닐라 Qwen3-14B는 95 +/- 104로 불필요하게 장황해지고 분산도 크다. RL-QR이 간결함을 학습한 것이다.
• MTEB VIDORE V2 (전문 문서): RL-QR은 쿼리를 적극적으로 확장한다 (Multimodal에서 84 -> 116 토큰). 전문 분야의 어휘 격차(Vocabulary Gap)를 메우기 위해 관련 기술 용어를 추가하는 전략을 학습한 것이다.
• 바닐라 Qwen3-14B의 Multimodal에서 43 +/- 171이라는 수치도 눈에 띈다. 평균이 43인데 표준편차가 171이라는 것은, 어떤 쿼리는 극단적으로 짧게, 어떤 쿼리는 극단적으로 길게 만든다는 뜻이며, 일관된 전략이 없다는 방증이다. RL-QR의 116 +/- 48은 훨씬 안정적이다.

5.5 정성적 분석 (Qualitative Analysis)

논문의 Figure 1은 Raw query, 바닐라 Qwen3-14B, RL-QR 14B의 리라이팅 결과를 비교한 정성적 예시를 담고 있다. 각 샘플은 '(NDCG@3 점수) 쿼리' 형태로 제시된다. 이 논문의 Figure 1은 이미지가 아닌 텍스트 테이블 형태로, 다양한 검색기와 벤치마크 조합에서의 리라이팅 예시를 보여준다.

Figure 1 (원논문): Raw query, 베이스라인 리라이팅 모델(Qwen3-14B), 제안 방법(RL-QR)의 정성적 비교. 각 샘플은 '(NDCG@3 점수) 쿼리' 형태.

MS MARCO @ Semantic Retriever 예시:

• Raw query: (0.47) "cost of finishing basement which is half done"
• Qwen3-14B: (0.30) "Average cost to finish a partially completed basement"
• RL-QR: (0.70) "cost to finish a basement that is halfway completed"

바닐라 모델은 쿼리를 지나치게 일반화("Average cost")하여 원본보다 오히려 성능이 떨어진다. RL-QR은 원본의 핵심 키워드를 보존하면서 문법만 교정하여 성능을 높였다.

MS MARCO @ Semantic Retriever 예시 2:

• Raw query: (0.47) "how is chicken distributed to consumers"
• Qwen3-14B: (0.00) "Explain the process of chicken distribution from farms to consumers, including supply chain, transportation, packaging, and retail channels."
• RL-QR: (0.77) "chicken distribution to consumers"

바닐라 모델의 실패 원인이 가장 극명하게 드러나는 사례다. Qwen3는 검색 쿼리를 마치 에세이 작성 지시문처럼 변환해버렸다. "Explain the process of..."라는 생성적(Generative) 프레임은 검색기에게 전혀 도움이 되지 않는다. RL-QR은 불필요한 수식어를 제거하고 키워드 밀도를 높이는 방향으로 학습했다.

MS MARCO @ Lexical Retriever 예시:

• Raw query: (0.77) "computer networking definition and examples"
• Qwen3-14B: (0.77) 긴 확장 쿼리이지만 동일 성능
• RL-QR: (1.0) "computer network definition and examples"

Lexical 검색기에서 RL-QR은 "networking" -> "network"로 단어 형태만 미세 조정하여 만점을 달성했다. BM25가 정확한 토큰 매칭에 민감하다는 특성을 정확히 학습한 결과다.

MTEB VIDORE V2 @ Semantic Retriever 예시:

• Raw query: (0.0) "What are the specific outcomes of using autologous chondrocyte implantation in canine studies?"
• Qwen3-14B: (0.0) 기술 용어를 나열하지만 검색 실패
• RL-QR: (0.47) "What are the clinical outcomes, efficacy, and complications associated with autologous chondrocyte implantation (ACI) in canine cartilage repair studies?"

전문 의학 분야에서 RL-QR은 "clinical outcomes", "efficacy", "complications" 같은 관련 기술 용어를 주입하고, 약어 "ACI"를 명시하는 확장 전략으로 0.0에서 0.47로 검색 성능을 끌어올렸다.

5.6 행동 정렬(Behavioral Alignment) 분석

논문에서 특히 강조하는 분석인데, 바닐라 Qwen3의 핵심 실패 모드는 검색 쿼리를 생성 지시문으로 해석하는 것이다. 사전학습 과정에서 instruction-following에 최적화된 LLM은 입력을 "답변해야 할 질문"으로 인식하는 경향이 강하다.

RL-QR은 이 대화 지향적(Chat-Oriented) 행동을 효과적으로 "잊게(Unlearn)" 만든다. 대화적 수사를 걷어내고, 키워드 밀도와 검색 의도에 집중하도록 모델의 출력 분포를 재정렬한다. 논문에서는 이를 "instruction following에서 index-oriented retrieval로의 전환"이라고 표현하고 있다.

개인적으로 이 분석이 논문에서 가장 가치 있는 통찰이라고 생각한다. 단순히 "성능이 올랐다"가 아니라, LLM 기반 쿼리 리라이터가 왜 실패하는지, 그리고 RL이 어떤 행동 변화를 유도하는지를 구체적으로 보여주기 때문이다.

6. 추가 실험 및 부록 (Appendix)

논문에서 별도의 부록(Appendix) 섹션은 제공하지 않지만, 본문 내에서 다음과 같은 추가 분석이 포함되어 있다.

모델 크기에 따른 강건성: Table 2에서 4B, 8B, 14B 세 가지 크기의 Qwen3 모델에 대해 실험을 수행했다. RL-QR은 모든 크기에서 Raw query 대비 일관된 성능 향상을 보인다. 특히 4B처럼 작은 모델에서도 효과적이라는 점은, 실제 서비스 배포 시 비용 효율성 측면에서 의미가 크다.

인덱스 인식 적응성(Index-Aware Adaptability): 쿼리 길이 통계(Table 3, 4)와 정성적 분석(Figure 1)을 교차 분석하면, RL-QR이 동일한 쿼리라도 검색기 유형에 따라 전혀 다른 리라이팅 전략을 적용한다는 것을 확인할 수 있다. 정밀도가 중요한 MS MARCO에서는 간결함을, 리콜이 중요한 비정형 문서 검색에서는 확장을 택한다. 이는 검색기별 별도 리라이터라는 설계 원칙이 유효하다는 것을 뒷받침한다.

학습 효율성: SFT 없이 단 1 에포크 RL 학습으로 이 수준의 성능 향상을 달성했다는 점도 주목할 만하다. H100 8대에서 1~2시간이면 충분하며, 학습 데이터(어노테이션)를 모으는 시간까지 고려하면 기존 방법론 대비 총 비용이 크게 절감된다.

7. 강점과 한계

강점

1. 완전한 어노테이션 프리(Annotation-Free): 인간 어노테이션에 대한 의존을 완전히 제거했다. 인덱스만 있으면 어떤 도메인이든 바로 적용 가능하다. 산업 현장에서의 실용성이 매우 높다.

2. 검증 가능한 보상 설계: NDCG라는 객관적이고 자동 계산 가능한 메트릭을 보상으로 직접 사용한다. 보상 모델(Reward Model)을 별도로 학습할 필요가 없어 파이프라인이 단순하다.

3. 범용성: 텍스트 모달, 멀티모달, 어휘 검색, 시맨틱 검색 등 다양한 조합에서 일관된 성능 향상을 보여준다. 특히 비정형 시각 문서 검색에서의 대폭적인 성능 개선은 실무적으로 큰 가치가 있다.

4. 모듈화: 쿼리 리라이터만 교체하면 되므로, 기존 RAG 시스템의 검색기나 인덱스를 건드리지 않아도 된다. 시스템 유지보수 부담이 크게 줄어든다.

5. 학습 효율성: SFT 없이 1 에포크 RL만으로 효과적이며, 학습 시간도 1~2시간으로 짧다.

한계

1. 검색기별 별도 리라이터: $N$개 검색기에 $N$개 리라이터가 필요하다는 설계는, 검색기 수가 많아지면 관리 부담이 커질 수 있다. 범용 리라이터 대비 트레이드오프가 존재한다.

2. 합성 쿼리의 품질 의존성: 인덱스 정렬 쿼리의 품질이 Qwen3-VL-235B 같은 대형 모델에 의존한다. 합성 쿼리가 실제 사용자 쿼리의 분포와 다를 수 있으며, 이에 대한 분석이 부족하다.

3. ESGHL/일부 도메인에서의 불안정성: Table 2를 보면, Semantic + RL-QR 4B에서 ESGHL이 25.29로 Raw query(9.69)보다는 높지만 Qwen3-4B(31.45)보다는 낮다. 모든 세부 도메인에서 바닐라 대비 우위를 보이는 것은 아니다.

4. Lexical 검색기에서의 상대적 약세: Lexical + MTEB에서의 개선 폭이 Semantic이나 Multimodal에 비해 작다. MTEB Avg 기준으로 Raw query 7.45 -> RL-QR 14B 20.99 (약 2.8배)로 의미 있지만, Multimodal의 51.28 -> 60.94에 비하면 절대적 수치가 낮다. 이는 파싱 기반 텍스트에서 BM25의 근본적 한계일 수도 있다.

5. Ablation 실험 부재: 보상 함수의 각 구성 요소($\lambda_1$, $\lambda_2$), 롤아웃 수, 합성 쿼리 수 등에 대한 ablation study가 논문에 포함되어 있지 않다. 아쉬운 점은, 어떤 요소가 성능에 가장 크게 기여하는지 정량적으로 분리하기 어렵다는 것이다.

6. 엔드투엔드 RAG 성능 미보고: 검색 성능(NDCG@3)만 보고하고, 최종 응답 품질(End-to-End RAG)에 대한 평가는 빠져 있다. 검색 성능 향상이 실제 답변 품질 향상으로 이어지는지 확인이 필요하다.

8. 마치며

RL-QR은 "인간 어노테이션 없이 검색 결과 자체를 보상으로 쓰자"라는 단순하지만 효과적인 아이디어를 기반으로 한다. 인덱스에 정렬된 쿼리 합성과 NDCG 기반 검증 가능한 보상이라는 두 가지 기술적 구성 요소가 이 아이디어를 실현 가능하게 만든다.

실험 결과는 텍스트와 멀티모달, 다양한 검색기에서의 일관된 성능 향상을 보여주며, 특히 비정형 시각 문서 검색에서의 최대 3.9배 개선은 파싱 기반 RAG의 한계를 극복하는 실질적 방안을 제시한다. LLM이 검색 쿼리를 대화 지시문으로 잘못 해석하는 문제를 RL로 교정한다는 "행동 비학습(Behavioral Unlearning)" 관점의 분석도 의미 있다.

아쉬운 점은 ablation study의 부재와 엔드투엔드 평가의 부족이다. 또한 실제 서비스 환경에서의 레이턴시 증가(리라이터 추론 비용)에 대한 논의도 없다. 그럼에도 불구하고, 어노테이션 없이 어떤 도메인이든 적용 가능하다는 실용적 장점은 산업 현장에서 매우 매력적이며, LG Uplus라는 통신사에서 실제 서비스를 목표로 개발했다는 점에서 단순한 학술 연구를 넘어선 실용적 가치가 있는 논문이다.

향후 연구 방향으로 논문에서는 멀티턴 대화 검색, 하류(Downstream) 생성 품질 기반 보상 신호 통합, 멀티모달 파운데이션 모델과의 결합 등을 제시하고 있다.

References

• Cha, S., Kim, D., Hahn, T., Kim, M., Han, Y., & Jeon, B. (2025). Annotation-Free Reinforcement Learning Query Rewriting via Verifiable Search Reward. arXiv:2507.23242.
• Jin, B., et al. (2025). Search-R1: Training LLMs to Reason and Leverage Search Engines with Reinforcement Learning. arXiv:2503.09516.
• Wang, Y., et al. (2025). MAFERW: Query Rewriting with Multi-Aspect Feedbacks for Retrieval-Augmented Large Language Models. AAAI 2025.
• Ma, X., et al. (2023). Query Rewriting in Retrieval-Augmented Large Language Models. EMNLP 2023.
• Bai, S., et al. (2025). Qwen3-VL Technical Report. arXiv:2511.21631.
• Faysse, M., et al. (2024). ColPali: Efficient Document Retrieval with Vision Language Models. ICLR.
• Lewis, P., et al. (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. NeurIPS 2020.
• Robertson, S., et al. (2009). The Probabilistic Relevance Framework: BM25 and Beyond. Foundations and Trends in Information Retrieval.