#PPO

2개의 글

논문 리뷰2026년 3월 29일약 20분

논문 리뷰: DeepRetrieval - Hacking Real Search Engines and Retrievers with Large Language Models via Reinforcement Learning

한 줄 요약: 지도 학습 데이터 없이 강화학습(RL)만으로 LLM에게 검색 엔진을 "해킹"하는 쿼리 생성 전략을 학습시켜, 3B 파라미터로 GPT-4o와 Claude-3.5-Sonnet을 뛰어넘는 검색 성능을 달성한 연구.

논문 리뷰2026년 3월 29일약 20분

논문 리뷰: Search-R1 - Training LLMs to Reason and Leverage Search Engines with Reinforcement Learning

한 줄 요약: LLM이 강화학습(RL)을 통해 스스로 검색 엔진을 호출하고, 검색 결과를 활용하여 단계적 추론을 수행하도록 훈련하는 프레임워크 Search-R1을 제안하며, 기존 RAG 대비 평균 20~24%의 성능 향상을 달성한다.