Tags /
5개의 글
한 줄 요약: 지도 학습 데이터 없이 강화학습(RL)만으로 LLM에게 검색 엔진을 "해킹"하는 쿼리 생성 전략을 학습시켜, 3B 파라미터로 GPT-4o와 Claude-3.5-Sonnet을 뛰어넘는 검색 성능을 달성한 연구.
한 줄 요약: 단일 검색 쿼리의 한계를 넘기 위해, 강화학습으로 LLM이 다중 쿼리 확장(Expand)을 학습하고, 별도의 요약 모델(Squeezer)로 검색 결과를 압축(Squeeze)하여 멀티홉 QA에서 SOTA를 달성한 프레임워크.
한 줄 요약: 프로세스 보상이나 SFT 없이, 2단계 결과 기반 강화학습(RL)만으로 LLM이 추론 중 자율적으로 외부 검색을 수행하도록 학습시키는 프레임워크
한 줄 요약: 사람의 어노테이션 없이, 인덱스에 맞춰 합성한 쿼리와 검색 결과 자체를 보상으로 활용하는 강화학습 기반 쿼리 리라이팅(Query Rewriting) 프레임워크 RL-QR을 제안한다.
한 줄 요약: LLM이 강화학습(RL)을 통해 스스로 검색 엔진을 호출하고, 검색 결과를 활용하여 단계적 추론을 수행하도록 훈련하는 프레임워크 Search-R1을 제안하며, 기존 RAG 대비 평균 20~24%의 성능 향상을 달성한다.