논문 리뷰약 41분
논문 리뷰: LiveFigure: Generating Editable Scientific Illustration with VLM Agents
연구 도식을 픽셀이 아니라 코드로 그린다. 사람 디자이너의 작업 흐름을 흉내 낸 VLM 에이전트가 파워포인트 소스 파일을 직접 생성해서, 벡터 형식으로 편집 가능한 논문용 그림을 만들어내는 프레임워크.
Tags /
#LLM
18개의 글
논문 리뷰약 32분
논문 리뷰: Let LRMs Break Free from Overthinking via Self-Braking Tuning
"2 더하기 3은?" 이 문제에 사람은 1초도 안 걸린다. 그런데 DeepSeek-R1이나 OpenAI o1 같은 대형 추론 모델(Large Reasoning Model, LRM)에게 물어보면 어떻게 될까? 이 논문의 Figure 1에 나오는 실제 사례를 보면, DeepSeek-R1-Distill-Qwen-7B는 이 간단한 질문에 무려 672개의 토큰을 쓰
논문 리뷰약 23분
논문 리뷰: LoRAMoE: Alleviating World Knowledge Forgetting in Large Language Models via MoE-Style Plugin
명령어 데이터를 대규모로 늘리면 다운스트림 태스크 성능은 오르지만 사전학습에서 얻은 세계 지식(world knowledge)이 무너진다. LoRAMoE는 백본을 얼린 채 여러 LoRA를 전문가로 삼고 라우터로 묶는 MoE 스타일 플러그인으로, 전문가 일부를 세계 지식 전담으로 "부드럽게" 밀어붙여 두 마리 토끼를 동시에 잡는다.
논문 리뷰약 28분
논문 리뷰: Dynamic Expert Specialization: Towards Catastrophic Forgetting-Free Multi-Domain MoE Adaptation
여러 도메인을 하나의 MoE 모델에 학습시킬 때 생기는 파국적 망각(catastrophic forgetting)을, 도메인마다 다른 전문가(expert)를 동적으로 골라 격리하는 방식으로 잡아낸 통합 파인튜닝 프레임워크 DES-MoE.
논문 리뷰약 26분
논문 리뷰: Beyond Single Representations: Multi-Model Embedding Fusion for Stable Text Classification
여러 LLM에서 뽑은 임베딩을 어느 층에서, 어떻게 합칠 것인가를 6개 데이터셋에 걸쳐 실증적으로 파헤치고, 다중 모델 융합이 층·풀링 선택의 민감도를 줄여 특히 저자원 환경에서 안정적인 텍스트 분류를 만든다는 것을 보인 연구.
논문 리뷰약 35분
논문 리뷰: SemCSE-Multi - Multifaceted and Decodable Embeddings for Aspect-Specific and Interpretable Scientific Domain Mapping
하나의 논문을 "가설", "종", "생태계", "방법론" 같은 여러 관점(aspect)별로 따로따로 임베딩하고, 그 임베딩을 다시 자연어로 되돌려 읽을 수 있게 만든 완전 비지도 프레임워크.
논문 리뷰약 18분
논문 리뷰: Corpus-Steered Query Expansion with Large Language Models
LLM의 '지식'이 아닌 '판단력'을 활용해 쿼리 확장의 할루시네이션 문제를 해결하는 CSQE를 제안한다.
논문 리뷰약 22분
논문 리뷰: ThinkQE - Query Expansion via an Evolving Thinking Process
LLM의 "생각하는 과정"을 쿼리 확장에 접목하고, 코퍼스와 반복적으로 상호작용하며 확장을 진화시키는 제로샷 검색 프레임워크
논문 리뷰약 20분
논문 리뷰: DeepRetrieval - Hacking Real Search Engines and Retrievers with Large Language Models via Reinforcement Learning
한 줄 요약: 지도 학습 데이터 없이 강화학습(RL)만으로 LLM에게 검색 엔진을 "해킹"하는 쿼리 생성 전략을 학습시켜, 3B 파라미터로 GPT-4o와 Claude-3.5-Sonnet을 뛰어넘는 검색 성능을 달성한 연구.
논문 리뷰약 18분
논문 리뷰: Beyond the Limitation of a Single Query: Train Your LLM for Query Expansion with RL (ExpandSearch)
한 줄 요약: 단일 검색 쿼리의 한계를 넘기 위해, 강화학습으로 LLM이 다중 쿼리 확장(Expand)을 학습하고, 별도의 요약 모델(Squeezer)로 검색 결과를 압축(Squeeze)하여 멀티홉 QA에서 SOTA를 달성한 프레임워크.
논문 리뷰약 20분
논문 리뷰: R1-Searcher: Incentivizing the Search Capability in LLMs via Reinforcement Learning
한 줄 요약: 프로세스 보상이나 SFT 없이, 2단계 결과 기반 강화학습(RL)만으로 LLM이 추론 중 자율적으로 외부 검색을 수행하도록 학습시키는 프레임워크
논문 리뷰약 19분
논문 리뷰: Annotation-Free Reinforcement Learning Query Rewriting via Verifiable Search Reward (RL-QR)
한 줄 요약: 사람의 어노테이션 없이, 인덱스에 맞춰 합성한 쿼리와 검색 결과 자체를 보상으로 활용하는 강화학습 기반 쿼리 리라이팅(Query Rewriting) 프레임워크 RL-QR을 제안한다.
논문 리뷰약 20분
논문 리뷰: Search-R1 - Training LLMs to Reason and Leverage Search Engines with Reinforcement Learning
한 줄 요약: LLM이 강화학습(RL)을 통해 스스로 검색 엔진을 호출하고, 검색 결과를 활용하여 단계적 추론을 수행하도록 훈련하는 프레임워크 Search-R1을 제안하며, 기존 RAG 대비 평균 20~24%의 성능 향상을 달성한다.
논문 리뷰약 32분
논문 리뷰: Conan-Embedding-v2 - LLM을 처음부터 학습시켜 텍스트 임베딩 SOTA를 달성하다
기존 LLM을 LoRA로 미세조정하는 대신, 임베딩에 최적화된 1.4B LLM을 처음부터 훈련해 MTEB English/Chinese 모두에서 SOTA를 달성한 논문.
논문 리뷰약 18분
논문 리뷰: Scientific Paper Retrieval with LLM-Guided Semantic-Based Ranking
코퍼스 기반 과학적 개념(concept)으로 시맨틱 인덱스를 구축하고, LLM의 쿼리 이해 능력을 결합해 과학 논문 검색 성능을 일관되게 향상시키는 플러그앤플레이 프레임워크
논문 리뷰약 23분
논문 리뷰: Following the Autoregressive Nature of LLM Embeddings via Compression and Alignment
LLM의 자기회귀적 본성을 거스르지 않으면서 고품질 텍스트 임베딩을 생성하는 방법, AutoRegEmbed
논문 리뷰약 17분
논문 리뷰: Zero-Shot Contextual Embeddings via Offline Synthetic Corpus Generation
실제 코퍼스에 접근하지 않고도, LLM이 생성한 합성 프록시 코퍼스만으로 컨텍스트 기반 임베딩 모델을 도메인에 적응시키는 프레임워크
논문 리뷰약 25분
논문 리뷰: Qwen3 Embedding - Advancing Text Embedding and Reranking Through Foundation Models
Qwen3 파운데이션 모델 위에 다단계 학습 파이프라인과 대규모 합성 데이터, 모델 머징을 결합하여 텍스트 임베딩과 리랭킹 모두에서 SOTA를 달성한 오픈소스 모델 시리즈.