#instruction-tuning

2개의 글

논문 리뷰2026년 7월 30일약 23분

논문 리뷰: LoRAMoE: Alleviating World Knowledge Forgetting in Large Language Models via MoE-Style Plugin

명령어 데이터를 대규모로 늘리면 다운스트림 태스크 성능은 오르지만 사전학습에서 얻은 세계 지식(world knowledge)이 무너진다. LoRAMoE는 백본을 얼린 채 여러 LoRA를 전문가로 삼고 라우터로 묶는 MoE 스타일 플러그인으로, 전문가 일부를 세계 지식 전담으로 "부드럽게" 밀어붙여 두 마리 토끼를 동시에 잡는다.

논문 리뷰2026년 7월 29일약 23분

논문 리뷰: Beyond instruction-conditioning, MoTE: Mixture of Task Experts for Multi-task Embedding Models

RAG, 검색, 추천, 분류 - 요즘 실무에서 쓰이는 머신러닝 파이프라인의 상당수가 텍스트를 밀집 벡터(dense embedding)로 바꾸는 임베딩 모델에 기대고 있다. 그런데 하나의 임베딩 모델이 이 모든 작업을 동시에 잘하기란 쉽지 않다. 문제의 뿌리는 작업마다 "가깝다"의 정의가 다르다는 데 있다.