논문 리뷰약 23분
논문 리뷰: LoRAMoE: Alleviating World Knowledge Forgetting in Large Language Models via MoE-Style Plugin
명령어 데이터를 대규모로 늘리면 다운스트림 태스크 성능은 오르지만 사전학습에서 얻은 세계 지식(world knowledge)이 무너진다. LoRAMoE는 백본을 얼린 채 여러 LoRA를 전문가로 삼고 라우터로 묶는 MoE 스타일 플러그인으로, 전문가 일부를 세계 지식 전담으로 "부드럽게" 밀어붙여 두 마리 토끼를 동시에 잡는다.