논문 리뷰약 29분
논문 리뷰: Fishing for Magikarp - Automatically Detecting Under-trained Tokens in Large Language Models
토크나이저와 모델 학습의 단절에서 생기는 'glitch 토큰'을, 학습 데이터 없이 모델 임베딩 가중치와 토크나이저 설정만으로 자동 탐지하는 방법을 제시한 논문.
Tags /
2개의 글
토크나이저와 모델 학습의 단절에서 생기는 'glitch 토큰'을, 학습 데이터 없이 모델 임베딩 가중치와 토크나이저 설정만으로 자동 탐지하는 방법을 제시한 논문.
BPE가 어휘에 몰래 끼워 넣는 저빈도 "비계(scaffold)" 토큰을 학습 과정에서 동적으로 걸러내, 추가 파라미터 없이 토큰 빈도 불균형을 완화하고 LLM 성능을 끌어올린 토크나이저.