논문 리뷰약 29분
논문 리뷰: Fishing for Magikarp - Automatically Detecting Under-trained Tokens in Large Language Models
토크나이저와 모델 학습의 단절에서 생기는 'glitch 토큰'을, 학습 데이터 없이 모델 임베딩 가중치와 토크나이저 설정만으로 자동 탐지하는 방법을 제시한 논문.
Tags /
1개의 글
토크나이저와 모델 학습의 단절에서 생기는 'glitch 토큰'을, 학습 데이터 없이 모델 임베딩 가중치와 토크나이저 설정만으로 자동 탐지하는 방법을 제시한 논문.