논문 리뷰약 27분
논문 리뷰: Scaffold-BPE: Enhancing Byte Pair Encoding for Large Language Models with Simple and Effective Scaffold Token Removal
BPE가 어휘에 몰래 끼워 넣는 저빈도 "비계(scaffold)" 토큰을 학습 과정에서 동적으로 걸러내, 추가 파라미터 없이 토큰 빈도 불균형을 완화하고 LLM 성능을 끌어올린 토크나이저.
Tags /
1개의 글
BPE가 어휘에 몰래 끼워 넣는 저빈도 "비계(scaffold)" 토큰을 학습 과정에서 동적으로 걸러내, 추가 파라미터 없이 토큰 빈도 불균형을 완화하고 LLM 성능을 끌어올린 토크나이저.