논문 리뷰··약 32분
언어모델 임베딩이 좁은 원뿔 모양으로 퇴화하는 근본 원인을 희귀 토큰의 그래디언트 한 부분에서 찾아내고, 그 부분만 선택적으로 차단하는 Adaptive Gradient Gating(AGG)으로 전체 임베딩의 등방성을 되살린 ACL 2022 논문.
논문 리뷰··약 27분
BPE가 어휘에 몰래 끼워 넣는 저빈도 "비계(scaffold)" 토큰을 학습 과정에서 동적으로 걸러내, 추가 파라미터 없이 토큰 빈도 불균형을 완화하고 LLM 성능을 끌어올린 토크나이저.
논문 리뷰··약 18분
논문: ERU-KG: Efficient Reference-aligned Unsupervised Keyphrase Generation 저자: Lam Thanh Do, Aaditya Bodke, Pritom Saha Akash, Kevin Chen-Chuan Chang (UIUC) 학회: ACL 2025 (Long Paper) 코드: https://github
논문 리뷰··약 18분
문장 임베딩의 내부 구조를 정보이론으로 해석하고, 해석 가능한 의미 방향(feature direction)을 식별하는 프레임워크를 제안한 논문
논문 리뷰··약 20분
텍스트 임베딩에서 차원의 50%를 무작위로 제거해도 검색·분류 성능이 10% 미만만 하락한다는 현상을 발견하고, 그 원인을 "성능을 오히려 악화시키는 차원(degrading dimensions)"의 존재로 설명한 논문.
논문 리뷰··약 22분
사전학습 언어 모델의 셀프 어텐션 맵(Self-Attention Map)만을 활용하여 임베딩 없이 비지도 키프레이즈 추출을 수행하는 SAMRank를 제안한다.