NLP Researcher · AI Engineer
임베딩과 검색, LLM을 다루는 AI 엔지니어입니다. NLP로 석사를 마쳤고, 지금은 검색 시스템을 만듭니다. 읽은 논문이 휘발되는 게 아까워서 여기에 리뷰를 남기고, 일하며 배운 것들을 기록합니다.
Transformer를 100층, 200층으로 깊게 쌓으면 어떤 일이 벌어질까요? 파라미터가 늘어난 만큼 표현력이 좋아질 것 같지만, 실제로는 랭크 붕괴(Rank Collapse)라는 벽에 부딪힙니다. 층을 통과할수록 토큰 표현들이 서로 비슷해지다가 결국 하나의 방향으로 수렴해버리는 현상인데, Dong et al. (2021)은 순수 self-attenti
논문 정보 제목: CASPER: Concept-integrated Sparse Representation for Scientific Retrieval 저자: Lam Thanh Do, Linh Van Nguyen, Jiayu Li, David Fu, Kevin Chen-Chuan Chang 소속: University of Illinois Urbana-Cha
논문: ERU-KG: Efficient Reference-aligned Unsupervised Keyphrase Generation 저자: Lam Thanh Do, Aaditya Bodke, Pritom Saha Akash, Kevin Chen-Chuan Chang (UIUC) 학회: ACL 2025 (Long Paper) 코드: https://github
LLM의 '지식'이 아닌 '판단력'을 활용해 쿼리 확장의 할루시네이션 문제를 해결하는 CSQE를 제안한다.
LLM의 "생각하는 과정"을 쿼리 확장에 접목하고, 코퍼스와 반복적으로 상호작용하며 확장을 진화시키는 제로샷 검색 프레임워크