https://kangnlp.com NLP 리서처이자 AI 엔지니어의 블로그. 논문 리뷰, 검색과 임베딩, LLM에 대해 씁니다. ko https://kangnlp.com/reviews/manifold-geometric-transformer https://kangnlp.com/reviews/manifold-geometric-transformer Tue, 21 Jul 2026 15:00:00 GMT 논문 리뷰 Transformer를 100층, 200층으로 깊게 쌓으면 어떤 일이 벌어질까요? 파라미터가 늘어난 만큼 표현력이 좋아질 것 같지만, 실제로는 랭크 붕괴(Rank Collapse)라는 벽에 부딪힙니다. 층을 통과할수록 토큰 표현들이 서로 비슷해지다가 결국 하나의 방향으로 수렴해버리는 현상인데, Dong et al. (2021)은 순수 self-attenti https://kangnlp.com/reviews/casper-scientific-retrieval https://kangnlp.com/reviews/casper-scientific-retrieval Fri, 10 Apr 2026 15:00:00 GMT 논문 리뷰 논문 정보 제목: CASPER: Concept-integrated Sparse Representation for Scientific Retrieval 저자: Lam Thanh Do, Linh Van Nguyen, Jiayu Li, David Fu, Kevin Chen-Chuan Chang 소속: University of Illinois Urbana-Cha https://kangnlp.com/reviews/eru-kg https://kangnlp.com/reviews/eru-kg Fri, 10 Apr 2026 15:00:00 GMT 논문 리뷰 논문: ERU-KG: Efficient Reference-aligned Unsupervised Keyphrase Generation 저자: Lam Thanh Do, Aaditya Bodke, Pritom Saha Akash, Kevin Chen-Chuan Chang (UIUC) 학회: ACL 2025 (Long Paper) 코드: https://github https://kangnlp.com/reviews/corpus-steered-query-expansion https://kangnlp.com/reviews/corpus-steered-query-expansion Mon, 06 Apr 2026 15:00:00 GMT 논문 리뷰 LLM의 '지식'이 아닌 '판단력'을 활용해 쿼리 확장의 할루시네이션 문제를 해결하는 CSQE를 제안한다. https://kangnlp.com/reviews/thinkqe-query-expansion https://kangnlp.com/reviews/thinkqe-query-expansion Sun, 29 Mar 2026 15:00:00 GMT 논문 리뷰 LLM의 "생각하는 과정"을 쿼리 확장에 접목하고, 코퍼스와 반복적으로 상호작용하며 확장을 진화시키는 제로샷 검색 프레임워크 https://kangnlp.com/reviews/deep-retrieval https://kangnlp.com/reviews/deep-retrieval Sat, 28 Mar 2026 15:00:00 GMT 논문 리뷰 한 줄 요약: 지도 학습 데이터 없이 강화학습(RL)만으로 LLM에게 검색 엔진을 "해킹"하는 쿼리 생성 전략을 학습시켜, 3B 파라미터로 GPT-4o와 Claude-3.5-Sonnet을 뛰어넘는 검색 성능을 달성한 연구. https://kangnlp.com/reviews/expand-search https://kangnlp.com/reviews/expand-search Sat, 28 Mar 2026 15:00:00 GMT 논문 리뷰 한 줄 요약: 단일 검색 쿼리의 한계를 넘기 위해, 강화학습으로 LLM이 다중 쿼리 확장(Expand)을 학습하고, 별도의 요약 모델(Squeezer)로 검색 결과를 압축(Squeeze)하여 멀티홉 QA에서 SOTA를 달성한 프레임워크. https://kangnlp.com/reviews/r1-searcher https://kangnlp.com/reviews/r1-searcher Sat, 28 Mar 2026 15:00:00 GMT 논문 리뷰 한 줄 요약: 프로세스 보상이나 SFT 없이, 2단계 결과 기반 강화학습(RL)만으로 LLM이 추론 중 자율적으로 외부 검색을 수행하도록 학습시키는 프레임워크 https://kangnlp.com/reviews/rl-qr https://kangnlp.com/reviews/rl-qr Sat, 28 Mar 2026 15:00:00 GMT 논문 리뷰 한 줄 요약: 사람의 어노테이션 없이, 인덱스에 맞춰 합성한 쿼리와 검색 결과 자체를 보상으로 활용하는 강화학습 기반 쿼리 리라이팅(Query Rewriting) 프레임워크 RL-QR을 제안한다. https://kangnlp.com/reviews/search-r1 https://kangnlp.com/reviews/search-r1 Sat, 28 Mar 2026 15:00:00 GMT 논문 리뷰 한 줄 요약: LLM이 강화학습(RL)을 통해 스스로 검색 엔진을 호출하고, 검색 결과를 활용하여 단계적 추론을 수행하도록 훈련하는 프레임워크 Search-R1을 제안하며, 기존 RAG 대비 평균 20~24%의 성능 향상을 달성한다. https://kangnlp.com/reviews/conan-embedding-v2 https://kangnlp.com/reviews/conan-embedding-v2 Fri, 27 Mar 2026 15:00:00 GMT 논문 리뷰 기존 LLM을 LoRA로 미세조정하는 대신, 임베딩에 최적화된 1.4B LLM을 처음부터 훈련해 MTEB English/Chinese 모두에서 SOTA를 달성한 논문. https://kangnlp.com/reviews/drift-adapter https://kangnlp.com/reviews/drift-adapter Fri, 27 Mar 2026 15:00:00 GMT 논문 리뷰 새 임베딩 모델의 쿼리를 기존 임베딩 공간으로 변환하는 경량 어댑터를 학습시켜, 전체 코퍼스를 다시 인코딩하지 않고도 95–99%의 검색 성능을 회복하는 실용적 방법론 https://kangnlp.com/reviews/emo-embedding-model-distillation https://kangnlp.com/reviews/emo-embedding-model-distillation Fri, 27 Mar 2026 15:00:00 GMT 논문 리뷰 서로 다른 토크나이저를 쓰는 대형 임베딩 모델에서 소형 모델로, 어텐션 구조와 표현을 동시에 증류하는 프레임워크 https://kangnlp.com/reviews/semrank-llm-scientific-paper-retrieval https://kangnlp.com/reviews/semrank-llm-scientific-paper-retrieval Tue, 17 Mar 2026 15:00:00 GMT 논문 리뷰 코퍼스 기반 과학적 개념(concept)으로 시맨틱 인덱스를 구축하고, LLM의 쿼리 이해 능력을 결합해 과학 논문 검색 성능을 일관되게 향상시키는 플러그앤플레이 프레임워크 https://kangnlp.com/reviews/ood-embedding-retrieval https://kangnlp.com/reviews/ood-embedding-retrieval Mon, 16 Mar 2026 15:00:00 GMT 논문 리뷰 쿼리와 문서 임베딩 사이의 분포 불일치(OOD)가 ANN 검색 성능을 떨어뜨린다는 사실을 정량적으로 밝히고, 학습 시점에 간단한 ℓ₂ 정규화를 추가해 이 문제를 완화하는 방법을 제안한다. https://kangnlp.com/reviews/semantic-geometry-sentence-embeddings https://kangnlp.com/reviews/semantic-geometry-sentence-embeddings Mon, 16 Mar 2026 15:00:00 GMT 논문 리뷰 문장 임베딩의 내부 구조를 정보이론으로 해석하고, 해석 가능한 의미 방향(feature direction)을 식별하는 프레임워크를 제안한 논문 https://kangnlp.com/reviews/autoregressive-llm-embeddings-compression-alignment https://kangnlp.com/reviews/autoregressive-llm-embeddings-compression-alignment Sun, 15 Mar 2026 15:00:00 GMT 논문 리뷰 LLM의 자기회귀적 본성을 거스르지 않으면서 고품질 텍스트 임베딩을 생성하는 방법, AutoRegEmbed https://kangnlp.com/reviews/diffusion-vs-autoregressive-embedding https://kangnlp.com/reviews/diffusion-vs-autoregressive-embedding Sun, 15 Mar 2026 15:00:00 GMT 논문 리뷰 디퓨전 언어 모델이 텍스트 임베딩에서 LLM보다 나은 이유를 실증적으로 밝힌 최초의 체계적 연구 https://kangnlp.com/reviews/random-dimension-removal-embeddings https://kangnlp.com/reviews/random-dimension-removal-embeddings Sun, 15 Mar 2026 15:00:00 GMT 논문 리뷰 텍스트 임베딩에서 차원의 50%를 무작위로 제거해도 검색·분류 성능이 10% 미만만 하락한다는 현상을 발견하고, 그 원인을 "성능을 오히려 악화시키는 차원(degrading dimensions)"의 존재로 설명한 논문. https://kangnlp.com/reviews/smec-matryoshka-embedding-compression https://kangnlp.com/reviews/smec-matryoshka-embedding-compression Sun, 15 Mar 2026 15:00:00 GMT 논문 리뷰 LLM 임베딩의 차원을 12~14배까지 줄이면서도 검색 성능을 유지하는 순차적 마트료시카 압축 프레임워크 https://kangnlp.com/reviews/diffusion-pretrained-dense-contextual-embeddings https://kangnlp.com/reviews/diffusion-pretrained-dense-contextual-embeddings Tue, 03 Mar 2026 15:00:00 GMT 논문 리뷰 디코더 전용 LLM을 디퓨전 목적 함수로 계속 사전학습하여 양방향 어텐션을 갖춘 임베딩 모델로 변환하고, 다단계 대조 학습과 네이티브 INT8 양자화를 결합해 웹 스케일 검색에 최적화된 다국어 임베딩 모델 pplx-embed을 제안한다. https://kangnlp.com/reviews/samrank-unsupervised-keyphrase-extraction https://kangnlp.com/reviews/samrank-unsupervised-keyphrase-extraction Sat, 21 Feb 2026 15:00:00 GMT 논문 리뷰 사전학습 언어 모델의 셀프 어텐션 맵(Self-Attention Map)만을 활용하여 임베딩 없이 비지도 키프레이즈 추출을 수행하는 SAMRank를 제안한다. https://kangnlp.com/reviews/zero-shot-contextual-embeddings https://kangnlp.com/reviews/zero-shot-contextual-embeddings Sun, 29 Jun 2025 15:00:00 GMT 논문 리뷰 실제 코퍼스에 접근하지 않고도, LLM이 생성한 합성 프록시 코퍼스만으로 컨텍스트 기반 임베딩 모델을 도메인에 적응시키는 프레임워크 https://kangnlp.com/reviews/qwen3-embedding https://kangnlp.com/reviews/qwen3-embedding Tue, 10 Jun 2025 15:00:00 GMT 논문 리뷰 Qwen3 파운데이션 모델 위에 다단계 학습 파이프라인과 대규모 합성 데이터, 모델 머징을 결합하여 텍스트 임베딩과 리랭킹 모두에서 SOTA를 달성한 오픈소스 모델 시리즈.