kangnlp

Tags /

#MS-MARCO

2개의 글

논문 리뷰약 27분

논문 리뷰: CharacterBERT and Self-Teaching for Improving the Robustness of Dense Retrievers on Queries with Typos

검색창에 "infromation retrieval"이라고 오타를 낸 적이 있을 것이다. 구글이나 빙이라면 대개 "혹시 이걸 찾으셨나요?"라며 알아서 교정해 준다. 그런데 요즘 검색 시스템의 1차 후보 생성을 책임지는 밀집 검색기(Dense Retriever, DR)는 이 한 글자 오타에 의외로 취약하다. BERT로 쿼리와 문서를 벡터로 바꾸고 벡터 유사도로

논문 리뷰약 24분

논문 리뷰: Fine-Grained Distillation for Long Document Retrieval

긴 문서는 여러 토픽을 담고 있어 크로스 인코더의 지식을 바이 인코더로 그대로 증류하면 잘 먹히지 않는다. 이 논문은 문서 전체가 아니라 문단, 문장 단위의 세밀한 표현으로 지식을 증류하는 Fine-Grained Distillation(FGD) 프레임워크를 제안해, 추론 효율은 그대로 유지하면서 장문서 검색에서 SOTA를 달성한다.