논문 리뷰: ERU-KG: Efficient Reference-aligned Unsupervised Keyphrase Generation

ERU-KG: 레퍼런스 기반 비지도 키프레이즈 생성 리뷰

논문: ERU-KG: Efficient Reference-aligned Unsupervised Keyphrase Generation
저자: Lam Thanh Do, Aaditya Bodke, Pritom Saha Akash, Kevin Chen-Chuan Chang (UIUC)
학회: ACL 2025 (Long Paper)
코드: https://github.com/louisdo/ERU-KG

---

왜 이 논문인가

키프레이즈(Keyphrase)는 문서의 핵심 개념을 담은 짧은 구문이다. 문서 검색, 시각화, 요약 등 다양한 응용에서 쓰이는데, 자동으로 예측하는 일은 생각보다 까다롭다. 특히 학습 데이터 없이, 즉 비지도(Unsupervised) 방식으로 해결하려는 시도는 꽤 오래된 연구 흐름이다.

기존 비지도 방법의 공통된 한계는 두 가지다. 첫 번째는 정확도 문제: 레이블 없이 중요도를 측정하려다 보니, 결국 TF-IDF나 그래프 중심성, 문장 임베딩 유사도 같은 휴리스틱에 의존하게 된다. 이런 프록시(proxy) 점수가 실제 사람이 인식하는 키프레이즈와 얼마나 일치하느냐는 별개의 문제다. 두 번째는 속도 문제: 현대적 비지도 방법들, 특히 PLM(Pretrained Language Model)을 활용하는 방식은 후보 구문마다 모델을 돌리기 때문에 대규모 코퍼스에 적용하기엔 무겁다.

ERU-KG는 이 두 가지를 동시에 공략한다. "레퍼런스를 통해 커뮤니티가 문서를 어떻게 인식하는지를 학습한다"는 아이디어 하나로 정확도를 끌어올리고, "구문 단위가 아니라 토큰 단위로 중요도를 예측한다"는 아이디어로 속도를 잡는다. 결론부터 말하자면, 비지도 모델임에도 불구하고 지도 모델인 CopyRNN 성능의 89%에 도달하면서, 동급 모델 크기 중 추론 속도는 가장 빠르다.

---

배경: 키프레이즈 예측의 두 갈래

키프레이즈 예측은 크게 **추출(Extraction, KE)**과 **생성(Generation, KG)**으로 나뉜다. 추출은 문서 내에 등장하는 구문만을 대상으로 하고, 생성은 문서 밖에서 유추되는 "부재 키프레이즈(Absent Keyphrase)"까지 예측한다. 예를 들어 딥러닝 논문에 "neural network"는 명시적으로 나와 있지만, "image classification"은 직접 쓰이지 않더라도 핵심 키프레이즈가 될 수 있다.

비지도 키프레이즈 추출(UKE)은 후보 생성 → 중요도 점수로 랭킹하는 파이프라인이 일반적이다. 중요도 함수의 종류에 따라 통계 기반(TF-IDF 등), 그래프 기반(TextRank, MultiPartiteRank), 임베딩 기반(EmbedRank), 언어모델 기반(PromptRank)으로 분류된다.

비지도 키프레이즈 생성(UKG)은 한 단계 더 어렵다. 부재 키프레이즈를 만들어내야 하기 때문에, 기존 방법들은 중요도 점수를 실버 레이블로 삼아 seq2seq 모델을 학습하거나(AutoKeyGen, TPG), 혹은 phrase 생성기와 중요도 평가기를 결합하는 방식을 쓴다(UOKG). ERU-KG는 이 중 두 번째 흐름을 따르면서, 중요도 평가기를 레퍼런스 기반으로 학습한다는 점에서 차별화된다.

---

핵심 아이디어: 레퍼런스에서 커뮤니티 인식을 배운다

논문의 출발점은 이 질문이다. "레이블 없이 키프레이즈의 중요도를 정확히 측정하려면 어떤 신호를 활용해야 할까?"

저자들의 답은 **레퍼런스(Reference)**다. 어떤 문서에 대해 사람들이 남긴 흔적—검색 쿼리, 인용 문맥, 논문 제목—을 보면 그 문서의 핵심 개념이 무엇인지 드러난다는 것이다. Figure 1이 이 직관을 잘 보여준다.

Figure 1: 동일 논문에 대한 세 가지 레퍼런스 예시. 쿼리("sea ice deep learning"), 인용 문맥("Many researchers have applied classical semantic segmentation models..."), 제목("Supplementing Remote Sensing of Ice: Deep Learning-Based Image Segmentation..."). 이 세 가지 모두 문서의 핵심 개념을 독립적으로 지칭한다.

"sea ice deep learning"이라는 쿼리, 특정 논문을 인용하면서 쓴 문장, 그리고 논문의 제목—이것들이 모두 그 논문의 키 컨셉을 다른 방식으로 표현하고 있다. 이 레퍼런스들을 학습 신호로 삼으면, 커뮤니티가 문서를 어떻게 인식하는지를 데이터 기반으로 모델링할 수 있다.

두 번째 아이디어는 토큰 수준 중요도 예측이다. 구문 후보마다 (문서, 후보) 쌍을 평가하면 후보 수에 비례해 계산량이 늘어난다. 반면, 문서의 각 토큰에 대한 중요도를 한 번에 뽑아두고, 구문의 중요도를 그 구성 토큰들의 중요도 합산으로 계산하면 후보 수에 무관하게 효율적이다.

---

모델 구조

ERU-KG는 **정보성 모듈(Informativeness Module)**과 **구문성 모듈(Phraseness Module)**의 두 컴포넌트로 이루어진다. Figure 2가 전체 흐름을 보여준다.

Figure 2: ERU-KG 개요. 훈련(Training)과 추론(Inference) 두 단계로 구분된다. 추론 시 문서를 입력받아 BM25로 관련 문서를 검색하고, 정보성·구문성 모듈을 통해 키프레이즈를 랭킹한다.

정보성 모듈 (Informativeness Module)

정보성 모듈의 핵심은 SPLADE다. SPLADE는 Masked Language Modeling(MLM) 레이어의 로짓을 활용해 입력 문서의 각 토큰에 대한 중요도를 예측하는 희소 검색 모델이다.

문서 $x$에 대해, 어휘 $V$의 각 토큰 $j$에 대한 중요도 $w_j^x$는 맥스 풀링으로 계산된다:

$w_j^x = \max_{i \in x} \log(1 + \text{ReLU}(w_{ij}^x))$

여기서 $w_{ij}^x$는 MLM 레이어가 위치 $i$에서 토큰 $j$에 대해 내놓는 로짓이다. 이 맥스 풀링 덕분에 문서에 실제로 등장하지 않는 토큰(absent terms)에도 0이 아닌 중요도를 부여할 수 있다—이것이 부재 키프레이즈 예측의 열쇠다.

SPLADE 학습은 랭킹 손실과 정규화 손실의 합이다:

$L = L_{\text{rank-IBN}} + \lambda_q \cdot L_{\text{reg}}^q + \lambda_d \cdot L_{\text{reg}}^d$

여기서 $L_{\text{rank-IBN}}$은 (레퍼런스 $r$, 양성 문서 $d^+$, 음성 문서 $d^-$) 삼중쌍에 대한 대조 손실이고, $L_{\text{reg}}$는 희소성을 강제하는 FLOPS 정규화 손실이다.

학습 데이터 구성

세 가지 레퍼런스 유형으로 학습 삼중쌍을 구성한다:

• 쿼리: SciRepEval Search 데이터셋에서 Semantic Scholar의 실제 사용자 쿼리 약 478k개를 사용. 관련성 점수 > 0인 문서를 $d^+$, = 0인 문서를 $d^-$로 삼는다.
• 인용 문맥: unarXive 데이터셋에서 인용 문장을 $r$로, 인용된 논문의 제목+초록을 $d^+$로, 다른 섹션에서 인용된 논문을 $d^-$로 사용. 165k+ 논문에서 추출.
• 제목: unarXive에서 제목을 $r$로, 해당 논문의 초록을 $d^+$로, 같은 논문이 인용한 다른 논문의 초록을 $d^-$로 사용.

이 세 유형을 모두 섞어 학습함으로써, 모델이 문서의 핵심 개념을 다양한 맥락에서 인식하도록 훈련된다.

구문 중요도 계산

후보 구문 $c = (c_1, c_2, \ldots, c_{|c|})$의 중요도는 구성 토큰들의 중요도 합산으로 계산된다:

$f(c, x) = \frac{1}{|c|^\gamma} \sum_{i=1}^{|c|} w_{c_i}^x$

$\gamma$는 길이 패널티 파라미터로, 음수일 때 긴 구문을 선호하고 양수일 때 짧은 구문을 선호한다 (기본값 $\gamma = -0.25$).

한 가지 문제가 있는데, SPLADE는 부재 토큰의 중요도를 실제보다 낮게 예측하는 경향이 있다. 저자들이 측정해보니 20k 문서에서 0이 아닌 중요도를 가진 토큰 중 단 25%만이 부재 토큰이었다. 이를 보완하기 위해 **유사 관련성 피드백(Pseudo-Relevance Feedback)**에서 영감을 받아, BM25로 유사 문서 $N(x)$를 검색하고 이들의 토큰 중요도를 함께 반영한다:

$\hat{w}_j^x = \alpha \cdot w_j^x + (1-\alpha) \sum_{x' \in N(x)} \tilde{s}_{x',x} \cdot w_j^{x'}$

$\tilde{s}_{x',x}$는 $x$와 $x'$ 사이의 정규화된 BM25 유사도, $\alpha$는 원본 문서와 관련 문서의 상대적 기여를 조절하는 하이퍼파라미터다. 관련 문서들의 토큰 중요도는 미리 계산해두므로, 추론 시 추가 연산 없이 활용 가능하다.

구문성 모듈 (Phraseness Module)

구문성 모듈은 키프레이즈 후보를 생성하고 그 구문성 확률을 부여한다. 기본 아이디어는 "대부분의 키프레이즈는 명사구이고, 부재 키프레이즈는 다른 문서에 등장한다"는 선행 연구의 관찰에서 출발한다.

후보 집합은 입력 문서와 관련 문서에서 추출한 명사구의 합집합이다:

$\hat{C}_x = C_x \cup C_{N(x)}$

여기서 $C_x$는 문서 $x$에서 추출한 명사구, $C_{N(x)} = \bigcup_{x' \in N(x)} C_{x'}$는 관련 문서들에서 추출한 명사구다.

각 후보의 구문성 확률은:

$P_{pn}(c|x) = \beta \cdot \frac{\mathbf{1}[c \in C_x]}{|C_x|} + (1-\beta) \cdot \frac{1}{|N(x)|}\sum_{x' \in N(x)} \tilde{s}_{x',x} \cdot \frac{\mathbf{1}[c \in C_{x'}]}{|C_{x'}|}$

$\beta$가 크면 문서 자체의 명사구를 더 선호하고, 작으면 관련 문서의 명사구를 더 활용한다.

관련 문서가 많아질수록 후보 집합이 폭발적으로 커질 수 있어, 두 가지 가지치기 전략을 쓴다:

1. 전략 1: 낮은 중요도·신뢰도 후보 제거 — 각 관련 문서 $x'$에서 $f(c, x')$ 기준 상위 10개만 남기고, 전체 코퍼스 $D$에서 적어도 3개 문서의 상위 10 후보에 속하는 구문으로 이루어진 glossary $G_D$로 추가 필터링.
2. 전략 2: 낮은 구문성 후보 제거 — $C_{N(x)}$에서 $P_{pn}(c|x)$ 상위 100개만 최종 후보로.

이 두 전략 덕분에 관련 문서 수가 늘어도 최종 후보 수는 적정 범위를 유지한다.

정보성과 구문성 결합

두 모듈을 결합한 최종 랭킹 점수는 곱-전문가(Product of Experts) 방식으로:

$P_{kp}(c|x) = P_{pn}(c|x)^\lambda \cdot P_{in}(c|x)$

여기서 $\lambda$는 구문성의 상대적 가중치다 (기본값 $\lambda = 1.5$).

위치 정보도 반영한다. 문서 앞쪽에 등장하는 구문일수록 키프레이즈일 가능성이 높다는 경험적 사실을 활용해, 위치 패널티 $\omega_x(c) = 1 + \frac{1}{\log_2[P_x(c)+2]}$를 곱한 최종 점수:

$s_x(c) = P_{kp}(c|x) \cdot \omega_x(c)$

부재 구문은 $P_x(c) \to \infty$이므로 $\omega_x(c) \to 1$, 즉 위치 패널티가 없다.

키프레이즈 추출로의 전환은 간단히 $\alpha = \beta = 1$로 설정하면 된다. 관련 문서 $N(x)$의 기여를 완전히 끄는 것이고, 그러면 자연스럽게 추출 모드가 된다.

---

실험

데이터셋 (Table 5)

Table 5: 평가 데이터셋 통계. Ground-truth 기반 평가는 5개, 검색 기반 평가는 6개 데이터셋 사용.

비지도 베이스라인으로 TextRank, MultiPartiteRank, EmbedRank, PromptRank(추출), AutoKeyGen, UOKG, TPG(생성)를 비교하고, CopyRNN을 지도 학습 상한으로 참조한다.

---

Ground-truth 기반 평가 결과 (Table 1)

Table 1: 키프레이즈 생성 성능 비교 (5개 벤치마크)

Present 키프레이즈 생성 (F1, %)

Absent 키프레이즈 생성 (Recall, %)

이 테이블에서 눈에 띄는 패턴이 있다. Present 키프레이즈에서는 Inspec 데이터셋에서 유독 ERU-KG가 EmbedRank(SBERT)에 뒤지는데, Inspec은 absent 비율이 22%로 가장 낮은 데이터셋이다. 즉 다른 문서에서 관련 개념을 끌어오는 ERU-KG의 강점이 여기서는 덜 발휘되고, 오히려 문장 임베딩 기반 유사도라는 직관적인 방법이 더 잘 맞는 셈이다.

반면 Absent 키프레이즈에서는 ERU-KG가 모든 데이터셋에서 1위를 차지하며, 특히 KP20K에서 R@10 기준 UOKG(4.5)를 약 두 배 가까이 앞서는 8.1을 기록한다. 부재 키프레이즈 생성에서 관련 문서 활용의 효과가 얼마나 큰지를 보여주는 수치다.

지도 모델 CopyRNN과의 비교에서 전체 평균 F@10 기준 ERU-KG-base가 26.5% vs 27.6%로, 약 89% 수준이다. Absent 키프레이즈에서는 R@10 평균 5.8% vs 7.1%로 약 82% 수준이지만, ERU-KG가 일부 데이터셋(Inspec, KP20K)에서는 지도 모델을 앞서기도 한다는 점이 인상적이다.

---

검색 기반 평가 결과 (Table 2)

Table 2: 텍스트 검색 성능 (R@1000, %)

쿼리 확장에서 ERU-KG-small이 평균 67.3%로 DocT5Query(BEIR 4개 데이터셋 기준)와 동등하거나 앞선다는 결과가 흥미롭다. DocT5Query는 합성 쿼리를 생성해 주는 supervised 모델인데, 비지도 ERU-KG와 검색 성능이 엇비슷하다. 더 주목할 만한 것은 "Both" 설정인데—ERU-KG를 쿼리와 문서 양쪽에 함께 쓰면 평균 68.4-68.5%로 DocT5Query+RM3 조합과 비슷해진다. 다른 KG 베이스라인들은 "Both"를 써도 "Query" 또는 "Doc" 단독 대비 명확한 이득이 없지만, ERU-KG는 두 확장이 서로 시너지를 낸다.

문서 확장(Doc) 설정에서는 TREC-COVID와 DORIS-MAE에서 ERU-KG가 모든 베이스라인에 뒤진다. TREC-COVID는 쿼리당 평균 493.5개의 관련 문서가 있는 매우 큰 recall pool을 가진 데이터셋인데, 이런 환경에서는 DocT5Query처럼 검색 최적화된 합성 쿼리 방식이 더 적합한 것으로 보인다.

---

추론 속도 평가 (Table 3)

Table 3: 추론 처리량 (doc/s)

추출 시나리오에서 ERU-KG-base는 72.9 doc/s로 EmbedRank(SBERT, 43.5)보다 약 1.7배, PromptRank(1.4)보다는 무려 50배 이상 빠르다. 이 속도 차이는 모델 크기(33M vs 66M) 차이보다 훨씬 크다—핵심은 구조적 차이에 있다. PromptRank는 문서당 여러 번의 forward pass가 필요하고, EmbedRank는 후보 임베딩을 각각 계산해야 하지만, ERU-KG는 문서 전체에 대해 단 한 번 SPLADE를 돌리면 모든 토큰 중요도가 나온다.

생성 시나리오에서 기본 설정(|N(x)|=100)에서는 11.0 doc/s로 PromptKP(10.4)와 큰 차이가 없다. 병목은 BM25 관련 문서 검색에 있기 때문이다. |N(x)|=50이면 12.1 doc/s, |N(x)|=10이면 15.5 doc/s로 올라간다. 다음 절에서 보겠지만, |N(x)|=50 설정이 속도-성능 균형의 스위트스팟이다.

---

에이블레이션: 레퍼런스 유형별 기여 (Figure 3)

Figure 3: 레퍼런스 유형 하나씩을 제거했을 때 성능 변화(%). -titles: 제목 제거, -queries: 쿼리 제거, -citation contexts: 인용 문맥 제거.

세 가지 레퍼런스 유형 중 어느 것을 제거해도 성능이 떨어지는데, 유형에 따라 영향받는 태스크가 다르다:

• 제목(-titles): Present 키프레이즈 생성에 가장 큰 타격을 준다. 제목이 "저자가 스스로 요약한 핵심 개념"을 담고 있기 때문에, 문서에 실제 등장하는 구문의 중요도 추정에 가장 직접적으로 기여하는 레퍼런스다.
• 쿼리(-queries): Absent 키프레이즈 생성 성능에 가장 큰 영향을 준다. 실제 사용자 쿼리는 문서 밖의 개념—즉 사람들이 이 문서를 찾을 때 사용하는 표현—을 담고 있으므로, 부재 키프레이즈의 분포에 가장 가까운 레퍼런스라는 해석이 가능하다.
• 인용 문맥(-citation contexts): 세 태스크 모두에 고르게 영향을 준다. 인용 문맥은 다른 연구자들이 해당 논문을 어떤 맥락에서 참조하는지를 담고 있어, 커뮤니티의 폭넓은 인식을 반영한다.

---

에이블레이션: 관련 문서 수의 영향 (Table 4)

Table 4: N(x) 크기 변화에 따른 성능 변화 (ERU-KG-base)

Present 키프레이즈는 관련 문서 수에 거의 영향받지 않는다. 문서 자체의 명사구로 후보를 충분히 커버할 수 있기 때문이다. 반면 Absent 키프레이즈와 검색 태스크는 관련 문서가 줄수록 성능이 내려간다. |N(x)|=10에서는 두 태스크 모두 기본 대비 5% 이상 하락해 유의미한 손실이 생긴다.

Table 3의 속도 데이터와 함께 보면, |N(x)|=50이 합리적인 선택이다—성능은 기본 대비 소폭만 손실되고, 속도는 10% 이상 향상된다.

---

하이퍼파라미터 민감도 분석 (Table 6)

Table 6: α, β에 따른 KP20K 성능 (ERU-KG-base)

양 극단이 모두 좋지 않다는 결과가 명확하다. α=β=0 (관련 문서만 사용)는 성능이 급락하고, α=β=1 (원본 문서만 사용)은 부재 키프레이즈 Recall이 0이 된다—관련 문서 검색 없이는 부재 후보 자체가 생성되지 않기 때문이다. 0.6~0.8 범위에서 성능이 안정되며, 기본값 0.8은 "원본 문서가 더 큰 비중을 갖되, 관련 문서도 활용한다"는 균형을 잘 포착한다.

---

케이스 스터디 (Table 7, Table 8)

케이스 스터디는 두 가지 입력 유형—문서와 쿼리—에 대한 정성적 분석을 제공한다.

Table 7: 문서 입력에 대한 키프레이즈 비교 (sea ice 관련 논문)

부재 키프레이즈에서 ERU-KG만이 'sea ice classification', 'sea ice concentration', 'sea ice detection' 같은 실제 도메인 용어를 예측한다. 이것들은 논문 본문에서도 실제로 쓰이고, 인용 문맥에서도 직접 언급된다. 다른 방법들은 'neural network approach', 'image segmentation technique' 같은 지나치게 일반적인 구문을 생성하거나(AutoKeyGen), 심지어 'pancake ice'(CopyRNN) 같은 맥락에 맞지 않는 구문을 만들어낸다.

Table 8: 쿼리 입력에 대한 키프레이즈 비교

GAN 대안에 관한 긴 DORIS-MAE 쿼리에서 ERU-KG만이 'ac gan', 'am gan', 'conditional gan', 'net gan' 같은 구체적인 GAN 변형 기법 이름을 absent 키프레이즈로 생성했다. 'BCI(Brain-Computer Interface)' 논문 제목 쿼리에서는 ERU-KG가 'brain computer interface' 전체 표현과 함께 'domain adaptation', 'meta learning' 같은 관련 개념을 생성한 반면, CopyRNN은 'world wide web'이라는 전혀 무관한 키프레이즈를 만들어냈다.

이 케이스 스터디는 단순히 "ERU-KG가 더 좋은 키프레이즈를 만든다"는 것을 넘어서, 레퍼런스 기반 학습이 어떤 방식으로 커뮤니티 지식을 끌어오는지를 직관적으로 보여준다. 관련 문서에서 실제 사용되는 전문 용어들이 absent 키프레이즈로 올라오는 것이 핵심이다.

---

Appendix: 구현 세부사항

• ERU-KG-base: SPLADE를 DistilBERT-base (66M)로 초기화. Adam optimizer, lr=2e-5, warmup 20k steps, batch size 32, 100k steps 학습. FLOPS 정규화: λ_q=0.05, λ_d=0.03
• ERU-KG-small: BERT_L-6_H-512_A-8 (33M) 초기화 버전
• 하이퍼파라미터 기본값: α=β=0.8, λ=1.5, γ=-0.25, |N(x)|=100
• 코퍼스 D: SciRepEval-Search의 630,749개 문서. 각 문서의 상위 10 present 키프레이즈와 term importance를 미리 계산해 저장
• 하드웨어: AMD EPYC 7302 CPU × 2, NVIDIA A40 GPU × 3 (48GB), RAM 256GB

---

한계점

저자들이 스스로 밝힌 한계가 세 가지다:

1. 도메인 편향: 학습 데이터와 평가 벤치마크 모두 과학 텍스트에 국한되어 있어, 다른 도메인(뉴스, 법률, 일반 웹 문서 등)에서의 성능은 미지수다.

2. 레퍼런스 유형의 제한: 쿼리, 인용 문맥, 제목 세 가지만 다루는데, 소셜 미디어 멘션, 뉴스 기사 인용, 블로그 요약 등 다양한 레퍼런스 유형을 추가하면 성능이 더 개선될 여지가 있다.

3. 구문성 모듈의 경직성: 관련 문서에서 후보를 끌어오기 때문에, 특정 문서에만 맞는 맞춤형 부재 키프레이즈를 만들기 어렵다. 예를 들어 문서 내 특정 조합이나 신조어 같은 경우, 관련 문서에 없으면 후보 자체가 생성되지 않는다.

리뷰어 관점에서 추가로 지적할 수 있는 점은, 검색 태스크의 문서 확장(Doc) 설정에서 TREC-COVID와 DORIS-MAE에서 명확한 성능 열세를 보인다는 것이다. 이에 대한 분석이 다소 부족한데, 대규모 코퍼스에서의 문서 확장 효과에 대한 심층 분석이 있었다면 더 완결된 논문이 됐을 것이다. 또한 비과학 도메인에 대한 even a small pilot experiment이 없다는 점도 일반화 가능성에 의문을 남긴다.

---

의의 및 포지셔닝

ERU-KG의 가장 큰 의의는 비지도 키프레이즈 생성에 희소 검색 모델을 접목했다는 것이다. SPLADE 같은 희소 검색 모델은 정보검색 커뮤니티에서 주로 쿼리-문서 매칭에 쓰이는데, 키프레이즈 생성 문제를 "어떤 토큰이 이 문서를 표현하는 데 중요한가"라는 term importance 문제로 재해석하면서 두 분야를 자연스럽게 연결했다.

정보검색과 키프레이즈 생성의 연결은 실용적이기도 하다. 생성된 키프레이즈를 그대로 검색 확장에 쓸 수 있고, 반대로 검색 모델이 학습한 term importance가 키프레이즈 예측에 직접 활용된다. 한 모델이 두 태스크를 모두 커버하는 셈이다.

선행 연구인 UOKG(Do et al., 2023, ACL 2023)의 직접적인 확장이라는 점도 주목할 만하다. 같은 저자들이 UOKG의 두 모듈 구조를 유지하면서, 정보성 모듈의 핵심을 임베딩 기반 유사도에서 레퍼런스 기반 term importance로 교체했다. 모듈 대체만으로 성능과 속도 모두 개선했다는 점이 아이디어의 깔끔함을 보여준다.

---

정리

ERU-KG는 두 개의 간결한 아이디어로 비지도 키프레이즈 생성의 핵심 병목 두 가지를 동시에 해결한다. "커뮤니티 레퍼런스로 중요도를 학습한다"는 통찰은 레이블 없이도 정확한 키프레이즈를 뽑아내고, "구문이 아닌 토큰 단위로 중요도를 계산한다"는 공학적 선택이 속도를 챙긴다.

비지도 상황에서 지도 모델의 89% 성능을 내면서 같은 크기 모델 중 가장 빠르다는 조합은, 레이블 비용이 높은 도메인이나 실시간 대규모 처리가 필요한 시스템에서 실질적인 대안이 될 수 있다. 특히 검색 시스템에서의 쿼리/문서 확장이라는 직접적인 응용까지 검증했다는 점에서, 연구 기여를 넘어 실용적 가치도 충분히 갖춘 논문이다.