논문 리뷰: SAMRank - Self-Attention Map만으로 키프레이즈를 뽑아낼 수 있을까?

SAMRank: Self-Attention Map만으로 키프레이즈를 뽑아낼 수 있을까?

사전학습 언어 모델의 셀프 어텐션 맵(Self-Attention Map)만을 활용하여 임베딩 없이 비지도 키프레이즈 추출을 수행하는 SAMRank를 제안한다.

논문 정보

---

1. 들어가며

문서에서 핵심 키프레이즈(keyphrase)를 자동으로 뽑아내는 건 정보 검색, 문서 요약, 토픽 모델링 등 다양한 NLP 파이프라인의 출발점이 되는 작업이다. 지도 학습 방식은 성능이 좋지만 대규모 라벨 데이터에 의존하고 도메인 종속적이라는 한계가 있어, 비지도(unsupervised) 접근이 꾸준히 연구되어 왔다.

최근의 비지도 키프레이즈 추출은 대부분 BERT 같은 사전학습 언어 모델(PLM)의 **문맥화된 임베딩(contextualized embeddings)**을 이용해 문서-후보구 간 유사도를 계산하는 방식이다. 그런데 여기에 근본적인 문제가 하나 있다. PLM의 임베딩이 **비등방적(anisotropic)**이라는 거다. Ethayarajh (2019)의 분석에 따르면 BERT와 GPT-2의 문맥화된 표현은 벡터 공간의 특정 방향에 편향되어 있고, 상위 레이어로 갈수록 이 현상이 심해진다. 즉, 아무 두 단어의 표현을 무작위로 뽑아 코사인 유사도를 재면 매우 높은 값이 나온다는 것인데, 이러면 유사도 기반 랭킹 자체가 변별력을 잃게 된다.

이 논문은 발상을 완전히 뒤집는다. 임베딩이 아니라 셀프 어텐션 맵(Self-Attention Map, SAM) 자체에서 구문의 중요도를 계산하면 어떨까? 트랜스포머의 어텐션 헤드 중 일부가 키프레이즈를 잘 포착하도록 특화되어 있을 수 있다는 가설에서 출발한 접근이다.

---

2. 기존 연구의 한계

2.1 통계 기반 및 그래프 기반 방법

TF-IDF (Jones, 2004)나 YAKE (Campos et al., 2018) 같은 통계 기반 방법은 단어 빈도, 분포 등 표면적 특징에 의존한다. TextRank (Mihalcea & Tarau, 2004), SingleRank (Wan & Xiao, 2008), TopicRank (Bougouin et al., 2013), PositionRank (Florescu & Caragea, 2017) 등 그래프 기반 방법은 공기(co-occurrence) 정보로 그래프를 구성하고 노드 랭킹을 통해 키프레이즈를 추출한다. 이런 전통적 방법들은 텍스트의 잠재적 의미를 파악하지 못해 성능에 한계가 뚜렷하다.

2.2 임베딩 기반 방법

EmbedRank (Bennani-Smires et al., 2018)는 Sent2Vec, Doc2Vec 같은 정적 임베딩을 활용했고, SIFRank (Sun et al., 2020)는 ELMo의 문맥 임베딩으로 한 단계 나아갔다. BERT 등장 이후로는 AttentionRank (Ding & Luo, 2021)가 BERT의 셀프/크로스 어텐션을 활용하고, MDERank (Zhang et al., 2022)는 마스킹 전략으로 원본 문서와 마스킹 문서의 임베딩 유사도를 비교하는 방식을 도입했으며, JointGL (Liang et al., 2021)은 로컬·글로벌 문맥을 결합하는 그래프 기반 접근을 취했다.

하지만 이들 모두 임베딩 유사도 계산이라는 공통 기반 위에 서 있다. 앞서 언급한 비등방성 문제가 해결되지 않는 한, 상위 레이어 임베딩의 유사도는 근본적으로 신뢰하기 어렵다. BWRank (Wang & Li, 2022)이 화이트닝(whitening) 연산으로 임베딩을 등방적으로 재구성하려 시도했지만, 이는 문제의 우회이지 근본적 해결이 아니다.

SAMRank는 이 문제를 아예 피해간다. 임베딩을 쓰지 않으니 비등방성에 영향받을 일이 없는 것이다.

---

3. 핵심 아이디어

Clark et al. (2019)의 "What Does BERT Look At?" 연구에서 BERT의 특정 어텐션 헤드가 문법 구조나 상호참조 관계를 포착하는 데 특화되어 있다는 사실이 밝혀졌다. SAMRank의 저자들은 여기서 한 발 더 나아간다. 만약 어떤 헤드가 문법 구조에 특화될 수 있다면, 키프레이즈 포착에 특화된 헤드도 존재하지 않을까? 사전학습 과정에서 텍스트의 주제적 본질을 파악하는 데 훈련된 헤드가 있을 가능성이 충분하다는 것이다.

이 가설을 기반으로, SAMRank는 PLM의 셀프 어텐션 맵 하나만으로 키프레이즈를 추출한다. 임베딩 계산도, 유사도 측정도 필요 없다. 어텐션 가중치의 열 합(column sum)으로 글로벌 중요도를 구하고, 이를 다시 비례 배분하여 중요 토큰과 강하게 연관된 토큰에도 높은 점수를 부여하는 방식이다. 단순하지만 직관적이고, 무엇보다 해석이 가능하다는 점이 매력적이다.

---

4. 제안 방법 (Method)

4.1 전체 구조

SAMRank의 파이프라인은 명확하게 네 단계로 구성된다: (1) 후보 생성, (2) 셀프 어텐션 맵 추출, (3) 글로벌/비례 어텐션 스코어 계산, (4) 구문 수준 점수 집계.

Figure 1: SAMRank의 전체 파이프라인. 문서에서 후보 구문을 생성하고, PLM의 셀프 어텐션 맵에서 열 합(Column Sum)으로 글로벌 어텐션 스코어를, 행 합(Row Sum)으로 비례 어텐션 스코어를 계산한 뒤, 두 스코어를 결합하여 후보 구문에 대한 최종 점수를 산출한다. (원논문)

Figure 1에서 볼 수 있듯이, 문서가 입력되면 먼저 후보 구문(candidate phrases)이 추출된다. 이후 BERT 또는 GPT-2에 문서 전체를 넣어 SAM을 얻고, 이 행렬에 대해 열 합과 행 합 연산을 수행하여 각 토큰의 최종 점수를 구한다. 구문 수준에서는 구성 토큰 점수의 합으로 최종 랭킹이 결정된다.

4.2 후보 생성 (Candidate Generation)

후보 구문 생성에는 EmbedRank (Bennani-Smires et al., 2018)에서 구현된 모듈을 그대로 사용한다. StanfordCoreNLP로 토큰화 및 POS 태깅을 수행한 뒤, NLTK의 RegexpParser로 'NN', 'NNS', 'NNP', 'NNPS', 'JJ' 태그가 붙은 단어 또는 연속 단어열을 명사구(noun phrases)로 추출한다. 이 명사구들이 곧 후보 구문이 된다.

4.3 셀프 어텐션 맵 추출 (Self-Attention Map Extraction)

Hugging Face transformers 라이브러리를 통해 BERT와 GPT-2의 각 레이어, 각 헤드에서 셀프 어텐션 맵을 추출한다. 여기서 중요한 건 문장 단위가 아니라 문서 전체를 한 번에 입력한다는 점이다. 이렇게 해야 문서 전체의 문맥을 반영한 토큰 간 상관관계를 포착할 수 있다.

문서의 토큰 수가 모델의 최대 입력 길이(BERT: 512, GPT-2: 1024)를 초과하면, 동일한 토큰 수의 세그먼트로 분할하여 각각 SAM을 추출한다. BERT의 경우 [CLS] text [SEP] 구조로, GPT-2는 특수 토큰 없이 직접 입력한다.

4.4 글로벌 어텐션 스코어 계산 (Global Attention Score)

SAMRank는 토큰 수준에서 먼저 점수를 계산한 뒤, 구문 수준으로 집계한다.

셀프 어텐션 맵 $A$는 $n \times n$ 크기의 행렬로, $n$은 입력 토큰 수다. 각 토큰 $t_i$의 글로벌 어텐션 스코어 $G_{t_i}$는 SAM의 해당 열(column)의 합으로 계산된다:

$G_{t_i} = \sum_{j=1}^{n} A_{j,i}$

이 값은 문서 내 모든 토큰이 $t_i$에게 부여한 어텐션 가중치의 총합이다. 직관적으로, 많은 토큰으로부터 높은 어텐션을 받는 토큰일수록 문서에서 의미적으로 중요한 위치에 있다고 볼 수 있다.

단, BERT의 [SEP] 토큰과 GPT-2의 첫 번째 입력 토큰은 중간 레이어부터 과도하게 높은 어텐션을 받는 것으로 알려져 있다 (Clark et al., 2019). 이런 특수 토큰의 글로벌 어텐션 스코어는 0으로 설정하여 다른 토큰 간 상관관계 파악을 방해하지 않도록 처리한다.

4.5 비례 어텐션 스코어 계산 (Proportional Attention Score)

글로벌 어텐션 스코어만으로는 놓치는 경우가 있다. 어떤 토큰이 전역적으로는 그다지 중요하지 않더라도, 매우 중요한 토큰과 강한 상관관계를 가진다면 그 역시 중요하게 취급해야 한다. 가령 키프레이즈의 수식어(modifier) 같은 경우가 그렇다.

이를 위해 SAMRank는 글로벌 어텐션 스코어를 어텐션 가중치에 비례하여 재분배한다. 먼저 SAM의 각 열에 해당 토큰의 글로벌 어텐션 스코어를 곱한다:

$B_{j,i} = A_{j,i} \times G_{t_i}$

그런 다음 각 열을 정규화하여 0~1 사이의 값으로 만든다:

$B'_{j,i} = \frac{B_{j,i}}{\sum_{k=1}^{n} B_{k,i}}$

비례 어텐션 스코어 $P_{t_i}$는 이렇게 업데이트된 행렬 $B'$의 각 행의 합(row sum)으로 계산된다:

$P_{t_i} = \sum_{j=1}^{n} B'_{i,j}$

이 연산이 하는 일을 풀어서 설명하면 이렇다. 글로벌하게 중요한 토큰(높은 $G$ 값을 가진 토큰)에 많은 어텐션을 할당한 토큰은 높은 비례 어텐션 스코어를 받게 된다. 어텐션 메커니즘에서 V 벡터에 어텐션 가중치를 곱하는 것과 유사한 연산인 셈이다.

4.6 구문 수준 점수 집계 (Phrase-level Score Aggregation)

토큰 수준의 최종 점수는 글로벌 스코어와 비례 스코어의 합이다:

$S_{t_i} = G_{t_i} + P_{t_i}$

구문 수준 점수는 해당 구문을 이루는 토큰들의 최종 점수 합으로 계산된다:

$S_{p_k} = \sum_{t_i \in p_k} S_{t_i}$

문서 내에서 같은 구문이 여러 번 등장할 수 있으므로, 최종 구문 점수는 모든 등장 위치의 점수를 합산한다:

$S_p = \sum_{k} S_{p_k}$

여기에 두 가지 세부 처리가 추가된다. 첫째, 단일 단어가 다른 후보 구문의 하위 단어(subword)로 사용된 위치에서는 해당 점수를 제외한다. 하위 단어의 점수는 상위 구문의 맥락에서 계산된 것이므로 상위 구문에 귀속되어야 하기 때문이다. 둘째, 단일 단어는 문서 내 빈도가 높아 자연스럽게 점수가 높아지는 경향이 있으므로, 총점을 빈도로 나눈 평균 점수를 사용한다.

긴 문서의 경우, 세그먼트 분할 후 각 세그먼트에 독립적으로 SAMRank를 적용하고 결과를 합산한다.

4.7 BERT와 GPT-2에서의 적용

SAMRank는 인코더 기반(BERT)과 디코더 기반(GPT-2) 모델 모두에 적용할 수 있다. BERT-base는 12개 레이어 × 12개 헤드 = 144개 헤드를 가지며, SAM은 정방행렬(square matrix)이다. GPT-2는 마스크드 셀프 어텐션을 사용하므로 SAM이 하삼각행렬(lower triangular matrix)이 되는 차이가 있지만, 동일한 스코어링 로직을 적용할 수 있다.

Figure 2: 최종 토큰 수준 점수의 시각화. 위는 BERT (5번째 레이어의 2번째 헤드), 아래는 GPT-2 (11번째 레이어의 1번째 헤드)의 셀프 어텐션 맵을 사용한 결과. 색이 진할수록 높은 점수를 의미한다. (원논문)

Figure 2는 같은 예시 문서에 대해 BERT와 GPT-2의 SAMRank 결과를 토큰 수준에서 시각화한 것이다. "algorithms", "automatic generation", "logic reasoning questions", "semantic networks", "question databases", "question generation" 등 문서의 주제를 담은 단어들이 높은 점수(진한 색)를 받은 것을 확인할 수 있다. BERT와 GPT-2가 서로 다른 토큰에 미묘하게 다른 가중치를 부여하지만, 둘 다 의미적으로 핵심적인 단어를 정확하게 포착하고 있다.

---

5. 실험 결과

5.1 실험 설정

• 데이터셋: Inspec (Hulth, 2003), SemEval2010 (Kim et al., 2010), SemEval2017 (Augenstein et al., 2017) 세 가지를 사용했다. Inspec과 SemEval2017은 과학 논문 초록으로 구성되어 BERT의 최대 입력 길이 512 토큰을 넘지 않는 짧은 문서이고, SemEval2010은 ACM 풀페이퍼로 대부분 GPT-2의 최대 입력 1024 토큰도 초과하는 긴 문서다.
• 베이스라인: 통계 기반(TF-IDF, YAKE), 그래프 기반(TextRank, SingleRank, TopicRank, PositionRank), 정적 임베딩 기반(EmbedRank), 문맥 임베딩 기반(SIFRank, AttentionRank, MDERank, JointGL) 모델과 비교했다.
• 평가 지표: F1@5, F1@10, F1@15. 예측 키프레이즈를 랭킹 후 NLTK PorterStemmer로 스테밍하고 중복을 제거하여 평가했다.
• 공정한 비교: 기존 SOTA인 JointGL은 스테밍 후 중복 제거를 하지 않아 성능이 부풀려졌을 가능성이 있다. 공정한 비교를 위해 JointGL의 성능을 중복 제거 후 재현했다.

Table 1 (원논문): Inspec 데이터셋에서 JointGL과 SAMRank의 상위 5개 키프레이즈 추출 결과 비교.

Table 1의 예시를 보면 SAMRank의 특성이 잘 드러난다. JointGL은 "enormous change" 같은 의미적으로 무관한 구문을 추출한 반면, SAMRank (BERT)는 "spreadsheets", "quantitative modeling techniques", "decision support systems"처럼 정답 키프레이즈와 정확히 일치하거나 매우 가까운 구문들을 추출했다. SAMRank (GPT-2)도 "promising new directions"라는 오류가 하나 있지만 나머지는 정확하다.

Table 2 (원논문): 데이터셋 통계.

세 데이터셋의 성격이 뚜렷하게 다르다. Inspec과 SemEval2017은 초록 수준의 짧은 문서인 반면, SemEval2010은 평균 1589단어의 긴 문서다. 키프레이즈 구성도 차이가 있어, Inspec과 SemEval2010은 바이그램이 과반인 반면 SemEval2017은 유니그램 비율이 상대적으로 높다. 이런 다양성이 SAMRank의 범용성을 검증하는 데 적합한 실험 조건을 만든다.

5.2 주요 결과 (Main Results)

Table 3 (원논문): 베이스라인과 SAMRank의 F1@5, F1@10, F1@15 성능 비교. 볼드는 SAMRank가 기존 모델보다 개선된 경우.

결과가 꽤 인상적이다. Inspec에서는 SAMRank(BERT/GPT-2) 모두 F1@5, F1@10, F1@15 전 지표에서 모든 베이스라인을 능가했다. 특히 F1@5에서 기존 최고인 EmbedRank d2v(31.51) 대비 약 2.4%p 향상된 33.96을 기록했다.

SemEval2010(긴 문서)에서도 SAMRank(GPT-2)가 F1@5에서 15.88, F1@10에서 19.49를 달성하여 SOTA를 경신했다. F1@15에서는 MDERank(20.35)에 미치지 못한 19.03이었지만, MDERank가 자기 지도 대조학습으로 커스텀 훈련된 BERT를 사용한다는 점을 감안하면 사전학습 모델만으로 이 정도 성능을 낸 건 의미 있다.

SemEval2017에서 SAMRank(GPT-2)는 F1@5 24.80, F1@10 34.75, F1@15 38.78로 전 지표에서 SOTA를 기록했다. AttentionRank가 F1@10 34.37, F1@15 38.21로 선전했지만, SAMRank(GPT-2)가 이를 넘어섰다.

한 가지 흥미로운 패턴은 GPT-2가 Inspec을 제외한 모든 데이터셋에서 BERT보다 약간 더 높은 성능을 보였다는 점이다. 저자들은 이를 GPT-2의 문맥화 특성으로 설명한다. BERT는 문장 내 단어들이 의미를 공유하도록(높은 intra-sentence similarity) 인코딩하는 반면, GPT-2는 각 단어의 고유한 의미를 보존하면서 문맥을 인코딩한다. 이 특성이 키프레이즈 추출에서 유리하게 작용한 것으로 보인다.

5.3 Ablation Study

5.3.1 글로벌 vs 비례 어텐션 스코어의 기여

Table 4 (원논문): 글로벌/비례 어텐션 스코어의 개별 기여도. 볼드는 각 그룹(BERT, GPT-2) 내 최고 성능.

글로벌 어텐션 스코어만 사용해도 상당히 괜찮은 성능이 나온다. 전체 대비 평균 약 1%p 정도 하락에 그쳤다. 반면 비례 어텐션 스코어만 쓰면 성능이 더 크게 떨어지는데, 특히 GPT-2에서 그 격차가 두드러진다. GPT-2에서 비례 스코어만 사용하면 F1@5 기준 Inspec에서 약 9%p(33.92 → 25.02), SemEval2010에서 약 4.6%p, SemEval2017에서 약 5%p 하락했다.

이건 글로벌 어텐션 스코어가 SAMRank 성능의 주된 동인이라는 걸 의미한다. 열 합 연산으로 "문서 전체에서 누가 가장 주목받는가"를 파악하는 것이 가장 강력한 시그널인 것이다. 하지만 비례 스코어를 결합했을 때 항상 최고 성능이 나왔으므로, 둘 다 필수 구성요소다. 비례 스코어는 중요 토큰의 "이웃"도 함께 끌어올리는 보완적 역할을 하는 셈이다.

GPT-2에서 비례 스코어 단독 성능이 특히 낮은 건 마스크드 어텐션의 특성 때문으로 추측할 수 있다. 마스크드 어텐션에서는 각 토큰이 이전 토큰만 참조하므로, 글로벌 중요도 없이 비례 배분만으로는 문서 후반부의 중요 토큰을 충분히 포착하기 어렵기 때문이다.

5.3.2 글로벌 어텐션 스코어 재분배 방향

Table 5 (원논문): 비례 어텐션 스코어 계산을 위한 글로벌 어텐션 스코어 재분배 방향(backward vs forward) 비교.

Section 3.4에서 제안한 방식은 "backward" 접근이다. 각 토큰이 중요한 토큰에게 할당한 어텐션 가중치에 비례하여 글로벌 스코어를 받는 방식이다. 반대로 "forward" 접근은 중요한 토큰이 자신의 글로벌 스코어를 자신이 부여한 어텐션 가중치에 비례하여 다른 토큰에 분배하는 방식이다.

결과를 보면, BERT는 forward 방향이 Inspec과 SemEval2010에서 소폭 우세하고 SemEval2017에서는 backward가 낫다. GPT-2는 대체로 backward가 우세하되, SemEval2010 F1@5와 SemEval2017 F1@5에서는 forward가 앞선다. 데이터셋과 모델에 따라 최적 방향이 달라지는 거다.

다만 두 방향 간 평균 성능 차이는 크지 않다. 이 결과가 시사하는 바는, 글로벌 어텐션 스코어를 산출하고 이를 토큰 간 관련성에 기반해 재분배하는 SAMRank의 전반적 프레임워크 자체가 효과적이라는 것이다. 재분배 방향은 세부 조정의 문제지 방법론의 근본을 흔드는 요소가 아니다.

---

6. 어텐션 헤드 분석

SAMRank는 144개 헤드 중 단 하나의 SAM만 사용한다. 그렇다면 어떤 헤드가 키프레이즈 추출에 능한가? 저자들은 BERT와 GPT-2 전체 144개 헤드의 F1@15 성능을 세 데이터셋에서 평가했다.

Figure 3: 세 데이터셋에 대한 BERT 각 레이어별 헤드의 F1@15 성능. 위: Inspec, 중간: SemEval2010, 아래: SemEval2017. (원논문)

Figure 4: 세 데이터셋에 대한 GPT-2 각 레이어별 헤드의 F1@15 성능. 위: Inspec, 중간: SemEval2010, 아래: SemEval2017. (원논문)

Figure 3과 4에서 몇 가지 흥미로운 패턴이 관찰된다.

BERT: 주로 3번째와 5번째 레이어의 헤드들이 높은 성능을 보인다. 레이어 간, 그리고 같은 레이어 내 헤드 간 성능 분산이 크다. 이건 BERT 내부에서 일부 헤드가 의미적 키프레이즈 추출과 무관한 구문 분석 등 다른 작업에 특화되어 있음을 시사한다.

GPT-2: 11번째 레이어의 헤드들이 압도적으로 높은 성능을 기록한다. 특히 1번째 헤드와 11번째 헤드가 다른 모든 헤드(BERT 포함)를 크게 앞서는 성능을 보여준다. GPT-2에서는 레이어 내 성능 분산이 BERT보다 작은데, 이는 GPT-2의 헤드들이 상대적으로 균일한 특성을 가지면서도 특정 헤드(11번째 레이어)가 키프레이즈 식별에 매우 특화되어 있음을 나타낸다.

데이터셋에 따라 최고 성능 헤드가 달라지는 건 한계이기도 하지만, 특정 헤드들이 데이터셋에 관계없이 일관되게 상위권에 위치한다는 점은 "키프레이즈 전문 헤드"의 존재를 뒷받침하는 증거다.

---

7. SAMRank on LLMs

SAMRank는 셀프 어텐션 메커니즘을 사용하는 모든 트랜스포머 모델에 적용 가능하다. 저자들은 이를 검증하기 위해 Meta의 Llama 2 시리즈(7B, 13B, 70B)에도 실험을 수행했다.

Table 6 (원논문): Llama 2 (7B, 13B, 70B)에서의 SAMRank 성능.

Llama 2 모델은 대체로 BERT, GPT-2와 비슷한 수준의 성능을 보이지만, Llama 2 70B는 Inspec과 SemEval2017에서 BERT와 GPT-2를 모두 능가했다. 모든 데이터셋에서 F1@5 최고 성능을 기록한 점도 눈에 띈다.

Llama 2 모델 간에는 파라미터 수가 늘어날수록 성능이 향상되는 명확한 트렌드가 있다. 7B → 13B → 70B로 갈수록 대부분의 지표가 올라간다. 이건 "모델이 커지면 성능이 좋아진다"는 LLM 연구의 일반적 관찰과도 일치하며, 셀프 어텐션 맵의 품질도 모델 규모에 따라 개선된다는 것을 보여준다.

다만 F1@15 기준으로는 Llama 2 70B가 GPT-2에 미치지 못하는 경우도 있다. 이는 더 큰 모델이 소수의 상위 키프레이즈(F1@5)를 정확히 잡아내는 데는 뛰어나지만, 15개까지 확장하면 노이즈가 증가할 수 있음을 시사한다.

---

8. 추가 실험 및 부록

8.1 셀프 어텐션 맵 시각화 (Appendix B)

Figure 5: BERT의 5-2 헤드(5번째 레이어, 2번째 헤드)에서 추출한 셀프 어텐션 맵과 글로벌+비례 어텐션 스코어를 결합한 토큰 수준 점수의 시각화. SemEval2017 예시 문서 사용. (원논문)

Figure 6: GPT-2의 11-1 헤드(11번째 레이어, 1번째 헤드)에서 추출한 셀프 어텐션 맵과 글로벌+비례 어텐션 스코어를 결합한 토큰 수준 점수의 시각화. SemEval2017 예시 문서 사용. (원논문)

Figure 5와 6은 SAMRank의 동작 원리를 직관적으로 이해하게 해주는 시각화다. BERT의 SAM(Figure 5)을 보면 정방행렬 구조로 모든 토큰이 모든 토큰과 상호작용하며, 특정 열(특정 토큰)에 높은 값이 집중된 패턴이 보인다. 이 열에 해당하는 토큰들이 바로 높은 글로벌 어텐션 스코어를 받는 토큰이다.

GPT-2의 SAM(Figure 6)은 마스크드 셀프 어텐션의 특성상 하삼각행렬 구조를 보인다. 각 토큰이 자신 이전의 토큰만 참조하기 때문이다. 그럼에도 "algorithms", "questions", "question generation" 같은 핵심 토큰들이 높은 점수를 받는 패턴은 BERT와 유사하다. 두 모델의 어텐션 구조는 다르지만, 키프레이즈를 포착하는 능력은 공유하고 있다는 것을 시각적으로 확인할 수 있다.

8.2 매우 긴 문서에서의 성능 (Appendix C)

Table 7 (원논문): 매우 긴 문서(Krapivin 데이터셋, 평균 약 8,500 단어)에서의 SAMRank 성능.

Krapivin 데이터셋은 평균 약 8,500단어의 과학 풀페이퍼로 구성되어 있어 SAMRank의 세그먼트 분할 전략이 제대로 작동하는지 검증하기에 적합하다.

SAMRank(GPT-2)가 F1@5 17.49, F1@10 16.46, F1@15 14.92로 전 지표에서 압도적 1위를 기록했다. 2위인 MDERank(KPEBERT_ab)와의 격차가 F1@5 기준 약 4.6%p에 달한다. 특히 F1@5에서의 성능이 F1@10, F1@15에 비해 비례적으로 매우 높은데, 이는 단일 어텐션 맵 내에서 소수의 토큰에 어텐션이 강하게 집중되는 경향이 있음을 보여준다.

문서의 일부분만 입력하여 문맥이 훼손되더라도 어텐션 가중치가 여전히 키프레이즈에 강하게 집중된다는 결과는 인상적이다. 이건 셀프 어텐션 맵이 문맥의 완전성에 의존하기보다 토큰 자체의 의미적 특성을 반영할 수 있다는 것을 시사한다.

---

9. 강점과 한계

강점

• 임베딩 비등방성 문제 회피: 임베딩 유사도를 아예 사용하지 않으므로 PLM 임베딩의 비등방성 문제에서 자유롭다. Table 3에서 보듯 이 접근이 실제로 대부분의 임베딩 기반 방법을 능가한다.
• 단순하면서도 효과적인 프레임워크: 열 합(column sum)과 행 합(row sum)이라는 직관적인 행렬 연산만으로 키프레이즈를 추출한다. 추가 학습이나 파인튜닝 없이 사전학습 모델만으로 동작하므로 실용적 가치가 높다.
• 해석 가능성: Figure 2, 5, 6의 시각화처럼 어떤 토큰이 왜 높은 점수를 받았는지 어텐션 맵을 통해 직접 확인할 수 있다. 블랙박스가 아닌 셈이다.
• 모델 범용성: BERT(인코더), GPT-2(디코더), Llama 2(대규모 LLM)까지 다양한 아키텍처에서 작동함을 보였다. Table 6에서 Llama 2 70B가 F1@5 최고 성능을 기록한 건 SAMRank의 확장 가능성을 보여준다.
• GPT-2의 키프레이즈 추출 능력 최초 검증: 기존에 키프레이즈 추출은 BERT 계열에 집중되어 있었는데, 디코더 기반 모델(GPT-2)이 인코더 기반(BERT)보다 우수할 수 있음을 처음 보인 것은 의미 있다.

한계 및 아쉬운 점

• 헤드 선택의 문제: 144개 헤드 중 하나를 골라야 하는데, 최적 헤드가 데이터셋마다 다르다. 저자들도 인정하듯 "추가적인 인간 탐색"이 필요하며, 이는 비지도 방법이라는 취지와 다소 충돌한다. 실제 적용 시 어떤 헤드를 선택할지에 대한 자동 전략이 없다는 게 가장 큰 약점이다.
• 복수 헤드 결합 미탐색: 단일 SAM만 사용하는 대신 여러 고성능 헤드의 출력을 결합하면 더 안정적인 성능을 얻을 수 있을 텐데, 이 방향은 "향후 연구"로 남겨두었다. Ablation에서 글로벌/비례 스코어 결합의 효과를 보여줬으니, 헤드 결합도 충분히 가치 있는 실험일 것이다.
• 긴 문서 처리의 한계: 최대 입력 길이를 넘는 문서를 동일 크기 세그먼트로 분할하는 방식은 문맥 손실을 초래한다. Krapivin에서도 좋은 성능을 보이긴 했지만, BigBird나 Longformer처럼 긴 입력을 직접 처리하는 모델에 SAMRank를 적용하면 어떤 결과가 나올지 궁금하다.
• F1@5에 치중된 강점: F1@5에서의 개선 폭이 가장 크고, 지표가 F1@10, F1@15로 갈수록 개선 폭이 줄어드는 경향이 있다. 단일 어텐션 맵의 정보량으로는 상위 5개 키프레이즈를 잡아내기에는 충분하지만, 15개까지 확장하면 변별력이 떨어지는 것으로 보인다.
• JointGL 재현 비교의 공정성 논란: JointGL의 원래 보고 성능과 스테밍 후 중복 제거한 성능 사이에 차이가 있다. 저자들이 공정한 비교를 위해 재현했다고 하지만, 다른 베이스라인들의 평가 방식이 모두 동일한지는 완전히 보장하기 어렵다.

---

10. 마치며

SAMRank는 "임베딩이 만능은 아니다"라는 관점에서 출발하여, 트랜스포머 내부의 어텐션 맵 자체가 키프레이즈 추출에 충분한 정보를 담고 있음을 설득력 있게 보여준 논문이다. 열 합과 행 합이라는 단순한 연산만으로 기존 임베딩 기반 SOTA를 능가한다는 결과는, 우리가 PLM의 내부 표현에서 아직 충분히 활용하지 못한 정보가 많다는 것을 상기시켜 준다.

개인적으로 이 논문에서 가장 가치 있다고 느끼는 건 방법론 자체보다도 "PLM의 특정 어텐션 헤드가 키프레이즈 포착에 특화되어 있다"는 발견이다. 이건 키프레이즈 추출을 넘어서 트랜스포머 해석성(interpretability) 연구에도 기여할 수 있는 통찰이다. 각 헤드가 어떤 언어적 특성을 포착하는지에 대한 연구가 더 깊어질수록, SAMRank 같은 "어텐션 맵 직접 활용" 방법론의 가능성도 함께 넓어질 것이다.

헤드 자동 선택이나 복수 헤드 결합이라는 명확한 후속 연구 방향이 있고, LLM으로의 확장 가능성도 이미 Llama 2 실험에서 확인되었으니, 이 방향의 후속 작업이 기대된다.

---

References

• Ethayarajh, K. (2019). How Contextual are Contextualized Word Representations? Comparing the Geometry of BERT, ELMo, and GPT-2 Embeddings. EMNLP-IJCNLP 2019.
• Clark, K. et al. (2019). What Does BERT Look At? An Analysis of BERT's Attention. BlackboxNLP Workshop, ACL 2019.
• Bennani-Smires, K. et al. (2018). Simple Unsupervised Keyphrase Extraction Using Sentence Embeddings. CoNLL 2018.
• Zhang, L. et al. (2022). MDERank: A Masked Document Embedding Rank Approach for Unsupervised Keyphrase Extraction. Findings of ACL 2022.
• Liang, X. et al. (2021). Unsupervised Keyphrase Extraction by Jointly Modeling Local and Global Context. EMNLP 2021.
• Ding, H. & Luo, X. (2021). AttentionRank: Unsupervised Keyphrase Extraction Using Self and Cross Attentions. EMNLP 2021.
• Sun, Y. et al. (2020). SIFRank: A New Baseline for Unsupervised Keyphrase Extraction Based on Pre-Trained Language Model. IEEE Access.
• Touvron, H. et al. (2023). LLaMA: Open and Efficient Foundation Language Models. arXiv:2302.13971.