[Daily morning study] LLM 평가 지표 (BLEU, ROUGE, BERTScore, Perplexity)

10 Oct 2026 in Daily morning study / AI

#daily morning study

---

LLM을 어떻게 평가할까?

LLM이 생성한 텍스트가 “좋은지” 판단하는 건 생각보다 어렵다. 사람이 일일이 읽으면 정확하지만 비용이 너무 크다. 그래서 자동 평가 지표들이 등장했다. 각 지표는 서로 다른 측면을 측정하기 때문에 하나만 쓰기보다 상황에 맞게 조합해서 쓰는 게 일반적이다.

---

BLEU (Bilingual Evaluation Understudy)

원래 기계 번역 품질 평가를 위해 2002년에 제안된 지표다. 생성된 텍스트(hypothesis)가 참조 텍스트(reference)와 얼마나 겹치는지를 n-gram 정밀도(precision)로 측정한다.

계산 방식

n-gram precision을 여러 n에 대해 계산한 뒤 기하 평균을 낸다.

BLEU = BP × exp(Σ wₙ × log pₙ)

• pₙ : n-gram precision (생성문의 n-gram 중 참조문에 존재하는 비율)
• wₙ : 각 n의 가중치 (보통 균등하게 1/N)
• BP : Brevity Penalty — 생성 텍스트가 참조보다 너무 짧을 때 패널티를 줌

n	의미
1-gram	단어 단위 일치
2-gram	두 단어 연속 일치
3-gram	세 단어 연속 일치
4-gram	네 단어 연속 일치

BLEU-4는 1~4-gram을 모두 사용한다.

예시

Reference: "The cat sat on the mat"
Hypothesis: "The cat on the mat"

1-gram precision: 5/6 ≈ 0.83  (5개 단어 일치)
2-gram precision: 3/5 = 0.60  ("the cat", "on the", "the mat" 일치)

BLEU의 한계

• 의미가 같아도 다른 단어를 쓰면 낮게 측정됨 (“big” vs “large”)
• 어순을 고려하지 않음
• recall을 측정하지 않음 (중요한 내용을 빠뜨려도 패널티 없음)

---

ROUGE (Recall-Oriented Understudy for Gisting Evaluation)

문서 요약 평가에서 주로 쓰는 지표다. BLEU가 precision 중심인 것과 달리 ROUGE는 recall 중심이다.

ROUGE-N

n-gram recall을 측정한다.

ROUGE-N = (참조문의 n-gram 중 생성문에 나타난 수) / (참조문의 전체 n-gram 수)

ROUGE-L

최장 공통 부분 수열(LCS, Longest Common Subsequence)을 기반으로 계산한다. 연속되지 않아도 순서만 맞으면 일치로 본다.

Reference: "The cat sat on the mat"
Hypothesis: "The cat was on a mat"

LCS: "The cat on mat" (길이 4)
ROUGE-L recall = 4/6 ≈ 0.67
ROUGE-L precision = 4/7 ≈ 0.57
F1 = 2 × (0.67 × 0.57) / (0.67 + 0.57) ≈ 0.62

ROUGE 종류 요약

지표	기반	주요 사용처
ROUGE-1	단어(1-gram)	단어 수준 겹침
ROUGE-2	2-gram	구문 수준 겹침
ROUGE-L	LCS	문장 구조 반영

요약 품질 평가에서는 보통 ROUGE-1, ROUGE-2, ROUGE-L을 함께 보고한다.

---

BERTScore

2019년에 제안된 지표로, BLEU/ROUGE와 달리 의미적 유사도를 측정한다. BERT 같은 사전 학습 언어 모델의 문맥 임베딩을 활용해서 단어 간 코사인 유사도를 계산한다.

계산 방식

Precision: 각 생성 토큰에 대해 참조 토큰 중 가장 유사한 것의 코사인 유사도 평균
Recall:    각 참조 토큰에 대해 생성 토큰 중 가장 유사한 것의 코사인 유사도 평균
F1:        Precision과 Recall의 조화 평균

수식으로 표현하면:

P_BERT = (1/|ŷ|) Σ_{ŷᵢ ∈ ŷ} max_{yⱼ ∈ y} cos(ŷᵢ, yⱼ)
R_BERT = (1/|y|) Σ_{yⱼ ∈ y} max_{ŷᵢ ∈ ŷ} cos(ŷᵢ, yⱼ)
F_BERT = 2 × P_BERT × R_BERT / (P_BERT + R_BERT)

BLEU/ROUGE와의 차이

Reference: "The vehicle moved rapidly"
Hypothesis: "The car drove fast"

BLEU: 거의 0  (겹치는 n-gram 없음)
BERTScore: 높음  ("vehicle"≈"car", "moved rapidly"≈"drove fast" 의미 유사)

장단점

장점

• 동의어, 패러프레이징에 강함
• 사람의 평가와 상관관계가 BLEU보다 높음

단점

• BERT 추론 비용이 발생
• 점수 해석이 직관적이지 않음 (0~1 범위지만 실제로는 0.8 이상에 몰림)
• 사용 모델에 따라 결과가 달라짐

---

Perplexity (PPL)

언어 모델 자체의 불확실성을 측정하는 지표다. 모델이 주어진 텍스트를 얼마나 “예측하기 어려워하는지”를 나타낸다.

수식

PPL(W) = exp( -(1/N) Σ log P(wᵢ | w₁, ..., wᵢ₋₁) )

• N : 토큰 수
• log P : 각 토큰의 로그 확률

직관적으로 PPL은 평균적으로 다음 토큰을 몇 개 중에서 고르는 것과 같은 불확실성을 나타낸다.

PPL	해석
낮음	모델이 텍스트를 잘 예측함 (훈련 도메인과 유사)
높음	모델이 텍스트를 예측하기 어려워함 (낯선 도메인)

사용 예시

from transformers import GPT2LMHeadModel, GPT2Tokenizer
import torch

model = GPT2LMHeadModel.from_pretrained("gpt2")
tokenizer = GPT2Tokenizer.from_pretrained("gpt2")

text = "The quick brown fox jumps over the lazy dog"
inputs = tokenizer(text, return_tensors="pt")

with torch.no_grad():
    outputs = model(**inputs, labels=inputs["input_ids"])
    loss = outputs.loss
    ppl = torch.exp(loss)

print(f"Perplexity: {ppl.item():.2f}")

한계

• 생성 품질이 아닌 언어 모델의 확률 추정 능력을 측정
• 낮은 PPL이 항상 좋은 생성 품질을 의미하지는 않음 (반복된 텍스트도 PPL이 낮을 수 있음)
• 모델 비교 시 같은 토크나이저를 써야 의미 있음

---

최신 LLM 평가 방법

자동 지표의 한계로 인해 최근에는 다양한 평가 방식이 함께 쓰인다.

LLM-as-Judge

GPT-4 같은 강력한 LLM을 심사위원으로 활용해서 생성 결과를 점수화한다.

프롬프트: "다음 답변을 정확성, 유창성, 유용성 기준으로 1~10점으로 평가해:"
         "[생성된 텍스트]"

MT-Bench, AlpacaEval 등의 벤치마크가 이 방식을 사용한다.

Benchmark Suite

특정 태스크에서의 성능을 측정하는 벤치마크 모음:

벤치마크	측정 항목
MMLU	57개 분야 지식 (다지선다)
HellaSwag	상식 추론
HumanEval	코드 생성
TruthfulQA	사실 정확성
GSM8K	수학 문제 해결

지표 선택 가이드

번역 품질 평가       → BLEU
문서 요약 평가       → ROUGE-1, ROUGE-2, ROUGE-L
의미 보존 평가       → BERTScore
언어 모델 자체 평가  → Perplexity
오픈엔디드 생성 평가 → LLM-as-Judge, 인간 평가

---

정리

지표	측정 대상	기반	주요 사용처
BLEU	n-gram 정밀도	표면 형태	기계 번역
ROUGE	n-gram/LCS 재현율	표면 형태	요약
BERTScore	의미적 유사도	언어 모델 임베딩	번역, 생성
Perplexity	다음 토큰 예측 불확실성	언어 모델 확률	언어 모델 비교

각 지표는 트레이드오프가 있기 때문에 실제 평가에서는 여러 지표를 함께 쓰고, 가능하면 인간 평가도 병행하는 게 좋다.