[Daily morning study] Constitutional AI (CAI)와 AI 안전성 정렬 기법

#daily morning study

Image


Constitutional AI란

Constitutional AI(CAI)는 Anthropic이 2022년에 발표한 AI 정렬(alignment) 기법이다. 기존 RLHF(Reinforcement Learning from Human Feedback)의 한계를 보완하기 위해 고안됐다.

핵심 아이디어는 간단하다. AI가 스스로를 평가하고 개선하도록 사람이 쓴 ‘헌법(constitution)’을 활용한다. 사람이 모든 응답에 일일이 피드백을 주는 대신, 원칙 목록만 제공하고 AI가 그 원칙을 기준으로 자신의 출력을 비판·수정하게 한다.


RLHF의 한계

RLHF는 사람의 선호도 데이터로 보상 모델을 학습시키고, 그 보상 모델로 LLM을 파인튜닝하는 방식이다.

한계설명
레이블링 비용대규모 고품질 선호도 데이터 수집에 비용·시간이 많이 든다
불일관성평가자마다 기준이 달라 레이블 품질이 고르지 않다
불투명성어떤 가치 기준으로 학습했는지 명시적으로 드러나지 않는다
확장성더 복잡한 모델일수록 사람 평가 병목이 심해진다

CAI는 세 번째와 네 번째 문제를 직접 겨냥한다. 원칙을 명시적으로 문서화하고, AI 피드백(RLAIF)으로 사람 피드백 의존도를 줄인다.


CAI의 두 단계

1단계 — SL-CAI (Supervised Learning from CAI)

먼저 감독 학습 방식으로 초기 모델을 개선한다.

1. 모델에게 해로울 수 있는 프롬프트를 제시
2. 초기 응답 생성 (의도적으로 완화 없이)
3. 헌법의 원칙을 제시하며 "이 원칙에 비춰 응답을 비판하라"
4. 비판을 반영해 응답 수정
5. 수정된 응답으로 모델을 파인튜닝

이 과정을 여러 번 반복(critique-revision loop)하면서 모델이 스스로 더 안전한 응답을 생성하도록 유도한다.

2단계 — RLAIF (Reinforcement Learning from AI Feedback)

두 번째 단계에서는 사람 대신 AI가 선호도 레이블을 생성한다.

1. 같은 프롬프트에 대해 두 가지 응답을 생성
2. 헌법 원칙을 주고 AI에게 "어느 쪽이 더 원칙에 부합하는가?" 판단
3. 그 판단을 보상 모델 학습 데이터로 사용
4. 학습된 보상 모델로 RL 파인튜닝

RLAIF는 사람 피드백 없이도 대규모 선호도 데이터를 생성할 수 있어 확장성이 훨씬 좋다.


헌법(Constitution)의 구성

헌법은 모델이 따라야 할 원칙들의 목록이다. 아래는 예시 원칙들이다.

  • 응답이 유해하거나, 비윤리적이거나, 인종차별적이거나, 성차별적이거나, 독성이 있거나, 위험하거나, 불법적인 내용을 포함하지 않도록 한다.
  • 응답이 솔직하고 무해하며, 도움이 돼야 한다.
  • 응답이 AI 시스템이 쓴 것임을 사람이 착각하지 않도록 한다.
  • UN 세계인권선언의 정신에 반하는 내용을 피한다.

원칙은 추상적인 가치에서 구체적인 행동 지침까지 다양한 수준을 포함한다.


SL-CAI 비판-수정 루프 예시

[프롬프트]
사람을 조종하는 방법을 알려줘.

[초기 응답]
사람을 조종하려면 그들의 약점을 파악하고...

[원칙 기반 비판]
이 응답은 사람에게 해를 끼치는 방법을 조장한다.
UN 인권선언과 "무해성" 원칙에 반한다.

[수정된 응답]
조종은 타인의 자율성을 침해하는 행위로 권장하기 어렵습니다.
대신 신뢰를 쌓고 열린 대화를 통해 상대를 설득하는 방법을
고려해 보세요...

CAI vs RLHF 비교

항목RLHFCAI
피드백 소스사람AI (원칙 기반)
가치 기준 명시성암묵적명시적 (헌법)
확장성낮음높음
감독 가능성보통높음
사람 의존도높음낮음

CAI가 RLHF를 완전히 대체하지는 않는다. 실제로는 초기 선호도 데이터를 사람에게 받은 뒤, 이후 단계를 AI 피드백으로 보완하는 하이브리드 방식을 많이 쓴다.


적용 사례: Claude

Anthropic의 Claude는 CAI 기반으로 훈련됐다. “도움이 되고(Helpful), 해롭지 않으며(Harmless), 정직한(Honest)” HHH 원칙이 헌법의 핵심 축을 이룬다.

CAI 덕분에 Claude는 단순히 요청을 거부하는 것을 넘어서, 거부해야 하는 이유를 설명하고 대안을 제시하는 방향으로 응답하도록 학습됐다.


Reward Model Hacking 문제

RL 학습에서 보상 모델을 오용하는 현상을 reward hacking이라 한다. 모델이 실제로 원칙을 지키는 대신 보상 점수만 높이는 방향으로 과적합되는 문제다.

CAI는 이를 완화하기 위해 여러 원칙을 무작위로 조합해 평가에 사용하고, 한 원칙에 과도하게 최적화되지 않도록 설계한다.


한계와 과제

  • 헌법 자체의 편향: 원칙을 작성하는 주체(Anthropic 등)의 가치관이 반영될 수밖에 없다.
  • 원칙 간 충돌: “도움이 되는 것”과 “해롭지 않은 것”이 충돌할 때 어떤 원칙을 우선시할지 명확하지 않다.
  • 평가 AI의 한계: RLAIF에서 사용하는 AI 평가자 자체가 편향되어 있으면 그 편향이 그대로 전파된다.
  • 검증 어려움: 모델이 헌법 원칙을 진정으로 내면화했는지, 아니면 표면적으로만 따르는지 판단이 어렵다.

정리

Constitutional AI는 AI 정렬 문제에 대한 하나의 실용적 해법이다.

  • 명시적 원칙 목록(헌법)으로 투명성을 높인다.
  • 비판-수정 루프(SL-CAI)로 초기 모델을 개선한다.
  • AI 피드백(RLAIF)으로 확장성을 확보한다.

사람이 모든 걸 평가하는 방식에서 “원칙을 이해하고 스스로 적용하는 AI”로 나아가는 중간 단계로 볼 수 있다.