철기시대.

핵심: AI 정렬은 선호를 넘어 정의로운 사회 속 AI의 이상적 역할을 따져야 한다

사실: 쿠겔베리와 탄은 선호 기반 정렬을 비이상론으로 정당화한 패티슨의 주장을 반박한다

쟁점:

A: 선호 기반 정렬은 비교적 판단이라 비이상론으로 이해·정당화된다

B: 선호 표현에 규범 원칙이 작동하므로 이상적 원칙 성찰이 필요하다

물음: 인간 평가자의 선호를 모으는 것만으로 AI 행동의 옳음을 정당화할 수 있는가?

통찰: RLHF처럼 선호를 비교해 학습하는 방식도 이미 결과주의와 규범 원칙을 품고 있다. 원칙이 충돌하는 어려운 사례에서는 정의로운 사회에서 AI가 맡아야 할 역할을 성찰해야 정렬의 규범적 근거가 풍부해진다.