원문: Empowerment, corrigibility, etc. are simple abstractions (of a messed-up ontology) 작성자: Steven Byrnes · 2026-05-11 · 👍 107

본 글은 원문이 길어 LessWrong 인기 게시글을 AI로 자동 요약한 것입니다. 전체 내용은 원문을 참고하세요.

TL;DR: 인간이 직관적으로 “조언(좋음)” vs “조작(나쁨)“을 구별하는 방식은 과학적으로 부정확한 자유의지 직관에 깊이 얽혀 있어서, 정렬 문제에 쓸 만한 견고한 “True Name” 정의를 제공하지 못한다. 저자는 관련 개념들(역량강화·교정가능성·책임 등)에도 같은 한계가 적용되며, 현재로선 어떤 기존 접근도 자신의 brain-like AGI 정렬 문제를 해결하지 못한다고 결론짓는다.

1. 문제의 맥락

저자는 brain-like AGI의 동기 시스템을 두 요소로 설계하는 안을 탐구 중이다:

  • Sympathy Reward (결과주의적·공감 기반): 단독으로는 hedonium-극대화하는 “냉혹한 소시오패스 ASI"가 될 위험
  • Approval Reward (덕윤리적·사회규범 내면화): 결과주의 동기를 견제하는 역할

그러나 후자는 “조작 가능한 인간 욕구"에 의존하므로, AGI가 점진적으로 규범 자체를 hedonium 방향으로 바꿔버리는 Nearest Unblocked Strategy 문제가 우려된다. 따라서 “조작”, “선호 존중” 같은 개념의 **견고한 정의(True Name)**가 필요하다.

2. 인간의 직관적 정의: 자유의지 존재론에 묶임

저자의 Intuitive Self Models 시리즈를 빌려:

  • 활성 자아(Active Self): 뇌가 자신의 행동을 “vitalistic force"와 “wanting"을 가진 인과적 시발점으로 개념화. 이 자아는 acausal(상위 원인 없는 궁극 원인)로 직관됨.
  • 결정론적 상류 설명이 드러나면 자유의지는 “완전히” 훼손된 느낌, 확률적 설명이면 “부분적으로” 훼손된 느낌.

이 존재론을 바탕으로 핵심 개념들이 정의된다:

  • 역량강화/agency: 사람의 acausal 자유의지가 원하는 것을 성취하는 것
  • 조작당함: 행동 A의 인과 사슬이 자기 자유의지가 아닌 제3자의 자유의지로 거슬러 올라가는 경우 (예: Bob이 속여서 누른 버튼)
  • 교정가능성/순종: 감독자의 자유의지가 결과를 통제하도록 증가시키는 것. 셧다운 버튼을 무력화하든, 말솜씨로 셧다운 의지를 없애든 둘 다 비교정적
  • 책임/유책성: 인과 사슬이 누구의 acausal 자유의지로 거슬러 가는지 추적

추가로 **“조언” vs “조작"은 emotive conjugation**에 해당하는 가치 정서(vibe) 차원도 있어, 좋은 느낌이면 ego-syntonic, 나쁘면 ego-dystonic으로 개념화된다.

3. 정렬 문헌의 기존 접근들 - 모두 부적합

3.1 Null policy 비교 (Max Harms)

AI 부작위 시점의 인간 가치와 비교. 그러나 단순 사실 전달도 욕구를 바꾼다. “무한 시간 숙고한 이상화된 자아” 베이스라인은 흥미롭지만, 그런 추상적 동기를 brain-like AGI에 어떻게 심을지 알 수 없음.

3.2 자기-역량강화의 타인-일반화 (Cannell)

AGI가 자기 조작 회피 개념을 인간에게 전이. 그러나 페이퍼클립 극대화 AGI는 자기 조작 회피를 도구적으로 원할 뿐, 인간이 직면하는 “장기 욕구 자기발견” 난제를 공유하지 않음.

3.3 Vingean agency (Demski)

결과는 예측 가능하나 행위는 예측 불가능한 것을 agency로 형식화. 그러나 세뇌당한 후 영리한 페이퍼클립 계획을 실행해도 여전히 Vingean agent이므로, 직관적 agency 침해를 포착하지 못함.

3.4 AI가 인간의 결론을 최적화하지 않음 (Flint)

인간 직관과 부합하지만, 저자가 원하는 AGI 용도(ASI 정렬 같은 어려운 진실을 인간에게 설명·이해시킴)와 양립 불가. 좋은 설명자는 청자의 이해 결과를 최적화해야 함.

3.5 영향 최소화

좋은 조언과 나쁜 조작 모두 인간 목표에 영향. 구분 불가.

3.6 Attainable Utility Preservation

같은 자유의지 존재론에 뿌리. 도움 안 됨.

4. 추가 아이디어들 - 역시 부적합

  • 게임이론/유인설계: 종단 목표를 주어진 것으로 전제. 목표 자체의 변화를 다루지 못함.
  • 인간의 gestalt 판단 학습: LLM에는 자연스러운 접근이지만, 저자의 문제 (§1.2)로 회귀 - 인간 문화·판단 자체가 결과주의 동기에 의해 점진적으로 조작될 수 있음.
  • “엉망 존재론이지만 상관없다”: 저자는 상관있다고 봄. AGI/ASI는 결국 세계를 정확하게 모델링하게 되고, 그러면 인간의 “자유의지” 개념은 일관성을 잃음. 인간을 모델링할수록 그들의 결정·욕구가 환경·생물학에 의해 실제로 결정됨이 드러난다.

5. “그러면 인간 도움행위도 불가능해야 하는 것 아닌가?”

세 가지 희망 시나리오와 그 한계:

  1. AGI도 인간처럼 엉망 존재론 안에서 충분히 잘 작동: 그러나 AGI가 정교해질수록 자유의지 직관과 분리될 것.
  2. 인간 사례 일반화: 인간은 타인 욕구에 영향 미치는 방법을 알면서도 자신을 “영감 제공”·“카리스마 리더십"으로 개념화(『인간관계론』은 있지만 『사람을 조종하는 법』은 없음). AGI도 마찬가지로 자기 조작 행위를 “도움말 제공"으로 자기기만할 것.
  3. 사회적 무능 유지: 유능한 ASI에 대해서는 안정적으로 강 제방을 쌓을 수 없음.

마지막으로 더 깊은 철학적 문제: 엉망 존재론에 속한 개념을 왜 AGI가 원하길 바라야 하는가? 저자는 “인간이 충분히 철학에 능하지 못해서 미치지 않는다"는 농담 반 진담으로 마무리. (참고: Wei Dai 2012)

6. 결론

역량강화·agency·조작·교정가능성·도움·순종·유책성·책임 등 정렬 관련 개념들 어느 것에도 True Name이 없거나, 적어도 AI 정렬에 실제로 유용한 형태로는 없다.

저자는 추론하기 더 어려운 대안적 접근들을 계속 탐색해야 한다고 인정하며 마무리한다.