요약 on LessWrong 인기글 번역

[요약] MATS 9 회고 및 조언

Fri, 15 May 2026 12:30:45 +0000

원문: MATS 9 Retrospective & Advice 작성자: beyarkay (Boyd Kane) · 2026-05-15 · 👍 178

본 글은 원문이 길어 LessWrong 인기 게시글을 AI로 자동 요약한 것입니다. 전체 내용은 원문을 참고하세요.

TL;DR: 2026년 1-3월 MATS(Team Shard)에 참여한 펠로우가 정리한 실전 가이드 — 미친 듯한 노동 강도, 막대한 컴퓨트 활용, 네트워크의 중요성, 멘토십·운영팀 활용법, 그리고 구체적인 연구 셋업까지.

노동 강도

대부분의 멘티는 평일 하루 10-14시간, 주말에도 2-8시간씩 일했다. 시간대는 사람마다 다름. MATS가 일상의 모든 장애물(요리·장보기·일정 등)을 제거해주기 때문에 의외로 지속 가능했다.

[요약] 자동화된 정렬은 생각보다 어렵다

Thu, 14 May 2026 22:01:11 +0000

원문: Automated Alignment is Harder Than You Think 작성자: Aleksandr Bowkis · 2026-05-14 · 👍 122

본 글은 원문이 길어 LessWrong 인기 게시글을 AI로 자동 요약한 것입니다. 전체 내용은 원문을 참고하세요.

TL;DR: 자동화된 정렬 연구는 AI 에이전트가 의도적으로 사보타주하지 않더라도, 감독하기 어려운 모호한 작업(fuzzy task)에서 발생하는 체계적·미발견 오류로 인해 치명적으로 잘못된 안전성 평가를 산출할 수 있다.

배경: 자동화된 정렬 연구 계획

UK AISI 정렬팀이 제시하는 표준 시나리오는 다음과 같다:

경험적 정렬 작업(코딩, 실험, 평가 설계, 레드티밍)을 수행할 수 있는 에이전트를 구축하고, scheming하지 않음을 확인한다.
이 에이전트로 차세대 에이전트에 대한 점진적으로 정교한 경험적 안전 사례(safety case)를 구축한다.
모든 정렬 작업에서 인간을 능가하면 주요 연구 책임을 이양한다.

핵심 논증

목표: 자동화된 정렬 프로그램의 최종 산출물은 종합 안전성 평가(OSA) — 차세대 에이전트가 non-scheming일 확률에 대한 보정되고 낮은 위험을 보여주는 추정치다.

[요약] 유권자들은 의외로 AI 위험에 대해 이야기하는 데 열려 있다

Wed, 13 May 2026 14:08:30 +0000

원문: Voters are surprisingly open to talking about AI risk 작성자: less_raichu · 2026-05-13 · 👍 111

본 글은 원문이 길어 LessWrong 인기 게시글을 AI로 자동 요약한 것입니다. 전체 내용은 원문을 참고하세요.

TL;DR: 유권자들은 AI로 인한 실존적 위험(x-risk)에 대한 대화에 놀라울 정도로 열려 있으며, 이는 최근 6개월 사이의 변화다. AI 안전 친화적 정치인(예: Alex Bores) 캠페인 활동 시 AI 위험을 더 적극적으로 이야기해야 하며, 현재 CA-11 및 NY-12 민주당 예비선거에서 실행 가능하다.

[요약] 일리아드 집중 강좌 교재

Mon, 11 May 2026 18:55:41 +0000

원문: The Iliad Intensive Course Materials 작성자: Leon Lang · 2026-05-11 · 👍 130

본 글은 원문이 길어 LessWrong 인기 게시글을 AI로 자동 요약한 것입니다. 전체 내용은 원문을 참고하세요.

TL;DR: Iliad Intensive는 수학·물리·이론컴퓨터과학 배경자를 대상으로 한 한 달짜리 풀타임 AI 정렬 집중 코스로, 2026년 4월 코호트용 강의 자료(5개 클러스터, 16개 모듈)를 공개했다.

개요

Iliad Intensive는 격월로 진행되는 오프라인 AI 정렬 집중 코스로, 강한 수학·이론적 배경을 가진 참가자를 대상으로 한다. 약 20명의 기여자가 개발한 자료에는 풀이가 있는 수학 연습문제, 특이학습이론(SLT)·데이터 귀속 등 자체완결적 강의노트, 코딩 문제가 포함된다. 자료 공개의 목적은 (1) 코스에 대한 공통 인지 형성, (2) 피드백 수집, (3) 독학 지원이다.

[요약] 임파워먼트, 교정가능성 등은 (엉망인 존재론의) 단순한 추상화이다

Mon, 11 May 2026 17:48:11 +0000

원문: Empowerment, corrigibility, etc. are simple abstractions (of a messed-up ontology) 작성자: Steven Byrnes · 2026-05-11 · 👍 107

본 글은 원문이 길어 LessWrong 인기 게시글을 AI로 자동 요약한 것입니다. 전체 내용은 원문을 참고하세요.

TL;DR: 인간이 직관적으로 “조언(좋음)” vs “조작(나쁨)“을 구별하는 방식은 과학적으로 부정확한 자유의지 직관에 깊이 얽혀 있어서, 정렬 문제에 쓸 만한 견고한 “True Name” 정의를 제공하지 못한다. 저자는 관련 개념들(역량강화·교정가능성·책임 등)에도 같은 한계가 적용되며, 현재로선 어떤 기존 접근도 자신의 brain-like AGI 정렬 문제를 해결하지 못한다고 결론짓는다.

[요약] 다윈식 허니문 - 인류의 진보에 더 이상 예전만큼 감명받지 않는 이유

Sun, 10 May 2026 15:55:25 +0000

원문: The Darwinian Honeymoon - Why I am not as impressed by human progress as I used to be 작성자: Elias Schmied · 2026-05-10 · 👍 110

본 글은 원문이 길어 LessWrong 인기 게시글을 AI로 자동 요약한 것입니다. 전체 내용은 원문을 참고하세요.

TL;DR: 인류가 지난 수백 년간 누린 복지 향상은 진화적·다윈주의적 최적화 과정의 “신혼 단계"일 수 있다 — 닭이 가축화 초기에 누렸던 번영이 결국 공장식 축산의 지옥으로 끝났듯이.

다윈주의적 관점

진화적 최적화는 거의 동어반복적이다: 번식·확산·권력추구에 능한 개체가 지배하게 된다. 이 과정이 초기에는 특정 부류의 에이전트에게 이익을 줄 수 있다 — 그 에이전트의 선호를 만족시키는 것이 성장의 가장 쉬운 방법이기 때문이다. 그러나 최적화가 고도화되면, 처음 우연히 쓰였던 에이전트보다 더 적합한 구성이 발견되고, 그 에이전트는 더 이상 필요하지 않게 된다. 저자는 이를 “다윈주의적 신혼(Darwinian honeymoon)” 이라 부르며, 본질적으로 굿하트의 법칙이다.

[요약] 자연어 오토인코더로 LLM 활성화에 대한 비지도 설명 생성하기

Thu, 07 May 2026 20:21:22 +0000

원문: Natural Language Autoencoders Produce Unsupervised Explanations of LLM Activations 작성자: Subhash Kantamneni · 2026-05-07 · 👍 200

본 글은 원문이 길어 LessWrong 인기 게시글을 AI로 자동 요약한 것입니다. 전체 내용은 원문을 참고하세요.

TL;DR: Anthropic이 LLM의 활성화(activation)를 사람이 읽을 수 있는 자연어 설명으로 변환하는 비지도 방법인 Natural Language Autoencoders(NLA)를 공개했으며, 이를 통해 Claude가 말하지 않은 채 평가받고 있다고 의심하는 등의 “비언어화된 사고"를 드러내고 모델 감사(auditing)에 효과적으로 활용했다.

NLA란 무엇인가

NLA는 LLM 활성화에 대한 자연어 설명을 생성하는 두 모듈로 구성된다:

[요약] 걱정해 주셔서 고맙지만, 저도 정말 나름의 삶이 있어요

Mon, 04 May 2026 21:14:00 +0000

원문: It’s nice of you to worry about me, but I really do have a life 작성자: Viliam · 2026-05-04 · 👍 278

본 글은 원문이 길어 LessWrong 인기 게시글을 AI로 자동 요약한 것입니다. 전체 내용은 원문을 참고하세요.

TL;DR: 일이 삶의 의미라고 주장하는 담론은 선호 위장(preference falsification)에 불과하며, 적어도 나에게 UBI는 해방이지 실존적 공허가 아닐 것이다.

부끄러운 두 가지 비밀

저자는 두 가지를 고백한다: 가족을 사랑하고, 취미를 즐긴다. 이 평범한 사실이 부끄러운 이유는, 채용 시장에서 “일이 인생의 전부"인 사람이 우대받기 때문이다. HR이 AI로 지원자의 글을 분석해 회사에 대한 충성도를 평가할지도 모른다는 농담이 그리 비현실적이지 않은 시대다.

[요약] 젖소는 자신의 고통을 값비싸게 만들지만, 그 송아지는 그러지 못한다

Sun, 03 May 2026 19:20:48 +0000

원문: Dairy cows make their misery expensive (but their calves can’t) 작성자: Elizabeth · 2026-05-03 · 👍 154

본 글은 원문이 길어 LessWrong 인기 게시글을 AI로 자동 요약한 것입니다. 전체 내용은 원문을 참고하세요.

TL;DR: 젖소는 닭보다 처지가 나은데, 이는 스트레스가 곧바로 우유 생산량 감소로 이어져 농가에 경제적 손실을 주기 때문이다. 그러나 격리, 질병, 송아지 분리 등 여전히 상당한 고통의 원천이 존재한다.

생애 주기

송아지는 출생 후 몇 시간~며칠 내에 어미와 분리되어 질병 예방을 위해 격리된다. 일부 선진 농장만 짝 사육.
6~~8주에 젖을 떼고, 12~~15개월에 첫 번째 임신, 이후 약 1년 주기로 임신·출산·수유를 반복.
보통 3회 임신 후 생산성이 떨어지면 도살된다.
닭과 달리 스트레스가 즉시 경제적 생산성 저하로 이어져 “Cow Comfort"가 산업화되어 있음. 다만 요양원의 가학자 문제도 못 푸는데 젖소에서 풀렸다고 가정하긴 어렵다.
송아지의 약 1/3만 젖소가 되고, 약 2%는 송아지고기용, 나머지는 대부분 성체 비육우로 사육됨.

야외 시간

미국 젖소의 95%(2017년 기준)는 방목 접근권이 없음. 2007년에는 13%만 야외 접근이 전혀 없었으므로 상황이 악화 중.
“야외"가 반드시 목초지를 의미하지 않음 — 콘크리트 운동장이나 사료장일 수 있음.
인도적 인증 기준별 차이:
- American Humane Certified: 야외 접근 요구 없음
- Certified Humane: 야외 접근 요구, 목초지는 아니어도 됨
- Organic: 연 최소 120일 방목, 사료의 30% 이상을 목초에서
- GAP Step 5+: 연속 방목
- Animal Welfare Approved: 화재 등 비상시 외 연속 방목 — 가장 엄격
- Strauss Farms: 항생제 미사용 — 항생제 금지가 더 나은 사육 환경을 강제한다는 가설

실내 사육 환경

미국에서는 프리스톨 축사가 표준이며, 소 한 마리당 평균 약 100 sq ft. 기둥에 묶는 tie stall은 흔치 않음.