원문: Irretrievability; or, Murphy’s Curse of Oneshotness upon ASI 작성자: Eliezer Yudkowsky · 2026-05-04 · 👍 234

본 글은 LessWrong 인기 게시글을 AI로 자동 번역한 것입니다. 번역 오류는 GitHub 이슈로 알려주세요.

예시 1: 바이킹 1호 착륙선

1970년대에 NASA는 화성에 한 쌍의 탐사선, 바이킹 1호와 바이킹 2호 임무를 보냈다. 총 비용은 10억 달러(1970년 기준)로, 약 70억 달러(2025년 기준)에 해당한다. 바이킹 1호 탐사선은 배터리가 심각하게 열화되기 시작하기 전까지 화성 표면에서 6년간 작동했다.

이런 배터리 문제는 임무를 돌이킬 수 없이 끝장내는 것처럼 보일 수 있다. 탐사선은 이미 발사되어 화성에 있었고, 매우 멀어서 어떤 인간 기술자의 손길도 닿을 수 없었다. 그렇다면 1975년 8월 우주 발사 후 한참 뒤에 어떤 종류의 기술적 문제가 발견된다면, 아무것도 할 수 없는 것이 필연적이지 않을까?

그러나 바이킹 1호 탐사선의 선견지명 있는 엔지니어들은 정확한 세부사항까지는 아니더라도 일반적으로는 예견했던, 바로 이런 종류의 사태를 위한 계획을 고안해 두었다. 그들은 바이킹 1호 탐사선이 지구에서 송신되는 무선 수신기를 통해 소프트웨어 업데이트를 받을 수 있도록 만들어 두었다.

1982년 11월 11일, 지구는 바이킹 1호 착륙선의 소프트웨어에 업데이트를 보냈는데, 이는 배터리가 매번 충전 후 일정 시간 동안 작동하는 것이 아니라 최소 전압 수준까지만 방전되도록 보장하기 위함이었다.

배터리 소프트웨어 업데이트는 실수로 안테나 지향 소프트웨어를 덮어써 버렸다.

착륙선의 안테나가 더 이상 궤도선을 향하지 않게 되었기에, 그 시점 이후로는 어떤 소프트웨어 업데이트도 수신될 수 없었다.

오류는 오류로부터 복구하기 위한 의도된 메커니즘 자체를 파괴했다.

바이킹 1호 착륙선과의 모든 접촉이 영구적으로 상실되었다. 지상 엔지니어들은 안테나가 어디를 향하게 되었을지 외삽하는 것을 바탕으로 접촉을 회복하기 위한 몇 가지 전략을 시도했지만, 어떤 것도 성공하지 못했다.

여기서 나는 일반적인 발상의 구체적 사례를 본다: 우주 탐사선에 대한 머피의 접근 불가능성의 저주는 깊은 문제다. 나중에 패치를 받아들이기를 희망하며 영리하게 설계된 시스템은 비교적 얕은 해결책이다.

비행기에 날개를 단다고 해서 비행기가 무중력이 되거나 중력 법칙이 폐지되는 것은 아니다. 비행기의 무게는 본질적인 속성이며, 날개가 작동을 멈추면 비행기는 계속해서 하늘에서 떨어지기 쉬운 상태에 놓인다. 비행기에 대한 당신의 모델은 지속되는 무게와 지속되는 양력을 포함해야 한다; 비행기-무게의 저주가 날개에 의해 쫓겨날 것이라고 주장해서는 안 된다.

엔지니어들이 우주 탐사선 발사의 근본적인 일회성 특성을 완화하려고 시도한 전략—나중에 실수를 바로잡기 위한 엔지니어들의 의도된 메커니즘—은 실제로 바이킹 1호 착륙선을 당신이 걸어가서 고칠 수 있는 지구상의 자동차로 변환시키지 못했다. 보정 기계 자체를 강타하는 어떤 종류의 문제든 당신을 다시 근본적인 접근 불가능성 시나리오로 던져 넣을 것이다. 그러면 당신은 망가진 보정 메커니즘을 그냥 걸어가서 고칠 수 없게 된다. (그리고 물론, 가능한 오류의 큰 부류는 소프트웨어 업데이트로는 전혀 해결할 수 없다.) 근본적 현실은 탐사선이 멀리 그리고 높이 떨어져 있다는 것이었다.

만약 머피의 법칙이 그들의 프로젝트에 작용할 수 있게 하는 고조된 감수성 조건을 약간의 노력으로 그렇게 쉽게 물리칠 수 있었다면, 로켓 과학은 머피의 법칙으로 그렇게 유명하게 저주받지 않았을 것이다. 항공우주 공학에 대한 머피의 많은 저주는 싸울 수 있다; 그러나 정복할 수도, 쫓아낼 수도 없다.

좋은 항공우주 엔지니어들은 그것을 안다. 그래서 그들은 때때로 성공하기 위해 필요한 극도의 편집증과 준비 수준을 투입한다.

엔지니어나 관리자가 “우리 우주 탐사선은 발사 후에 전혀 접근 불가능하지 않을 것입니다; 우리는 소프트웨어 업데이트를 업로드하기 위한 안테나를 내장했어요! 발사 후 우주 탐사선을 ‘걸어가서 고칠 수 없다’고 말하는 그 어리석은 사람들의 말을 듣지 마세요; 그들은 소프트웨어 업데이트라는 훌륭한 아이디어를 떠올린 우리 자신의 경험이 부족합니다!“라고 떠벌리고 다니는 부류라면, 우주 탐사선 임무 중 얼마나 작은 비율이 성공할지 상상만 할 수 있을 뿐이다.

그런 명랑한 순진한 사람이 우주 탐사선 착륙에 성공한 적이 있을까? 그들에게 10%만큼 높은 실세계 성공 확률을 부여하는 것조차 미친 짓처럼 보인다. 항공우주 엔지니어들은 성공 확률을 0보다 유의미하게 높게 끌어올리려면 그것보다 훨씬 더 열심히 일해야 하고, 훨씬 더 편집증적이고 신중해야 한다.

예시 2: 마스 옵저버

마스 옵저버 임무는 1984년 10월에 승인되었고 1992년 9월에 발사되었으며, 비용은 8억 1300만 달러(2025년 기준 20억 달러)였다. 우주를 330일간 비행한 후, 화성 궤도 진입 3일 전에 탐사선과의 통신이 두절되었다.

최선의 사후 분석 추측: 발사의 초기 스트레스 후, 그리고 진공 속에서의 11개월 비행 후, PTFE 체크 밸브가 누출되어 연료와 산화제 증기가 무중력에서 공급 라인 내에 축적되었고; 이것이 (궤도 진입 전 코스 보정을 위해) 엔진이 재시동될 때 폭발을 일으켰다.

그런 일은 무언가를 처음 시도할 때 일어난다. 우주 탐사선이 머피의 법칙에 극도로 취약한 것으로 유명한 이유 중 하나는, 각 새로운 탐사선이 새로운 임무를 위해 맞춤 제작되기 때문이다. 각 임무는 새로운 무언가가 잘못될 기회다.

이제 어떤 관리자나 우주 애호가가—물론 실제 재앙이 일어나기 전에—이렇게 말한다고 상상해 보라: “마스 옵저버 임무는 새로운 게 아닙니다! 우리는 지구의 진공 챔버에서 탐사선을 시험할 수 있어요! 우리는 이전 우주 탐사선들로부터 경험을 가지고 있습니다! 우리는 물리 법칙을 관찰하기 위한 과학의 모든 강력한 체계를 가지고 있습니다; 그리고 우리는 그 법칙들을 사용해서 마스 옵저버 탐사선이 화성으로 가는 동안의 시스템 행동을 외삽할 수 있어요!”

이것이 우주 탐사선 임무 일반에 대한, 또는 마스 옵저버에 특별히 적용되는 머피의 신규성의 저주를 폐지하지 못하는 객체 수준의 이유들을 열거하면:

- 인류가 실제로 이전 우주 탐사선들로부터 무언가를 배웠다 하더라도, 이전 탐사선들이 마스 옵저버와 정확히 같지는 않았다. 임무의 궁극적 신규성은 패배되지도, 폐지되지도, 회피되지도 않았다.

마스 옵저버는 더 적은 경험으로 시도되었더라면 훨씬 더 일찍 실패했을 수도 있다. 모든 이전 학습이 효과가 없었다는 것은 아니다. 그러나 인류는 그 이전의 동일하지 않은 우주 탐사선들로부터 새롭고 다른 마스 옵저버를 화성에 도달시키기에 충분할 만큼, 올바르게 그리고 충분한 신뢰성으로 일반화하여 배우지 못했다.

- 누군가가 탐사선을 원심분리기에서 회전시켜 고중력 우주 발사를 시뮬레이션하고 진공 챔버에서 모든 시스템을 테스트했다 하더라도, 그것이 진공 속에서 연료 증기가 누출되고 그 후 11개월에 걸쳐 무중력에서 축적되는 정확한 조건을 충실히 재현했을 리는 없다. 지구상에서의 검증 조건은 배포 조건과 정확히 같지 않았을 것이다.

이것이 수학적으로 유효한 통계를 사용하여 우주 탐사선에 대한 견고한 보장을 얻을 수 없는 이유다. 훈련 분포는 배포 분포와 같지 않으며, 그것은 모든 수학적 보장을 창밖으로 던져버린다. 항공우주 엔지니어들은 미친 광인이 아니므로 이를 알고 있고, 그들 중 누구도 어떤 종류의 수학적 보장이 적용될 수 있다고 시사조차 한 적이 없다.

실제 삶에는 그런 경우가 많다. 우주 탐사선보다 훨씬 더 평범하게도, 영리한 통계적 보장을 사용해서 보통의 인간 대화가 잘 진행되도록 강제할 방법은 없다. 어떤 두 대화도 같지 않으며, 그들은 시간 불변 분포에서 표집되지 않기 때문이다.

- 인류의 화학과 물리학에 대한 파악—진정으로 방대한 관찰 본체에 걸쳐 수학적으로 단순한 법칙들을 일반화하여 구축되었으며—그 다음에 마스 옵저버의 분자 및 기체와 문자 그대로 동일한 분자 및 기체에 적용되었으며—예를 들어 큰 컴퓨터 프로그램이나 생화학과 비교할 때 비교할 수 없을 만큼 단순하고, 반복적으로 관찰된 단도직입적으로 기계적인 과정으로 조립되었음에도—임무 결과를 예측하고 통제하기에 실제로 충분하지 않았다.

그 모든 물리학을 안다고 해서 그 정도로 작은 복잡성을 가진 시스템조차의 근본적인 놀라움이 부정되지는 않았다. 그것은 동일한 티타늄 합금에 대한 이전 작업의 단순한 반복으로 변환되지 않았다.

다시 말하지만, 이는 인류의 과학 및 물리학 지식이 마스 옵저버 임무에 영(0)의 도움밖에 기여하지 않았다는 뜻은 아니다. 만약 인류의 기초 과학에 대한 이해가 시약의 철학적 의의에 대해 일장 연설을 늘어놓는 중세 연금술사들에 더 가까웠고, 모든 주도적 연금술사가 형이상학적 원리들이 위대한 도덕적 의의를 가진 단계들을 포함하는 우주 임무에 대해 자신만의 빛나는 계획을 지어냈다면, 그 우주 임무는 훨씬 더 일찍 그리고 훨씬 더 심하게 실패했을 것이다—반사실을 상상하기조차 어렵다.

기저의 기계적 과정에 대한 인류의 이해는 마스 옵저버 임무가 성공에 가까이 다가간 방법이었다—중세 연금술이 결코 불멸의 영약에, 또는 납을 금으로 변환하는 훨씬 더 단순한 목표에 가까이 가지 못한 것과는 다른 방식으로.

요약하자면: (1) 이전 우주 탐사선들로부터 배우는 것, (2) 우주의 조건과 유사하다고 시도된 통제된 조건 하에서 시험하는 것, (3) 모든 관련된 근본적 물리 법칙을 정확히 아는 것[^6x8sj60zx2h], (4) 충분히 지배하는 비교적 단순한 상위 수준 현상에 대한 뛰어난 정량적 파악을 갖는 것, 그리고 (5) 10억 달러 프로젝트에서 무엇이 잘못될 수 있는지에 대해 NASA 표준 수준의 집중적 사고, 게이밍, 시뮬레이션을 수행하는 것 모두로도, 우주 탐사선에 대한 머피의 신규성의 저주를 폐지하지는 못했다. 결국 그것은 여전히 최초의 마스 옵저버 임무였다.

NASA의 이해 노력은 그 신규성의 저주에 도전할 수 있었다—연금술사가 한두 가지 경험적 규칙을 파악하는 데 성공했더라도 어떤 연금술사의 철학화도 그것에 도전할 수 없었던 방식으로. 그 정확한 임무를 위해 수년간 신중하게 계획하면서 마스 옵저버 임무를 조립한 NASA 사람들은 어떤 연금술사나 AGI 회사 임원의 전문성을 훨씬 능가하는 수준의 전문성, 공학적 신중함, 배경 과학 지식, 구체적 준비 시간, 일반적 진지함을 가지고 있었다.

…그것이 실제로 우주 탐사선에 대한 모든 머피의 저주를 폐지하지는 않았다. 마스 옵저버가 실제로 작동하는 데에는 충분하지 않았다.

NASA의 진정으로 매우 진지한 사람들은 마스 옵저버가 거의 작동할 만큼 충분히 잘 싸웠다. 체르노빌 원자로의 RBMK 설계조차 거의 작동했다; 하나가 폭발하기 전 수년간의 운영 동안 작동했다! 소비에트 관리자들이 사회적으로 허용되는 비관주의의 최대 수준에 천장을 씌우는 몇 가지 재앙 자세를 취했음에도 불구하고, 소비에트 핵 엔지니어들은 중세 연금술사나 현대 AGI 회사보다 훨씬 더 많이 알았고 자신의 일을 훨씬 더 진지하게 받아들였다. 체르노빌 원자로가 폭발하지 않을 것으로 예상되는 이유에 대한 실제 이론이 있었고, 여러 사람이 읽을 수 있도록 적혀 있었으며, 제1원리에서 시작한 이해에 기반했다! 그들은 24/7 통제실에 손으로 쓴 매뉴얼을 가지고 있었고, 그 매뉴얼들은 그저 보기 좋게 만들어진 것이 아니었다!

다만 머피의 저주를 받은 프로젝트가 거의 작동하는 것이 아니라 실제 삶에서 정말로 작동하게 만드는 것이 훨씬 더 어렵다는 것뿐이다.

(다시 분명히 하자면, 전문성이 어떤 프로젝트든 마법처럼 거의-작동하게 만들 수는 없다. 1970년대 NASA의 진정으로 진지한 사람들에게 노화방지 및 무한정한 생물학적 건강수명을 부여하는 전염성 바이러스를 만드는 목표를 줄 수 없으며, 그 결과의 바이러스가 거의-작동하게 할 수 없다. “불멸 바이러스 만들기"의 난이도는 1970년의 진지한 사람들이 거의-할-수 있는 수준을 넘어서 있었을 것이다. 진지함의 일부는 프로젝트의 저주받은 정도에 대한 어떤 감각을 가지는 것이며, 큰 판돈에서 시도하는 일에 대해 광인이 되지 않는 것이다.)

예시 3: 마지노선

1939년 9월, 독일은 폴란드를 침공했다; 이것이 보통 제2차 세계대전 시작일로 주어지는 날짜이지만, 그 전에 다른 전조와 징조들이 있었다.

1940년 5월, 독일이 프랑스를 공격했다.

프랑스는 자신들이 준비되어 있다고 생각했다.

프랑스는 위기의 순간 11년 전인 1929년부터 선견지명 있게 마지노선을 이미 건설해 두었다: 프랑스 국경의 대부분을 따라 있는 엄청나게 비싼 방어 요새 네트워크. 그 요새들은 만약 1차 세계대전 이전에 건설되었더라면 1차 세계대전에서 시시하게 방어적 승리를 거두었을 것이다. 마지노 요새들은 보급선이 끊기기 어렵게 하기 위해 지하 철도로 보급되었다. 그들은 식량과 탄약의 일반적인 비축물을 가지고 있었다. 요새들에는 심지어 에어컨도 있었다—1940년 군사 요새에는 놀랍고 비싼 사치품이었지만, 1차 세계대전에서 군인들이 그것을 가졌으면 좋겠다고 바랐던 바로 그런 종류의 것이었다.

프랑스는 1차 세계대전의 경험과 이전 전투들에서 어려운 교훈을 배웠고, 그것을 미래에 일반화했다!

너무 비쌌기 때문에, 마지노선은 문자 그대로 모든 프랑스 국경을 덮지는 않았다. 그것은 독일과의 국경뿐 아니라 독일이 프랑스에 도달하기 위해 먼저 침공할 수 있는 다른 국가들과의 국경도 덮었다; 프랑스 군대는 철저하려고 노력했다. 그러나 여전히 신중하게 추론된 빈틈들이 있었다. 예를 들어, 프랑스는 울창한 숲이 우거진 아르덴이 통과하기 쉽지 않을 것이라고 판단했다; 프랑스는 아르덴을 통한 어떤 독일 침공도 빽빽한 숲 지형으로 인해 둔화되고, 프랑스 항공기의 공격으로 더 둔화될 것이라고 판단했다. 프랑스는 독일이 아르덴을 통과하는 데 적어도 3일, 더 가능성 있게는 일주일이 걸릴 것이라고 판단했다; 그것은 프랑스 군 지휘부의 계산에 따르면, 독일이 그 가망 없는 전술을 시도하는 가능성이 낮은 경우에 프랑스가 그 국경을 따라 자신의 군대를 위치시키기 위해 서두를 충분한 시간을 줄 것이었다.

마지노선은 갑작스러운 승리로 이어지는 갑작스러운 공격을 막기 위한 것이었다; 프랑스가 응답으로 자신의 군대를 끌어올리기 전에 독일이 이기는 것을 방지하기 위함이었다.

독일은 아르덴을 통해 침공했다. 나치는 지형을 빠르게 가로지르기 위해 신중한 작업과 조직화에 공을 들였다. 그들은 그 작업이 완료되는 동안 자신들의 군대가 폭격당하지 않도록 충분한 루프트바페 차단막을 세웠다.

프랑스가 함락되었다.

그 후 프랑스는 “이런” 하고 말하고, 마지노선 건설을 시작했던 1929년의 세이브포인트에서 복원했다. 그들의 두 번째 시도에서, 프랑스는 방어선을 확장하여 아르덴을 덮었다…

농담이다! 실제 삶에서는 프랑스가 함락되었고, 끝이었다; 나치는 그 나라를 점령하고 제2차 세계대전의 주요 부분 동안 유지했다.

진지한 전쟁에서—왕들의 스포츠로서의 전쟁이 아니라 자국의 생존을 위한 전쟁에서—당신은 단 한 번의 시도만 가진다.

“도박꾼의 파산"은 모든 것을 거는 베팅 전략에 일어나는 일에 대한 수학 용어다; 당신의 자금이 영에 도달할 수 있고, 그러면 다시 베팅할 것이 아무것도 남지 않는다. “머피의 파멸의 저주"는, 비유적으로 말하자면, 충분히 심하게 실패하면 다시 시도할 수 없는 종류의 프로젝트에 내려진다.

물론 실제 삶의 많은 부분이 그렇다. 대부분의 스타트업에는 재시도가 없다. 평범한 고위험 인간 대화에는 재시도가 없다. 우리는 첫 번째 토스터 설계에 결함이 있을 때 다른 토스터를 만드는 사치를 가진 엔지니어, 또는 코드 한 줄을 다시 작성하고 프로그램을 다시 실행하는 프로그래머의 사치와 대조함으로써만, 파멸의 저주를 우리의 정신적 비전에 윤곽 잡을 수 있다.

엔지니어들은 한 번의 시도만 가진다면 훨씬 적은 일을 할 수 있을 것이다. 인간 프로그래머들도 한 번만 컴파일할 수 있다면 훨씬 훨씬 적게 했을 것이다.

실제로 몇 번의 시도를 가지는지가, 삶이나 공학에서 어떤 프로젝트가 실제로 얼마나 다루기 쉬운지에 거대한 차이를 만든다.

한 번의 시도만 가지는 것은 더 어렵다, 삶이든 전쟁이든.

일회성에 대한 다른 소위 반박들

이제 1929년, 제2차 세계대전 10년 전, 마지노 요새 건설이 시작되던 무렵이라고 상상해 보라. 프랑스 정부의 높은 회의실에서 누군가가 대화 중에—단순한 자명한 진리로 의도하면서—전쟁에서는 단 한 번의 기회만 있기 때문에 이 “마지노선” 사안을 제대로 할 단 한 번의 기회만 있다고 말한다고 상상해 보라.

상상해 보라—약간 무리가 될 것이다. 1929년 프랑스에서도 고위 군부는 대부분 어느 정도 진지한 사람들로 구성되어 있기 때문이다—이 비관적인 부정론자를 격추시키며 고매하게 선언하는 고위 프랑스 군 관리들을 상상해 보라:

“독일과의 전쟁을 올바르게 수행하는 데 우리가 ‘단 한 번의 시도’만 가진다는 게 무슨 말입니까? ‘일회성’이라는 이 모든 헛소리는 무엇입니까? 프랑스 군인들이 독일 군인들과 충돌하는 많은 경우가 있을 것이고, 한 명의 프랑스 군인이 쓰러지자마자 우리 나라가 패배하는 것은 아닙니다. 우리는 독일 군인들을 죽일 많은 시도를 가집니다! 우리는 모든 독일 군인이 직접 파리로 순간이동한 후 한 번의 일회성 전투에서 전쟁이 결정될 것이라는 당신의 이론을 거부합니다. 우리는 1차 세계대전에서 싸운 경험과 경찰관과 범죄자 사이의 수많은 작은 싸움의 경험을 가지고 있습니다; 다음 전쟁이 시작될 때, 그것은 전혀 전례 없거나 새롭지 않을 것입니다. 그리고 우리는 독일이 침공하면서 더 많이 배울 것이고, 그것은 한 대대가 국경을 넘고, 그 다음 또 다른 대대가 넘는 순간적이지 않은 연속적 과정일 것입니다. 우리가 진다면 정복당하고 다시 시도할 수 없을 것이라고 말합니까? 어쩌면 러시아가 독일을 침공하게 해서 우리의 적들을 서로 상쇄시킬 수 있을지도 모릅니다; 그 경우 프랑스는 정복되지 않을 것이고, 우리는 다음 전쟁을 반복해서 싸울 많은 시도를 가지게 될 것입니다. 어쩌면 우리는 독일 영아를 납치해서 질문에 대답하는 습관으로 키워서, 그가 독일이 나중에 어떻게 행동할지 예측할 만큼 충분히 나이가 들었지만 아직 거짓말을 생각하기에는 너무 어린 어떤 시점에 그에게 독일을 어떻게 패배시킬지 말하게 할 수도 있습니다; 향상된 독일의 능력이 우리가 독일을 패배시키는 데 도움이 될 수 있다면, 어떤 군사력 균형의 갑작스러운 변화도 있을 수 없습니다. 우리는 정말 많은 것을 시도할 수 있습니다! 우리는 당신이 그래야 한다고 주장하는 것처럼, 영(0)의 경험에 기반하여 첫 시도에 어떤 이상적인 수학적 전쟁 이론을 정확히 맞춰서 독일을 패배시킬 필요가 없습니다; 전쟁의 문제는 결코 단일 시도가 아닙니다!”

물론 당신이 주로 할 말은, 여기 화자가 동기화된 무지를 보이고 있다는 것이다. 그들은 예컨대 체르노빌, 또는 독일이 어쩌면 아르덴을 통과할 수 있다고 시사하는 일부 워게임 결과를 무시했던 실제 1930년대 프랑스에서의 동기화된 낙관주의 수준을 훨씬 넘어서는 재앙 자세를 가정하고 있을 것이다.

그런 대화 라인을 들은 후에는, 화자들을 몇 가지 끔찍한 결함을 가진 진지한 사람들로 더 이상 간주하지 말아야 한다. 이는 내가 “재앙 원숭이” 같은 표현을 사용하기 시작하는 지점을 넘어선다.

그럼에도 불구하고 위의 모든 오류를 해부해 보자면:

우리가 독일과의 전쟁을 올바르게 수행하는 데 단 한 번의 시도만 가진다는 게 무슨 말입니까? 프랑스 군인들이 독일 군인들과 충돌하는 많은 경우가 있을 것이고, 한 명의 프랑스 군인이 쓰러지자마자 우리 나라가 패배하는 것은 아닙니다. 우리는 독일 군인들을 죽일 많은 시도를 가집니다!

- 더 큰 전쟁은, 충분히 작은 규모로 줌인하면 더 큰 전쟁이 전적으로 의존하지 않는 갈등의 일부 국지적 사례들을 찾을 수 있더라도, 일회성일 수 있다.

-- “신발 회사 스타트업을 성공적으로 자금조달하고 출범시켜 상업적 성공으로 이끄는” 문제는 일회성이지만 “좋은 운동화 만들기"는 그렇지 않다. 당신은 좋은 운동화를 설계하거나 조립하는 다수의 시도를 가진다. 당신은 스타트업에 대해서는 단 한 번의 시도만 가진다.[^6j2cj5t69he]

- 형식적으로는 시간에 걸쳐 확장된 큰 전략적 문제를 보고, 그것이 국지적으로 치명적이지 않은 오류로 이루어진 일부 부분들로 구성되어 있다는 것에 주목하고, 따라서 더 큰 것이 일회성이 아니라고 결론짓는 것은 “구성의 오류"다.

-- 스타트업의 일회성은 시간에 걸쳐 확장된 전체 큰 프로젝트의 속성이지, 도중의 모든 단일 상호작용이 전역적으로 치명적이라는 속성이 아니다. 그래서 실패가 전역적으로 치명적이지 않은 한 국지적 상호작용을 가리키는 것이, 더 큰 전역적 문제에 대한 일회성의 저주를 쫓아내지는 못한다.

- 마스 옵저버 탐사선이 잃어버린 시점 이전에 회복 가능했고 성공적으로 회복된 일부 오류들이 분명히 있었다. 더 큰 프로젝트는, 그것에 자신의 경력의 일부를 거는 관리자나 과학자의 관점에서는 여전히 일회성이었다. (그것은 더 큰 인류의 관점에서는 명백히 일회성이 아니었다; 실패가 당신의 부모를 죽이지 않았으므로, 당신은 여전히 그것에 대해 듣기 위해 여기 있다.)

우리는 모든 독일 군인이 직접 파리로 순간이동한 후 한 번의 일회성 전투에서 전쟁이 결정될 것이라는 당신의 이론을 거부합니다.

- 훨씬 더 일회성인 전쟁의 버전을 상상할 수 있다는 것이, 실제 전쟁이 여전히 꽤 일회성인 방식을 바꾸지는 못한다. 특히 여기 화자는 머피의 신속성의 저주에 더 종속된, 프랑스가 훨씬 적은 학습과 반응의 기회를 얻을, 더 머피의 저주를 받은 전쟁의 버전을 상상하고 있다. 그러나 사건들이 무한히 빠르게 일어나지 않았다는 것은 프랑스를 구하지 못했다. 독일이 여전히 충분히 빠르게 아르덴을 통과했기 때문이다. 그리고 그 사건은 충분히 치명적이었기에, 프랑스가 그것에서 무엇을 배웠든, 그들 전쟁의 나머지를 구하기에는 너무 늦게 왔다.

우리는 1차 세계대전에서 싸운 경험과 경찰관과 범죄자 사이의 수많은 작은 싸움의 경험을 가지고 있습니다.

- 이 문제들은 제2차 세계대전과 동일한 분포에서 추출되지 않았다. 프랑스 장군들이 자신들이 경험으로부터 배웠다고 자부했던 것이 사실 문제의 일부였다. 왜냐하면 그들은 확신에 찬 잘못된 신념들을 획득했기 때문이다.

그리고 우리는 독일이 침공하면서 더 많이 배울 것이고, 그것은 한 대대가 국경을 넘고, 그 다음 또 다른 대대가 넘는 순간적이지 않은 연속적 과정일 것입니다.

- 마스 옵저버 탐사선은 화성으로 순간이동하지 않았지만, 여전히 잃어버려졌다. 물리적으로 연속적일 때조차 일이 잘못될 수 있다.

- 대대들이 물리적으로 연속적인 과정에서 차례로 국경을 넘는다는 것이, 프랑스가 첫 번째 대대가 아르덴에서 나타나는 것을 관찰하고, 제2차 세계대전의 진짜 법칙들을 배우고, 그 다음 다음 대대가 아르덴에서 나타나기 전에 마지노선을 올바르게 재건할 충분한 시간을 축복받는다는 것을 의미하지 않는다.

우리가 진다면 정복당하고 다시 시도할 수 없을 것이라고 말합니까? 어쩌면 러시아가 독일을 침공하게 해서 우리의 적들을 서로 상쇄시킬 수 있을지도 모릅니다; 그 경우 프랑스는 정복되지 않을 것이고, 우리는 다음 전쟁을 반복해서 싸울 많은 시도를 가지게 될 것입니다.

- 충분히 큰 재앙이 충분히 치명적일 때마다, 프로젝트는 그 머피적 감수성의 합에 기여하는 근본적인 파멸의 저주를 가진다고 말할 수 있다. 파멸당하지 않을 영리한 계획을 가지고 있다고 생각하는 것은 이 무게에 맞서 들어 올리려고 시도하는 것을 제안하는 것이지, 그것을 상쇄하는 것이 아니다; 항공기에 날개를 다는 것이 중력 법칙을 폐지하지는 않는다.

어쩌면 우리는 독일 영아를 납치해서 질문에 대답하는 습관으로 키워서, 그가 독일이 나중에 어떻게 행동할지 예측할 만큼 충분히 나이가 들었지만 아직 거짓말을 생각하기에는 너무 어린 어떤 시점에 그에게 독일을 어떻게 패배시킬지 말하게 할 수도 있습니다

- 이 제안의 프랙탈 같은 어려움은 자체 글이 필요할 것이다.

향상된 독일의 능력이 우리가 독일을 패배시키는 데 도움이 될 수 있다면, 어떤 군사력 균형의 갑작스러운 변화도 있을 수 없습니다.

- 이런 영리한 계획을 가지는 것이 어떤 머피적 저주도 부정하지 않으며, 더 큰 전쟁의 일회성을 바꾸지도 않는다.

우리는 정말 많은 것을 시도할 수 있습니다!

- 프랑스가 아는 한, 그들은 마지노선 건설, 1차 세계대전의 가치 있는 교훈을 중심으로 군대를 개혁, 가능한 독일 침공에 대처할 사전 계획 수립 등을 포함한 여러 가지를 시도했다. 프랑스가 아는 한, 그 모든 것들이 훌륭하게 작동할 예정이었다. 그러나 그러고 나서 그것들은 작동하지 않았고, 그러고 나서 전쟁이 끝났다.

- 프랑스가 시도한 모든 많은 것들은 머피의 일회성의 저주에 관해 집합적으로 단 한 번의 시도를 형성했다. 그들은 그 후 또 다른 시도를 얻지 못했다.

우리는 당신이 그래야 한다고 주장하는 것처럼, 영의 경험에 기반하여 첫 시도에 어떤 이상적인 수학적 전쟁 이론을 정확히 맞춰서 독일을 패배시킬 필요가 없습니다.

- 누군가가 당신에게 당신의 프로젝트에 대한 머피의 저주들을 경고하려 할 때 말해지고 있는 것에 대한 노골적인 허수아비 공격[^ol3jggc3zzg]; 재앙 원숭이들의 재잘거림.

일회성의 개념을 오해하기 위해 쏟아진 비범한 노력에 관하여

이 글 전체로 내가 정확히 무엇을 의미하는지 못 박지 않고서는, 과거에 나는 MIRI 외부의 대부분의 소위 “AI 안전” 사람들 주위에서 “일회성"이나 “단 한 번의 시도만 가진다” 같은 표현을 사용할 수 없음을 발견했다.

분명히 하자면, 의회 의원이나 의회 직원, 국가 안보 전문가는 종종 즉시 말해지고 있는 것을 이해할 것이다, 그들이 이전에 오해와 허수아비 입장에 의해 오염되지 않았다면. 말해지고 있는 것을 들을 수 없는 것은 주로 AI 회사, Yoshua Bengio보다 인용 수가 적은 일부 AI 전문가, OpenPhil이 자금을 지원하는 그룹 등이다.

그러나 “단 한 번의 시도(one shot)“라는 표현은, 일부 사람들이 그것을 잘못 듣기 위해 할 수 있고, 할 것이고, 해온 노력의 양에 비해, 거의 확률 1로 오해될 수 있다; 그리고 더 중요하게는 이후 토론에서 잘못 표현될 수 있다.

그래서 미리 독이 든 바보가 주변에 있는 대화에서는, 어쩌면 그것을 “일회성” 대신 “회복 불가능성 문제(Irretrievability Problem)“로 소개해 보아야 할지도 모른다. 그러면 바보가 바로 다음 문장에서 그것을 오해하기 더 어려울 것이다. 왜냐하면 그들이 단어를 강제로 허수아비에 다시 매핑하기가 더 어려울 것이기 때문이다, 어쩌면? 나는 그 새로운 방향을 아직 시험해 보지 않았다.

반대 진영은 그 서두른 오해의 노력을 강요받는다. 왜냐하면 “ASI에 대해 우리는 단 한 번의 시도만 가진다"는 개념의 실제 영향이 그들의 입장에 너무나 파괴적이기 때문이다, 어떤 주목할 만한 공학적 어려움이라도 있을 수 있는 이유에 대한 약간의 이해만 있어도. 아무도 잘 이해하지 못하는 일회성 멸종 문제는, 정확히 예측하기 어려운 일을 시도한 엔지니어들의—훨씬 적게 이해된 일을 시도한 사전-엔지니어들은 말할 것도 없고—실제 인간 역사에 대한 약간의 친숙함이 있는 곳에서는 끔찍하다.[^w8imq7a4dec] ASI 정렬에 대한 근본적 장애물 서너 개[^3hsu1rc4rrs]와 그 분야에 대한 머피적 저주 서너 개[^y8epllldnq]를 파악하면, ASI 정렬은 당연히 세계 역사에서 첫 시도에 올바르게 행해진 적이 없는 종류의 일이라는 것을 깨닫는다—

“아하,” 누군가가 이제 즉시 나를 가로막는다, “하지만 우리는 첫 시도에 그것을 올바르게 할 필요가 없습니다! 우리는 더 작은 AI를 만들고 그것들이 어떻게—하는지 관찰할 수 있어요”

프랑스의 거시적 규모의 제2차 세계대전 참전 시도가 독일과 싸운 그들의 두 번째 ‘시도’이고 WW2 기술로 싸우는 첫 시도였다는 의미에서의 첫 ‘시도’다; 그 전쟁의 어떤 특정 전투가 시도라는 의미가 아니다.

ASI 정렬은, 이전에 항상 관찰되어 온 과학의 완전히 정상적이고 일반적인 과정에서 역사적으로 말하자면, 처음에는 잘 이해되지 않은 일을 어떻게 할지에 대한 온갖 엉뚱한 아이디어들이 있고, 처음 12개의 아이디어는 부하 하에 실패하는 것으로 판명되는 종류의 사안이다—

“네, 그래서 그 아이디어들을 더 작은 AI에서 시험하는 것이 중요할 것입니다!”

여기 ‘부하 하에 실패한다’는 마지노선이 독일이 실제로 침공했을 때 실패했고, 그 전에는 마지노선이 어떤 침공도 특별히 인정하지 않은 채로 경쟁이 실제로 진행되었던 방식을 가리키려 한다. ‘부하 하에 실패한다’는 마스 옵저버 임무가 실제로 발사되었을 때 실패한 방식이다, 그 전에 어떤 지상 수준 시험을 통과했든, NASA의 시뮬레이션이나 신중한 사고에 대한 이전 시도가 발사 전에 무엇을 발견하고 이미 고쳤든 상관없이. 가벼운 부하에서 작동하는 것처럼 보이는 많은 것들이 더 무거운 부하에서는 실패할 것이다.

“하지만 우리는 당신이 가능하다고 말하고 우리가 해야 한다고 말하는 것처럼 순수 이론에 기반하여 모든 것을 정확히 할 필요는 없습니다—”

여기서 처음부터 만들어지지도 않은 별도의 논증에 대한 순전한 동기화된 잘못된 표현; 이에 대한 좌절한 푸념에 노출되고 싶다면 각주 3을 보라.

“-- 왜냐하면, 당신이 가능하다고 상상하는 것과 반대로, 이전 AI들의 경험이 우리의 초지능 모델을 알려줄 수 있기 때문에—”

ASI 정렬의 여러 근본적 어려움 중 하나는, 당신을 죽일 만큼 똑똑한 AI에서 살아남는 방법에 대한 당신의 이론—당신을 죽일 수 있는 양의 기계 능력이 주변에 있을 때, 그것이 당신에게 등을 돌린다면, 무언가가 잘못된다면, 어떻게 살아남을지에 대한 당신의 이론—이, 만약 실패하면 지구상의 모든 사람을 죽이지 않는 실험들로부터만 성공적으로 일반화되어야 한다는 것이다. 이는 당신이 덜 강력하고 덜 유능한 AI에 대해 실험하고 있다는 것을 의미한다; 그 AI는, 올바르게 추론한다면, 자신이 당신을 죽일 수 있다고 추정하지 않을 것이다—생존 가능한 실험의 안전 모드와 잠재적으로 치명적인 시험 환경 사이의 많은 다른 조건 변화, 분포 변화 중에서.

이 거대한 역사적으로 전례 없는 문제에는 많은 일상-세계의 유효한 유사물이 있다. 마치 누군가가 10달러를 어떻게 다루는지 보고서 그가 10억 달러를 신뢰할 수 있는지 결정할 수 없는 것과 같다. 사실상 같은 사람이고 그들이 훨씬 더 똑똑해지지 않더라도, 그들이 돈을 훔치기에 좋은 시기인지 지능적으로 생각할 수 있기 때문이다. 또는 어떤 그리스 도시국가의 철학자들이, 도시가 어린 시절 어떤 소년이 어떻게 행동하는지 지켜보고 그가 (자신이 지켜봐지고 있다는 것을 알면서) 덕망 있게 행동하는지 봄으로써 신뢰할 수 있는 독재자를 임명할 수 있다고 주장하는 것과 같다. 조건이 변한다, 왜냐하면 소년의 뇌는 소년이 자랐을 때의 그것이 아니기 때문이다; 또한 임명된 도시-독재자의 조건은—실제로 신뢰받고 있는—소년이었던 조건과 같지 않다 (그가 지켜봐지고 있고 잘못 행동할 때 현재 더 큰 존재들에