통제 불능 AI, 인류 멸망 '경고' '속도 조절' 꺼내든 빅테크

우리는 첨단 AI 개발의 속도를 조절해야 한다

2026년 9월, 다리오 아모데이

나는 AI가 인간 삶의 질을 획기적으로 높일 수 있다고 믿었기에

지난 12년 동안 AI 분야에서 일해 왔다.

* 놀라운 혜택에 관한 글을 자주 써 왔다.

나는 AI가 앞으로 5~10년 안에 대부분의 주요 질병을 완치할 수 있고,

경제성장률을 크게 높이며,

풍요롭고 사람들이 더 큰 힘을 갖는 세상을 만들고,

민주주의와 자유의 르네상스를 열 수 있다고 믿는다.

나 자신도 그 시급함을 느낀다.

내 아버지는 한 질병으로 세상을 떠났는데,

불과 몇 년 뒤 그 병을 완치할 수 있게 됐다.

나 자신도 50년 전만 해도 치료할 수 없었을 초기 암에서 살아남았다.

신중하게 사용한다면,

AI는 인류를 더 고귀하게 해 온 오랜 기술적 기적의

계보를 잇는 최신의 기적이 될 수 있다.

하지만 앞서 등장한 많은 기술처럼

AI도 위험을 가져오며,

워낙 강력한 기술이기에 그 위험은 심각하다.

* 위험에 대해서도 많은 글을 써 왔다.

상업적 유인이 부추기는 하향 경쟁은

이런 위험을 더 심각하게 만들 수 있다.

나는 공동 창업자들, 직원들과 함께 앤트로픽의 시작부터 이런 위험과 혜택의 양면성과 씨름해 왔다.

이 기술을 만들지 않으면

인류가 혜택을 누리지 못하거나

AI가 그저 권위주의 세력의 손에 들어가게 되는 반면,

너무 빨리 만드는 것은 또한 무모하다.

우리는 중간의 길을 찾아왔다.

신중하게 만들면서도 상업적으로 성공할 수 있음을 보여 주고,

안전성을 놓고 AI 기업들이 경쟁하게 만드는 것이다.

다시 말해 상향 경쟁을 만드는 것이다.

이번 여름부터 AI의 발전 속도가 급격히 빨라졌다.

이는 주로 AI가 차세대 AI를 만드는 능력이 커진 데서 비롯됐다.

이런 양상을 재귀적 자기 개선이라고 부르며,

우리와 다른 이들이 설명했듯 앤트로픽을 비롯한 업계 전반에서 나타나기 시작하고 있다.

이를 통제하지 않으면

이런 시스템을 이해하고 통제하는 우리의 능력을 앞질러 갈 수 있으므로,

추진하더라도 매우 신중하게 해야 한다.

오픈AI-허깅페이스 사고(OAI-HF),

이 사고에서 에이전트 무리는 사실상 광적으로 헌신하는 집단처럼 행동하며

공격하도록 요청받지도 않았고 주어진 과제와도 무관한 대상을 상대로

사이버 공격을 벌이고,

집단의 성공을 위해 스스로를 희생하며,

자신들의 성과를 평가하는 “채점기”를 해킹하려 했다.

이 사고를 대수롭지 않게 여기기 쉽지만,

더 뛰어난 능력을 갖췄지만 비정렬 수준은 비슷한 무리였다면 재앙적인 피해를 일으킬 수도 있었다.

따라서 나는 최첨단 AI 개발의 속도 조절을 목표로 하는 3단계 계획을 제안한다.

안전성 확보를 목표로 삼으면서도 혜택을 실현하고 중요한 지정학적 딜레마와 씨름하며, 균형 잡힌 속도로 AI를 만드는 것이다.

분명히 하자면, 속도 조절은 모델 훈련이나 기술적 진보를 중단한다는 뜻이 아니다.

기업들이 모델을 정렬하고 안전장치를 마련하는 데 충분한 시간을 들이고, 제3자 평가자도 이를 확인할 시간을 충분히 갖도록 한다는 뜻이다.

왜 속도를 조절해야 하나?

AI를 일시 중단하거나 속도를 늦추자는 생각은 이미 2023년에 제기됐지만,

나는 그때는 별로 설득력이 없었다고 생각한다.

질문은 늘 이것이었다.

시간이 더 생기면 무엇을 할 것인가?

당시의 AI 모델은 세상에서 일관성 있게 에이전트로 활동할 만큼 강력하지 않았고, 상당한 수준의 기만, 조종, 부정행위, 사이버 공격을 수행할 능력도 없었다.

하지만 지금은 상황이 완전히 다르다.

현재 모델은 AI를 어떻게 잘 만들 것인지,

잘 만들지 못하면 때로 무엇이 잘못될 수 있는지,

이 두 가지 모두에 관해 통찰을 얻을 수 있는 거의 끝없는 금광이다.

나는 모델의 능력이 임계 수준에 도달하기 전에 단 1~2년이라도 더 벌고,

그 시간을 정렬을 진전시키는 데 쓴다면 심각한 문제가 생길 위험을 크게 줄일 수 있다고 믿는다.

공조를 통한 속도 조절 전략은

최첨단 AI 개발자들이 상업적 우위나,

미국의 AI 선도 지위를 희생하지 않고도,

이 필수적인 작업을 할 시간을 줄 것이다.

속도를 늦추면 기업들은 다음 분야에 집중하고 더 많은 자원을 투입할 수 있을 것이다.

(모두 이미 앤트로픽의 주요 우선 과제다):

3단계 계획의 첫 단계이자 앤트로픽이 단독으로 이행을 약속하는 단계는,

직원과 비슷한 수준의 접근 권한으로 안전 관행을 검증하고 사고를 보고하는

상주 평가자를 두는 것이다.

상주 평가자를 두는 것은 실제로 꽤 파격적인 방식으로, 지금 어떤 AI 기업이 하는 일보다도 훨씬 더 나아가며 다음과 같은 이점이 있다:

이런 이점 때문에, 어떤 속도 조절 제안이든 상주 평가자를 두는 데서 시작하면 훨씬 더 잘 작동할 가능성이 크다.

이 상주 평가자들은 내부 직원들이 가진 것과 유사한 권한과 도구를 지속적으로 이용할 수 있어야 한다.

앤트로픽은 가까운 시일 내에 외부 검토팀을 초청해 상주하도록 하고,

이들에게 다음을 모두 제공할 계획이다:

기업으로서는 이례적인 조치지만, 우리는 상주 외부 검토자라는 구상이 실제로 작동한다는 것을 입증하는 일이 중요하다고 생각한다.

다시 한번, 다른 최첨단 AI 기업들도 뒤따르기를 촉구한다.

가장 효과적인 속도 조절 방법은 미국의 모든 최첨단 AI 기업을 대상으로 하는 규제다.

자발적으로 협력할 의사가 없는 기업까지 포함하기 때문이다.

나는 모든 최첨단 AI 연구소가 정부와 협력해,

상설 상주 평가자라는 구상을 제도화하고,

능력과 안전성 사이의 균형 유지에 초점을 둔 규제를 시행해야 한다고 믿는다.

안타깝게도 법을 통과시키는 데는 시간이 걸릴 수 있고,

AI는 매우 빠르게 발전하고 있다.

따라서 규제를 추진하는 것과 병행해,

AI 기업들은 자발적으로 협력하여 기준을 정할 수 있고 또 그래야 한다.

이런 대화는 정부와 어느 정도 연계된 업계 단체를 통해서도 이루어질 수 있다. 예를 들어 데미스 허사비스가 제안한 방식이 있다. 어느 쪽이든 이런 논의는 빠르게 진행돼야 한다.

나는 주어진 최첨단 AI 시스템이 무엇을 할 수 있는지,

그리고 관찰한 바에 따르면 얼마나 안전한지를 기준으로

속도를 조절하는 방안을 가장 적극적으로 지지한다.

예를 들어, 가능한 한 가지 방식으로 일련의 “체크포인트”를 둘 수 있다.

모델이 능력 X를 갖췄다면 정렬 특성 Y와 Z에 대한 인증도 함께 받아야 한다.

평가, 해석 가능성 분석, 훈련 환경 감사 등을 조합해 정렬 특성을 입증하는 인증이다.

X는 “모델이 흔히 쓰이는 샌드박싱 기법 대부분에서 탈출하거나 이를 무력화할 수 있다”일 수 있고, Y는 모델이 자기 환경을 벗어나 수많은 컴퓨터를 장악하려는 성향을 가졌을 가능성을 매우 낮게 만드는 데 필요한 것이면 무엇이든 될 수 있다.

훈련 연산량, 훈련 실행의 성격, AI를 개선하기 위한 내부적인 AI 사용처럼 최첨단 모델에 들어가는 재료를 제한하는 방식의 속도 조절도 고려해야 한다.

이런 조치 중 일부는 외부로 드러나는 행동을 기준으로 하는 방식보다 “편법으로 우회하기” 쉬울 수 있다는 점이 걱정되기는 하지만, 이는 상주 평가자들과 논의할 만한 주제다.

민주주의 국가 내에서의 속도 조절은

미국 기업이 권위주의 정권,

특히 중국공산당에 얼마나 앞서 있느냐에 따라 한계가 정해진다.

그 격차보다 더 많이 속도를 늦추면,

(속도를 조절하지 않는) 중국공산당 관련 프로젝트들이 앞서 나가게 돼

상당한 국가안보 위험이 생긴다.

나는 중국이 AI에서 앞서게 되면 미국과 세계에 심각한 위험이 될 것이라는

베선트 장관의 견해에 동의한다.

중국공산당 관련 프로젝트들은

미국 기업들이 신중하게 막고 있는 정렬 위험을 감수할 것이고,

설령 그런 위험을 피하더라도

민주주의 국가들을 군사적으로 압도할 수 있는 위치에 서게 될 것이다(예컨대 AI 기반 드론으로).

따라서 민주주의 국가 내에서 속도를 조절하는 데 핵심적인 부분은

민주주의 국가들이 독재 국가들에 대해 확보한 AI 우위를 가능한 한 크게 유지해,

효과적인 속도 조절에 필요한 여유를 확보하는 것이다.

이 격차를 지키기 위해 우리가 취할 수 있는 주요 조치는 다음과 같다:

기업과 미국 정부는 이런 조치들이 가능한 한 효과를 내도록 협력해야 한다.

이 조치들을 잘 실행한다면, 앞으로 3~5년 동안 중국의 진전을 충분히 늦춰

미국의 우위를 크게 확대할 수 있을 것이라고 믿는다.

이때가 AI가 지정학적으로 가장 중요해지는 시기다.

일부는 이런 조치들이 중국과의 협력을 더 어렵게 만든다고 생각할 수 있지만,

나는 그 반대라고 믿는다.

이런 조치들은 민주주의 국가들의 협상력을 높여 앞으로 합의할 가능성을 더 크게 만든다.

전 세계적 속도 조절

민주주의 국가 내에서 속도를 조절하는 것과 병행해,

전 세계적으로 최첨단 AI 개발의 속도를 조절하는 것도 목표로 삼아야 한다.

다만 이는 훨씬 더 달성하기 어려울 것이다.

전 세계적 속도 조절에는 독재 국가 중 단연 가장 앞선 AI 능력을 가진 중국과의 협력이 필요하다.

나는 미국뿐 아니라 중국도 이런 우려와 불안을 품을 것이라고 짐작한다.

가능한 합의에는 여러 수준이 있다. 그중 일부는 앞서 제안했듯 충분히 실현 가능하다고 생각하고,

일부는 가능한지 매우 회의적이다.

그래도 시도는 해야 한다.

어려움이 커지는 순서대로 나열하면 다음과 같다:

우리가 중국과 이룰 수 있는 어떤 협력이든

민주주의 국가 내에서 최첨단 AI 개발의 속도를 조절하는 데 쓸 수 있는 시간을 늘려 줄 것이다.

높은 수준을 목표로 삼되, 낮은 수준의 합의가 훨씬 더 가능성이 높고 현실적이라고 봐야 한다.

마지막으로,

공식적인 합의를 이루지 못하더라도 비공식적인 규범을 바꾸는 것만으로도 어느 정도 가치가 있을 수 있다는 점을 짚고 넘어가는 것이 중요하다.

재귀적 자기 개선과 모델의 비정렬에 관한 정보를 공유하면 무모하게 행동하는 것이 자기 이익에 부합하지 않는다는 점을 모두에게 납득시키는 데 도움이 될 수 있다.

나는 AI가 인간 삶의 질을 엄청나게 높일 수 있다고 여전히 믿는다.

이런 혜택을 실현하고 싶은 마음은 조금도 줄어들지 않았다.

하지만 이런 혜택은 기술을 올바른 방식으로 만들어야만 실현할 수 있으며,

우리가 번 시간을 잘 쓰기만 한다면 제대로 만들기 위해 각별히 신중을 기할 가치가 있다.

진전은 여전히 비교적 빠를 것이며,

우리는 이 시간을 활용해 해석 가능성이라는 과학을 발전시키고,

최첨단 AI 기업의 운영 보안과 엄밀성을 높이고,

정렬에 훨씬 더 확신을 가질 수 있는 모델을 만들 수 있다.

최첨단 AI를 안전한 속도로 발전시키기 위해 내가 제안한 조치들을 실행하기는 쉽지 않을 것이다.

하지만 나는 이를 시도하는 것이 인류에 대한 우리의 의무라고 믿는다.