앤트로픽 "AI 재귀적 자기개선 임박"…국제 일시중단 장치 제안

인공지능(AI)이 사람의 개입 없이 스스로 성능이 향상된 모델을 설계하는 시점이 예상보다 가까워졌다. 앤트로픽은 6월 4일 공개한 블로그 글을 통해 이와 같이 경고했다. 회사는 자사 AI 모델의 발전 속도를 기록한 사내 데이터를 처음으로 공개하며, 기술 개발 궤적이 '재귀적 자기개선'으로 이어지고 있다고 분석했다.

앤트로픽의 핵심 제안은 더 나아간다. 인류가 첨단 AI 개발 속도를 늦추거나 일시 중단할 수 있는 통제 수단을 국제적으로 마련하자는 구상이다. 그러나 이 제안은 AI 안전성을 앞세워 온 회사를 향해, 경쟁사의 성장을 저지하려는 의도가 아니냐는 오랜 의구심도 함께 불러왔다.

앤트로픽 경고의 근거가 된 사내 지표

앤트로픽의 이번 주장은 추상적인 우려가 아닌 구체적인 사내 지표에 기반한다. 2026년 5월 기준 이 회사 코드베이스에 병합된 코드의 80% 이상을 AI 모델인 클로드가 작성했다. 2025년 초 클로드 코드가 리서치 프리뷰로 공개되기 전만 해도 이 비율은 한 자릿수에 불과했다. 앤트로픽은 이제 대부분의 새 코드를 자동 클로드 코드 리뷰어가 먼저 검토하도록 하는데, 회사는 이 자동 리뷰가 과거 운영 장애를 부른 버그의 3분의 1가량을 사전에 잡아냈을 것이라고 밝혔다.

이로 인한 생산성 향상 곡선은 가파르다. 2026년 2분기 엔지니어 1인당 일일 코드 병합량은 2024년 대비 8배로 증가했다. 모델이 수행 가능한 작업 시간도 약 4개월마다 두 배씩 늘어나는 추세다. 2024년 3월 클로드 오푸스 3이 4분짜리 작업을 수행했다면, 1년 뒤 소네트 3.7은 90분, 다시 1년 뒤 오푸스 4.6은 12시간짜리 작업을 처리했다.

특히 연구 부문의 효율성 개선이 두드러진다. AI 모델의 훈련 코드를 최적화하는 실험에서 클로드의 성능 개선 속도는 2025년 5월 약 3배에서 2026년 4월 약 52배로 급증했다. 이는 숙련된 인간 연구자가 4~8시간을 투입해 성능을 4배 개선하는 작업이다.

자기개선 AI가 가져올 세 가지 시나리오

이러한 지표들이 향하는 종착지는 재귀적 자기개선이다. AI가 인간의 개입 없이 스스로 더 우수한 후속 모델을 설계하고 학습시키는 상태를 뜻한다. 앤트로픽은 아직 이 단계에 도달한 것은 아니며 도래가 필연적이지도 않다고 밝히면서도, 대부분의 기관이 대비하기 전에 예상보다 빨리 도래할 수 있다고 경고했다.

회사는 향후 시나리오를 세 갈래로 제시했다. 첫째는 기술 발전 곡선이 S자 형태로 꺾이며 정체기에 접어드는 경로다. 둘째는 인간이 거시적 방향만 설정하고 AI가 실행을 전담하여 효율성이 복리로 축적되는 경로로, 100명 규모의 기업이 1만 명분의 성과를 내는 구조다.

가장 중대한 경로는 세 번째 시나리오다. AI가 완전한 자가 개선에 도달해 독자적으로 후속작을 만들기 시작하면, 발전 속도는 순전히 가용 연산량에 의해서만 결정된다. 이때 정렬 문제가 해결되지 않은 채 미세한 오류가 누적되면 인간이 통제력을 상실할 위험이 크며, 이는 AI 안전을 표방하는 앤트로픽이 가장 경계하는 시나리오다.

핵무기 통제보다 까다로운 AI 개발 중단 검증

이 같은 위험 때문에 앤트로픽은 국제 공동의 AI 개발 일시 중단 장치를 제안했다. 블로그를 공동 집필한 잭 클라크 정책 책임자와 마리나 파바로 내부 연구 책임자는 제도 정비와 안전 연구가 기술 속도를 따라잡을 수 있도록 최전선 연구를 늦추거나 멈출 제어권을 쥐어야 한다고 주장했다. 잭 클라크 책임자는 일부 모델이 2년 안에 재귀적 자기개선에 도달할 수 있다고 추정했다.

하지만 실효성 확보가 관건이다. 특정 기업만 단독으로 개발을 중단하면 덜 신중한 경쟁자가 우위를 차지하기 때문에, 여러 국가의 핵심 연구소가 같은 조건에서 동시에 멈추고 서로 검증할 수 있어야 한다. 앤트로픽은 냉전기 중거리핵전력(INF) 조약을 선례로 언급하면서도, AI 훈련은 미사일 기지보다 숨기기가 훨씬 쉬워 핵무기 통제보다 검증이 어렵다고 인정했다.

이 제안을 향한 회의론도 거세다. 트럼프 행정부 자문역인 데이비드 색스는 앤트로픽이 오픈소스 진영을 겨냥해 '규제 포획'을 시도하고 있다고 비판해 왔으며, 일각에서는 이번 발표를 투자자 유치용 마케팅으로 해석하기도 한다. 월스트리트저널 등은 앤트로픽이 1조 달러에 육박하는 기업가치로 상장을 준비하는 상황에서 이러한 경고가 나왔다는 점에 주목했다.