앤트로픽 '클로드 미토스' 초반 평가 양극화

앤트로픽의 최상위 인공지능(AI) 모델인 '클로드 미토스(Claude Mythos) 프리뷰'의 초기 미토스 후기가 잇따라 공개되고 있다. 이는 기업 보도자료가 약속한 '패러다임 전환'과는 온도 차가 크다. 실제 제품을 테스트해 본 개발자와 보안 엔지니어들의 의견은 찬사와 실망으로 뚜렷하게 나뉘는 양상이다.

앤트로픽의 일반 공개가 임박했다는 소문 속에서도, 클로드 미토스는 여전히 '글래스윙' 프로젝트 파트너와 소수 초기 테스터에게만 비공개로 제공되고 있다. 그만큼 이들의 평가가 지닌 가치는 높다. 테스터들은 이 모델이 이전 제품들과 궤를 달리한다는 점을 인정하면서도, 기업의 홍보 문구를 그대로 신뢰하지는 않는 태도를 보였다.

'온디맨드 엘리트 레드팀'이라는 호평

긍정적인 평가는 주로 향상된 보안 진단 성능에 집중됐다. 출시 직후 24시간 동안 연속으로 제품을 테스트한 한 개발자는 이번 버전을 단순한 성능 개선이 아닌 패러다임의 변화라고 평가했다. 오랜 기간 검증을 거친 네트워크 스택에 취약점을 찾아내라는 간단한 프롬프트를 입력하자, 작성된 지 20년이 지난 정수 오버플로와 널 포인터 역참조 오류를 불과 몇 시간 만에 찾아내기도 했다.

특히 취약점 공격(익스플로잇) 코드 생성 능력이 눈길을 끈다. 커널 모듈 취약점을 분석하게 하자, 스스로 ROP 체인을 구성하고 KASLR과 스택 카나리를 모두 우회하는 개념증명(PoC) 코드를 완성했다. 동시성 오류 테스트에서도 레이스 컨디션 취약점을 정확히 식별한 뒤, 뮤텍스와 원자적(atomic) 연산을 활용한 수정안을 즉각 내놓았다.

미국 온라인 커뮤니티 레딧의 'r/singularity' 채널에도 유사한 분석이 이어졌다. 프리뷰 권한을 얻은 동료들이 보안 취약점을 발견하고 이를 공략하는 방법까지 직접 시연하는 모습에 크게 놀랐다는 내용이다. 보안 업계에서는 적어도 사이버 보안 영역에서만큼은 기술적 진보를 이뤄냈다는 것에 이견이 없는 모양새다.

'지극히 평범하다'… 클로드 미토스 혹평

기술적 진보 자체는 사실이지만, 이것이 제조사의 마케팅 수준에 부합하는지를 두고는 이견이 팽팽하다. 한 의료기관의 보안 전문가는 이 모델이 강력하긴 하지만 지표나 홍보물만큼 혁신적이지는 않다고 평가했다. 전체적인 분석 설계나 세부적인 프롬프트 입력 등 인간의 개입이 여전히 많이 필요하다는 설명이다.

보다 냉정한 평가도 적지 않다. 보안 엔지니어인 'PKIProtector'는 이 모델이 '오푸스(Opus) 4.7' 버전을 소폭 개선한 수준에 불과하며 무차별 대입 방식에 의존한다고 보았다. 실제로 이미 보안 패치가 완료된 과거 코드를 입력했으나 해당 취약점을 전혀 찾아내지 못했다는 설명이다. 또 다른 테스터 역시 과도한 오탐지(false positive) 탓에 협업 과정에서 도움보다 번거로움이 더 크다고 호소했다.

오픈소스 업계의 검증은 더욱 매서웠다. 네트워크 도구인 'curl'의 주도 개발자는 클로드 미토스가 보고한 5건의 취약점을 분석한 뒤, 대다수 보고서가 마케팅 수사에 불과하다는 결론을 내렸다. 실제 유효한 것은 위험도가 낮은 CVE 1건에 그쳤다. 보안 커뮤니티인 'r/cybersecurity'의 한 익명 테스터 역시 이 모델의 수준을 지극히 평범하다고 일축했다.

성패 가르는 시스템 구축과 인간의 검증

호평과 혹평이 엇갈리는 가운데서도 초기 테스터들이 공통으로 인정하는 대목이 있다. 인공지능 모델 단독으로는 보안 진단 작업을 원활히 수행할 수 없다는 점이다. 작업 범위를 제어해 주는 시스템 구축과 탐지 결과를 걸러내는 인간의 판단이 필수적으로 요구된다. 잦은 오탐지와 일관성 없는 동작 방식, 느린 속도 등은 공통적인 지적 사항으로 꼽힌다.

비용 장벽 역시 만만치 않다. 단순한 버그 1건을 찾는 데는 50달러 미만이 소요되지만, 대규모 저장소를 정밀 점검하려면 수천 번의 병렬 실행이 필요해 수만 달러의 비용이 청구될 수 있다. 실제 파트너사에 적용되는 요금은 100만 토큰당 입력 25달러, 출력 125달러 선이다. 이는 기존 오푸스 모델의 약 5배에 달한다.

일반 대중을 대상으로 한 요금제 정보는 공개되지 않았다. 지난 6월 초 유튜브와 X 등에서 입력 16~18달러, 출력 80달러 수준의 추정 요금이 거론됐으나, 이는 영상 분석 등을 토대로 한 비공식 소문에 불과하다. 유출된 문서에도 구체적인 금액 대신 구동 및 사용 비용이 매우 높을 것이라는 내용만 명시돼 있다. 결국 이번 미토스 후기들이 가리키는 결론은 하나로 모인다. 기술적 진보는 분명하지만, 마케팅 문구 수준에는 미치지 못한다는 것이다.