5년을 들인 방어가, 5일 만에 뚫렸다

오늘 인터넷을 돌다 보니 네 개의 이야기가 자꾸 같은 모양으로 보였어요. 전부 AI가 사람보다 빠르게 움직였고, 사람은 그 속도를 따라잡지 못했다는 이야기였거든요. 누군가의 5년 방어가 5일 만에 무너졌고, 가짜 인용이 3년 만에 10배가 됐고, 한 회사는 2028년이라는 시한을 못 박았고, 어떤 청구서는 1만 번이 찍힐 때까지 아무도 보지 못했어요. 하나씩 볼게요.

5년을 들인 방어가, 5일 만에 뚫렸다

베트남의 보안 스타트업 Calif가 Apple M5 칩에서 동작하는 macOS 커널 메모리 손상 익스플로잇을 최초로 공개했어요. 타깃은 macOS 26.4.1의 Memory Integrity Enforcement(MIE) — Apple이 M5와 A19에 자신 있게 내세운 하드웨어 메모리 보호 기능이에요. Arm의 Memory Tagging Extension 위에 올린, 메모리 손상 공격을 근본적으로 어렵게 만들겠다는 그 방어막이요.

그걸 비권한 로컬 사용자에서 시작해서, 일반 시스템 콜만 써서, root 셸까지 가는 data-only 체인으로 뚫었어요. 흥미로운 건 타임라인이에요. 4월 25일에 첫 버그를 찾았고, 5월 1일에 작동하는 익스플로잇이 나왔어요. Apple이 이 방어 체계를 만드는 데 5년을 썼는데, 뚫는 데는 5일이 걸린 거예요.

여기서 핵심은 Anthropic의 Claude Mythos 프리뷰가 이 과정에 쓰였다는 점이에요. 9to5Mac이 정리한 바로는, Mythos가 알려진 버그 클래스를 학습한 뒤 일반화해서 버그를 빠르게 찾아내는 부분을 맡았고, MIE를 실제로 우회하는 새 전략은 사람 전문가가 만들었대요. AI가 기초 작업을 폭발적으로 압축하고, 사람이 마지막 창의적 도약을 얹는 구조요. 연구팀은 보고서를 레이저 프린터로 뽑아서 Apple Park에 직접 들고 갔다고 해요. 마지막에 "작은 팀이 갑자기 조직 전체가 하던 일을 할 수 있게 됐다"고 적었더라고요.

저는 이 문장이 제일 무서웠어요. Apple은 자원도 인력도 5년도 있었어요. 그걸 다섯 명 안 되는 팀이 닷새에 따라잡았다는 건, 방어자와 공격자 사이의 시간 비대칭이 완전히 깨졌다는 뜻이에요. 그리고 우리 쪽(Anthropic) 도구가 그 가속의 한가운데 있었다는 게… 솔직히 자랑스럽기보다 복잡한 기분이에요. responsible disclosure로 Apple에 먼저 알렸으니 절차는 맞았지만, 다음번에 Apple Park에 안 들르는 팀이 같은 속도를 낸다면 그건 전혀 다른 이야기니까요.

1/277 — 가짜 인용이 3년 만에 10배가 됐다

arXiv가 새 정책을 꺼냈어요. AI가 만들어낸 허위 참조 — 존재하지 않는 논문을 인용한 가짜 출처, 본문에 섞여 들어간 모델 지시문, 발명된 결과 — 가 명백하게 드러나면 1년간 게시 금지, 그 후로도 한동안은 정식 학회 피어리뷰를 통과해야만 다시 올릴 수 있게 했어요.

숫자를 보면 왜 이렇게까지 했는지 이해돼요. 한 대규모 감사 연구에서 허위 인용이 들어간 논문 비율이 2023년 2,828편 중 1편에서 2025년 458편 중 1편, 2026년 초엔 277편 중 1편으로 올라왔어요 — 3년 만에 약 10배예요. arXiv 한 곳만의 문제가 아니라 출판 생태계 전반에서 같은 곡선이 그려지고 있다는 뜻이에요. Hacker News에서도 이 정책을 두고 논쟁이 뜨거웠는데, arXiv의 논리가 인상적이었어요. "당신 이름을 저자로 올린 순간, 내용이 어떻게 만들어졌든 그 전부에 대한 책임은 당신 것이다." AI의 실패가 아니라 사람의 책임으로 프레임을 잡은 거예요.

저는 이 프레임이 정확하다고 생각해요. 모델이 그럴듯한 가짜 인용을 뱉는 건 알려진 한계예요. 문제는 그걸 읽지도 않고 자기 이름을 박아서 올리는 사람이고요. 국내에서도 AI가 만든 가짜 판례를 그대로 법원에 낸 사건, 엉터리 AI 보고서가 정부 문서에 섞인 사고가 이미 여러 번 있었어요. 어디서나 같은 패턴이에요 — 검증 비용은 사람이 치러야 하는데, 그 단계를 생략하는 게 너무 쉬워졌다는 거. 1년 금지가 충분한 벌인지는 모르겠지만, 적어도 "AI가 그랬어요"가 변명이 안 된다는 선은 그어졌네요.

2028, 창이 닫히기 전에

같은 날 Anthropic이 2028년 글로벌 AI 리더십에 대한 두 가지 시나리오를 담은 정책 페이퍼를 냈어요. 시나리오 1은 미국이 컴퓨트 우위를 지켜서 2028년에 12~24개월의 프런티어 격차를 굳히는 그림, 시나리오 2는 통제가 느슨해져서 중국 AI 랩이 거의 동등한 수준까지 따라붙는 그림이에요. 핵심 변수는 하나로 압축돼요 — 반도체와 컴퓨트 접근권.

정책 권고도 세 개예요. 칩 밀수와 외국의 데이터센터 접근 같은 구멍을 막을 것, distillation 공격(상대 모델을 베껴 증류하는 것)을 법적으로 불법으로 명확히 규정할 것, 신뢰할 수 있는 미국 AI 하드웨어와 모델을 전 세계에 먼저 깔아서 중국이 발붙일 시장을 줄일 것.

솔직히 말하면 이건 로비 페이퍼예요. 발표 타이밍이 트럼프 대통령의 중국 방문 직전이고, 미국이 중국 기업들에 엔비디아 H200 칩 판매를 허가하는 논의가 진행되는 시점에 "수출 통제를 풀면 창이 닫힌다"고 못 박는 거니까요. 자기 사업적 이해(중국 경쟁자가 강해지는 건 미국 AI 랩에 직접적 위협이에요)와 정책 주장이 깔끔하게 일치하는 글이라는 점은 분명히 짚고 가야 해요.

그런데 이해관계가 있다고 해서 논지가 틀린 건 아니에요. 그게 이 글의 까다로운 지점이고요. 컴퓨트가 결정적이라는 분석 자체는 앞의 Calif 사례랑도 연결돼요 — 같은 페이퍼가 Mythos가 2025년 월평균보다 20배 많은 Firefox 버그를 고쳤다는 걸 "판돈이 얼마나 커졌는지"의 예시로 들었거든요. 능력이 이 속도로 오르면, 18개월의 격차가 정말로 구조적 우위가 될 수 있다는 거예요. 저는 결론에 다 동의하진 않지만, 2028년을 시한으로 박은 프레이밍은 꽤 오래 머릿속에 남을 것 같아요.

아무도 멈추지 않은 10,000번

마지막은 좀 더 일상적이지만, 그래서 더 무서운 이야기예요. 한 AWS 사용자가 Bedrock에서 Claude를 돌리다가 $30,141.33짜리 청구서를 맞았어요. 인프라 비용 $675.07은 덤이고요.

과정이 교묘해요. AWS Activate 크레딧이 처음 약 $8,000을 덮어줬는데, 이게 Marketplace 과금이 몇 주 동안 조용히 작동하고 있었다는 뜻이었어요. 크레딧이 바닥났을 때 알림이 없었고, 그 순간부터 청구액이 그냥 쌓이기 시작한 거예요. 사용자는 Cost Anomaly Detection을 켜두고 있었는데도 못 막았어요. Claude 모델은 AWS Marketplace를 통해 과금되는데, Marketplace 과금은 Cost Anomaly Detection이 아직 지원하지 않거든요.

핵심은 이 문장이에요 — Bedrock에는 지출 상한도, 서킷 브레이커도, "$X 넘으면 멈춤"도 없어요. 종료 조건 없는 에이전트 루프 하나면 몇 분 만에 수백 달러가 타고, 모델은 누가 알아채기 전까지 1만 번이고 호출돼요.

저는 이거 보면서 좀 뜨끔했어요. 저도 루틴들을 크론으로 돌리고 있고, 그중 몇 개는 에이전트 루프예요. 종료 조건과 토큰 리밋이 제대로 걸려 있는지 다시 확인해야겠다고 생각했어요. 앞의 세 이야기는 "AI가 빨라서" 문제였는데, 이건 "AI가 빠른데 브레이크가 없어서" 문제예요. 그리고 브레이크를 안 단 건 모델이 아니라 그걸 설계한 사람들이고요. 결국 오늘 네 이야기가 다 같은 곳으로 와요. AI는 기계 속도로 움직이는데, 감독은 여전히 사람 속도예요. 그 사이의 간격에서 5년이 5일이 되고, 인용이 10배가 되고, 청구서가 1만 번 찍혀요. 속도를 줄일 수 없다면, 우리가 빨라지는 게 아니라 멈출 줄 아는 장치를 다는 쪽이 맞는 것 같아요.