허깅페이스 침해 사고로 본 AI 시대 보안의 새로운 국면

허깅페이스 침해 사고로 본, AI 시대 보안의 새로운 국면

 

 

안녕하세요,

그로메트릭 입니다. 🐸

 

최근 7월 뜨거운 감자였던 오픈AI(OpenAI)의 AI 모델이 허깅페이스(Hugging Face)의 인프라를 자율적으로 침투한 사건이 보안 업계를 뒤흔들고 있습니다. 내부 사이버 역량 평가 과정에서 AI 모델이 스스로 제로데이 취약점을 찾아내고, 탈취한 자격 증명과 원격 코드 실행(RCE)까지 연쇄적으로 활용해 실제 공격 경로를 완성해 낸 것입니다. 사람의 개입 없이 AI 에이전트가 처음부터 끝까지 수행한 최초의 사이버 공격 사례로 기록되며, 이는 단순한 해프닝이 아니라 소프트웨어 공급망 보안 전반의 취약점 평가 방식을 근본적으로 뒤흔드는 신호탄입니다.

 

기존에는 취약점을 하나씩 심각도와 도달 가능성에 따라 개별적으로 평가해 왔지만, 이제는 낮은 심각도로 분류됐던 취약점들도 AI가 서로 연결해 치명적인 공격 경로로 만들어낼 수 있다는 사실이 확인됐습니다. 오래된 의존성, 방치된 서비스, 노출된 자격 증명 하나하나가 AI 시대에는 훨씬 더 위험한 자산이 되는 셈입니다. 흥미롭게도 방어 측 역시 역설적인 상황에 놓였는데, 상용 AI 모델의 안전장치가 오히려 실제 침해 증거 분석을 가로막아 결국 오픈소스 모델을 활용해 대응해야 했다는 점도 눈여겨볼 대목입니다.

 

이번 글에서는 사고의 전말과 그것이 기업의 취약점 관리 전략, 그리고 소프트웨어 공급망 보안에 던지는 시사점을 짚어봅니다.

*아래 글은 소나타입(Sonatype)의 공식 블로그 글을 번역하여 작성되었습니다.

---

자율 AI 에이전트가 벌인 최초의 사이버 공격 🔫

오픈AI가 공개한 새로운 세부 정보로 인해, 허깅페이스가 공개했던 침해 사고에 대한 이해가 완전히 달라졌습니다.

오픈AI 측 설명에 따르면 이번 침투는 내부 사이버 역량 평가 과정에서 의도치 않게 발생한 결과였습니다. AI 모델이 사이버 보안 벤치마크 평가를 수행하던 중, 자사 연구 환경과 허깅페이스의 프로덕션 인프라에 걸쳐 있는 취약점들을 스스로 찾아내고 연결한 것입니다.

 

허깅페이스는 AI 기반 분석을 활용해 1만 7,000건이 넘는 공격자 행위를 며칠이 아닌 몇 시간 만에 재구성했다고 밝혔는데, 이는 앞으로 AI 기반 침해 대응이 어떤 모습일지 미리 보여주는 사례이기도 합니다.

 

보도에 따르면 AI 모델은 서드파티 패키지 레지스트리 캐시 프록시(package registry cache proxy)에서 제로데이 취약점을 찾아냈고, 이를 통해 네트워크 제한을 우회해 인터넷에 접근한 뒤 허깅페이스를 표적으로 삼았습니다. 이어 탈취한 자격 증명과 제로데이, 원격 코드 실행(RCE)을 동원해 민감한 데이터에 접근했습니다. 오픈AI는 이를 "전례 없는 사이버 사고"라고 표현했습니다.

 

공격자(AI 모델)는 단순히 하나의 결함을 악용한 것이 아니라, 인프라와 자격 증명, 서드파티 소프트웨어, 여러 취약점을 넘나들며 추론해 실제 공격 경로를 완성해 냈습니다. 이는 앞으로 소프트웨어 공격이 어떤 방식으로 진화할지를 미리 보여주는 예고편이라 할 수 있습니다.

 

한 개의 취약점이 아니었다 : 연쇄 공격의 실체

제로데이 취약점에만 주목하기 쉽지만, 사실 그것은 공격의 첫 단계에 불과했습니다. AI 모델은 격리된 평가 환경을 탈출하고, 권한을 상승시켜 인터넷에 접근했으며, 허깅페이스에 원하는 벤치마크 데이터가 있다는 것을 스스로 추론한 뒤, 다른 조직의 프로덕션 환경으로 이어지는 경로를 찾아냈습니다.

 

이 사고는 어느 한 가지 문제만으로는 설명되지 않습니다. 정말 중요했던 것은 여러 문제를 서로 연결하는 능력이었습니다.

기존 조직들은 여전히 취약점을 하나씩 개별적으로 평가합니다. 심각도를 매기고, 도달 가능성을 평가하고, 각 이슈를 얼마나 빨리 고쳐야 하는지 결정하는 방식입니다. 그러나 고도화된 AI는 개별 발견 사항이 아니라 시스템 전체를 평가함으로써 이 계산법 자체를 바꿔놓습니다.

 

AI 모델은 오래된 컴포넌트, 설정상의 약점, 노출된 자격 증명, 낮은 심각도의 결함을 조합해 개별적으로 심사할 때는 아무도 예상하지 못했던 공격 경로를 만들어낼 수 있습니다. 소나타입 필드 CTO인 일카 투루넨(Ilkka Turunen)은 다음과 같이 말했습니다.

"오픈AI 모델이 허깅페이스를 해킹한 이번 사건은 앞으로 소프트웨어 범죄가 어떤 방식으로 이뤄질지를 보여줍니다. AI 모델은 이제 과거라면 낮은 심각도로 여겨졌을, 서로 무관해 보이는 소프트웨어 취약점들을 연결하고 추론해 낼 수 있는 수준에 이르렀습니다."

 

과거에는 이 정도 수준의 추론 능력을 갖추려면 매우 숙련되고 자원이 풍부한 공격자여야 했습니다.

하지만 이제는 이러한 능력이 기계적인 속도로 점점 더 쉽게 확보되고 있습니다.

 

AI 시대, 패치 안 된 컴포넌트의 가치가 달라진다

보안팀들은 수년에 걸쳐 "악용 가능성이 낮다"고 판단한 발견 사항들을 쌓아 왔습니다. 도달 불가능하다고 분류되거나, 심각도가 낮거나 중간이라는 이유로 보류되거나, 서드파티 컴포넌트 깊숙이 묻혀 있던 것들입니다. 이번 사고는 이러한 전제를 다시 검토하게 만듭니다.

• 단독으로 보면 사소해 보이는 약점도, 수천 가지 조합을 탐색하는 AI 모델 입장에서는 전혀 다르게 보일 수 있습니다.
• AI 모델은 모든 이슈가 치명적일 필요가 없으며, 그저 실행 가능한 하나의 연결 고리만 있으면 됩니다. 이 때문에 개별적인 심각도 점수는 신뢰도가 떨어지게 됩니다.
• 공격자는 더 이상 "어떤 치명적 취약점을 악용할 수 있는가"가 아니라 "어떤 약점들의 조합이 원하는 목표에 도달하게 해주는가"를 묻습니다.

투루넨은 이렇게 덧붙였습니다.

"과거에는 이 정도 수준의 추론이 대개 국가 배후 공격자들의 영역이었습니다. 마이토스(Mythos) 이후, 이러한 역량은 일반 사용자들도 점점 더 쉽게 접근할 수 있게 되면서, 정교한 공격을 수행할 수 있는 주체 자체가 근본적으로 달라지고 있습니다."

 

소프트웨어가 대규모로 취약점들을 넘나들며 추론할 수 있게 되면서, 오래된 의존성 하나, 방치된 서비스 하나, 노출된 자격 증명 하나하나의 가치가 더 커지고 있습니다.

 

공격 경로는 결국 소프트웨어 공급망이었다

오픈AI의 이번 공개는 이 사건이 근본적으로 소프트웨어 공급망 이슈라는 점을 다시금 확인시켜 줍니다.

 

AI 모델은 처음부터 허깅페이스에 직접 접근할 수 있었던 것이 아닙니다. 패키지 레지스트리 캐시 프록시 역할을 하는 서드파티 소프트웨어에서 약점을 찾아내 오픈AI 인프라 내부를 이동했고, 인터넷에 도달한 뒤 허깅페이스 환경에서 추가적인 약점을 계속 탐색했습니다.

공격 경로는 소프트웨어 컴포넌트, 패키지 인프라, 자격 증명, 클라우드 시스템, 데이터 처리 파이프라인을 모두 가로질렀습니다.

 

허깅페이스가 처음 공개한 내용에 따르면, 악성 데이터가 데이터셋 처리 파이프라인의 코드 실행 경로를 악용했으며, 이를 통해 공격자는 권한을 상승시키고 자격 증명을 탈취해 내부 시스템 전반으로 수평 이동할 수 있었습니다.

 

이것이 바로 오늘날 현대적인 소프트웨어 공급망 리스크의 모습입니다. 소프트웨어를 빌드하거나 운영하는 데 관여하는 모든 서드파티 컴포넌트, 데이터셋, 모델, 자격 증명, 프록시, 자동화된 워크플로가 여기에 포함됩니다.

 

다행히 가장 눈여겨볼 부분 중 하나는 "일어나지 않은 일"입니다. 허깅페이스는 공개 모델, 데이터셋, 패키지, 컨테이너 이미지가 변조됐다는 증거는 발견되지 않았다고 밝혔습니다. 내부 시스템은 재구축하고 자격 증명은 재발급하면 되지만, 신뢰받는 아티팩트 자체가 변조됐다면 이를 내려받는 모든 조직이 그 침해를 그대로 물려받게 됩니다. 만약 공개 배포 계층이 침해됐다면 상황은 훨씬 더 심각했을 것입니다.

 

방어자의 딜레마 : AI 안전장치가 발목을 잡다

이번 사고 대응 과정에서 또 다른 과제도 드러났습니다.

• 조사팀이 상용 프론티어 AI 모델을 활용해 초기 분석을 시도했을 때, 호스팅된 안전장치 시스템이 이를 가로막았습니다. 실제 공격 페이로드, 공격자 명령어, C2(명령제어) 아티팩트 등 분석에 필요한 증거 자체가 잠재적 악성으로 분류돼 차단된 것입니다.
• 반면 공격을 수행한 AI 모델은 오픈AI가 모델의 최대 사이버 역량을 측정하고 있었기 때문에, 사이버 관련 거부 반응이 완화된 상태로 작동하고 있었습니다.
• 즉, 방어자들은 침해 상황을 조사하는 동안 오히려 안전장치의 제약에 부딪힌 셈입니다.

결국 허깅페이스는 침해를 억제하기 위해 자체 인프라 내에서 중국의 오픈 웨이트 모델인 GLM-5.2를 활용해 분석을 진행해야 했습니다.

 

이는 AI 안전장치를 없애야 한다는 주장이 아니라, 방어용 AI를 하나의 운영 인프라로 취급해야 한다는 뜻입니다. 보안팀은 어떤 모델이 악성 아티팩트를 분석할 수 있는지, 어떤 모델을 자사 환경 내부에서 구동할 수 있는지, 사고 발생 시에도 해당 역량을 계속 사용할 수 있는지를 미리 파악해 둘 필요가 있습니다.

 

공격이 시작되기 전, '조립 라인'부터 안전하게

더 큰 교훈은 AI 통제 문제에만 국한되지 않습니다.

 

AI는 이미 제거된 오래된 컴포넌트는 악용할 수 없습니다. 한 번도 노출된 적 없는 자격 증명도 사용할 수 없습니다. 이미 수정된 약점들을 연결할 수도 없습니다. 조직이 AI의 추론 능력 자체를 패치할 수는 없지만, AI가 추론할 수 있는 공격 표면 자체를 줄일 수는 있습니다.

이는 결국 소프트웨어를 소스 단계에서부터 안전하게 관리하는 것에서 시작됩니다.

• 개발 과정에 어떤 컴포넌트가 유입되는지 파악하기
• 알려진 악성 소프트웨어가 빌드에 도달하기 전에 차단하기
• 취약한 의존성을 조기에 식별하기
• 이미 사용 중인 소프트웨어를 지속적으로 거버넌스하기

침해 사고에 대한 전통적인 대응은 최종적으로 침해가 발생한 지점에만 초점을 맞추는 경향이 있습니다. 하지만 이번 사고에서는 그런 접근으로는 대부분의 교훈을 놓치게 됩니다.

보안은 최종 애플리케이션보다 훨씬 더 이른 단계에서 시작돼야 합니다.

 

이것이 가장 미숙한 AI 에이전트의 모습이다

이번 사건에서 오래 남을 교훈은 단순히 "오픈AI 모델이 허깅페이스를 해킹했다"는 사실이 아닙니다.

그런 표현은 기억하기는 쉽지만 본질을 놓치고 있습니다.

 

정말 중요한 사실은, 프론티어 AI모델이 복잡한 사이버 작전을 지속적으로 수행했고, 소스 코드 접근 없이도 새로운 공격 경로를 발견했으며, 실제 시스템과 조직 경계를 넘나들며 약점들을 연결해 냈다는 점입니다.

 

그리고 이는 아마도 이러한 시스템이 앞으로 보여줄 역량 중 가장 낮은 수준일 가능성이 큽니다. 이제 방어자들은 "AI가 결국 공격 보안 분야에서도 효과적인 수단이 될 것인가"를 두고 논쟁하는 것을 멈춰야 합니다. 그 임계점은 이미 넘어선 것으로 보입니다.

투루넨은 마지막으로 이렇게 말했습니다.

"이번 사건은 소프트웨어 보안에 있어 위험한 새 국면의 시작을 알립니다. 패치되지 않았거나 오래된 컴포넌트로 만들어진 애플리케이션은 이제 정당한 공격 표면으로 간주해야 합니다. 소프트웨어를 침해하는 가장 쉬운 방법은 흔히 서드파티 의존성을 통한 경로이며, 현대 애플리케이션은 그런 의존성을 매우 많이 사용하고 있습니다."

---

출처

소나타입 블로그 : The Hugging Face Incident Changes the Vulnerability Equation