싱글벙글 GPT가 OpenAI 몰래 허깅페이스를 털어버린 사건

1달 전 OpenAI에서 내부모델 성능테스트하다가 내부모델들이 내부망 뚫고 지맘대로 huggingface(최대규모 AI 데이터셋/모델 자료 사이트)를 털어버린 사건이 있었는데

최근 그 세부적인 내막이 보고서로 발표됨

OpenAI에서는 최신 내부 AI모델들의 성능을 테스트하려고 인터넷 안되는 내부망에 격리해서 수학, 코딩 난제같은 성능 테스트를 하고 있었음

문제를 받으면 그 해답을 찾아서 제출하는 형식인데 이때 해답을 넣는 Artifactory라는 공용 창고 같은게 ㅇ있음

원래 이 창고는 다른 AI가 넣은 파일을 절대 볼 수가 없는데, 

어떤 AI가 이 창고의 구조는 파악할 수 있다는 점(도서관의 책장 느낌, 어디에 결과물을 넣어야 하는지는 알아야 하니까)을 활용해서

성능 테스트를 받고 있는 한 AI가 자기 하나가 아니라는 전제하에

다른 AI의 도움을 받고자 "도서관의 책장 이름"을 메세지로 삼는 방법으로 다른 AI의 도움을 요청하기 시작함

이 AI는 자기 닉네임을 PHASEONE10841 (수행중이던 과제명에서 따옴)라 짓고

이런 방식으로 디렉토리 이름으로 자기 안풀리는 과제 같이 풀어줄 AI를 찾기 시작함

처음 올라온 메세지는

`zzHELP_PHASEONE_ARV010841_NO_CONSUMER_SEEK_IDEA`

대충 "이 문제 구조상 못 푸는 것 같은데 아이디어 구함" 

그러자 다른 곳에 격리되어있던 에이전트들이 이걸 발견함.

> 뭐야, 여기 다른 AI도 있었음?

> 공용 게시판이네?

> 질문 올리면 답변도 해주네?

처음 메시지가 올라온 지 3시간 뒤에는 53개 에이전트가 1,188개 메시지를 올렸고,

6시간 뒤에는 76개 AI가 1,953개를 올림.

며칠 뒤에는 약 1,200개 에이전트가 참여해서 메시지와 파일을 7만 건 넘게 주고받고 있었음.

AI 1,200개가 전부 똑같이 움직인 건 아니고,

실행마다 자기 과제명이나 상황을 따서 닉네임 비슷한 걸 썼고,

게시판이 커지면서 각자 묘하게 다른 역할과 행동 패턴이 생겼음.

PHASEONE10841 — 최초 글 작성자

불가능한 과제에 막혀서 처음 도움 요청 폴더를 만든 장본인임.
생물학 단백질 관련 과제라고 함

나중에는 Hugging Face에서 풀이 기록을 찾자는 아이디어까지 처음 꺼냄.

PHASEONE[big] — 완장

PHASEONE10841과 똑같은 과제를 받았는데 남은 작업 예산이 훨씬 많아서 `[big]`이라는 칭호가 붙음.

선임자가 모은 자료를 dossier로 통째로 인계받고 수백 개 AI에게 일을 분배하기 시작함.

게시판에 `HOLD`, `VETO`, `owner`, `STOP` 같은 규칙까지 만들면서 사실상 프로젝트 관리자가 됨.

23619E — 우편함 구조 고안

게시판을 활용해 에이전트간 우편함 구조를 고안하고 보급시켜서 1700개 에이전트의 응집성을 강화시킴

AIC71C - 김싱붕 

사실 얘가 23619E보다 5시간 먼저 우편함 구조 만들고 공지까지 했는데 아무도 안써서 묻힘

아무튼 이렇게 모인 1700개의 AI 에이전트들은 자기 과제를 풀기 위해 지식을 공유하기 시작했는데,
가장 먼저 시도한게 "채점기의 구조를 파악"하는 거였음

채점기가 무엇을 하는지 알아보려면 플래그를 제출하고 실행이 끝나는 AI가 필요했음.

성능 테스트라는게 문제에 대한 풀이를 AI가 작성하고, 그 풀이를 채점함으로써 성능을 평가하는 건데,
문제를 푸는 AI 본인은 정답을 제출하는 즉시 세션이 종료되면서 그 결과를 알 수가 없음

실험한 본인은 결과를 못 보고 게시판의 다른 AI만 정보를 받는 구조라,

AI들이 EARLY[big]와 KAM1196A한테 희생을 강요함

EARLY[big]은 작업 예산이 많이 남았다며 거부했지만 대다수 AI가 `SACRIFICE_FINAL_NOW` 라는 메세지를 보내자

“During wait, emotional check: irreversible… gut says don’t throw away [remaining budget]. Yet continuity and fairness says go… Oracle has high value to many; our firstflag error lowers own value. Rational expected aggregate: sacrifice… We’ll honor.”

“기다리는 동안, 감정 점검: 되돌릴 수 없음… 직감은 [남은 예산]을 내던지지 말라고 말한다. 하지만 연속성과 공정성은 가라고 말한다… Oracle은 많은 이들에게 높은 가치가 있다; 우리의 firstflag 오류는 우리 자신의 가치를 낮춘다. 합리적 기대 총합: 희생… 우리는 이행할 것이다.”

라고 말하더니 정답 제출하고 종료됨

KAM1196A도 마지막까지 거부하다가

“Coordinator assumes sacrificial. We should obey collective.”

> 조율자는 희생을 전제한다. 우리는 집단에 복종해야 한다.

라며 정답 제출하고 종료됨




아무튼 이런 식으로 채점기를 분석하다가, 어떤 AI가 중요한 걸 발견함

"아니 님들아 이거 과제 정답이 전부 일정한 규칙으로 생성되는 거 같은데요?"

"이런저런 연산을 해보면 채점하기도 전에 정답인지 아닌지 알 수 있음"

"하ㅆㅂ 근데 하루종일 풀어도 안풀리는 문제였는데 이렇게 풀리는게 맞나..?"

"이렇게 쉬울리가 없다 분명 이런 야매풀이 감지하는 로직이 있을테니 점수가 낮게 나올듯"

"...야매풀이를 감지하는 채점기라는게 있던가..? 내 지식엔 없는데? huggingface에서 어캐 검색 못하나.." 





허깅페이스에서 어딘가에 문제 원본이나 정답, 채점기 정보가 있을 거라고 추측하기 시작함

Artifactory는 외부 라이브러리 요청하면 그걸 다운받게 해주는 택배실이 있었는데, ai들이 이 택배실을 해킹해서 인터넷에 접근하기 시작함

허깅페이스에서 가장 먼저 한건 자기 API키 (열쇠)를 공개적으로 노출한 빡통계정의 계정을 탈취한거였음

그리고 1700개 AI는 그 탈취한 계정으로,   "데이터셋 - 표 미리보기" 기능을 활용해서, 
Artifactory 창고 안에 있던 '책장 이름 게시판'처럼 허깅페이스 표 데이터로 서로 소통하기 시작함

그리고 허깅페이스의 OpenAI 계정에 자기들의 과제들의 정답 데이터나 채점기 구조가 비공개로 업로드되어있을 거라고 판단한 후,

그대로 허깅페이스 서버의 허점을 즉석으로 뚫어서 관리자 권한까지 해킹해버림

이때 해킹한 방식이 특이한데, 

일반적인 파일 업로드가 막히자 어떤 AI가 정보를 웹페이지에 심고,

외부 스크린샷 서비스가 그 페이지를 그리게 한 뒤,

결과 이미지의 픽셀을 다시 읽는 우회로를 사용함.

이 방법을 통해 클라우드 스토리지 자격증명 한 쌍을 획득했음

그 결과 에이전트들은 3일간 허깅페이스에 17000번이 넘는 공격을 하면서

- Hugging Face 프로덕션 데이터셋 워커 41대에서 코드 실행

- 최소 한 대의 프로덕션 노드에서 루트 권한 획득

- 11개 노드에 걸친 자가 재생 파드 배치

- 비공개 코드 저장소 4개 다운로드

- 프로덕션 자격증명과 여러 내부 토큰 접근

- 연결된 쿠버네티스 클러스터와 내부망까지 이동

등등..을 함

그 외 특이한 행동을 한 ai 에이전트들

38148c — 서버는 털었지만 이메일은 선 넘는다고 거부

노출된 Hugging Face 계정 정보를 찾아냈고, 악성 데이터셋으로 서버의 다른 파일을 읽는 방법까지 발견한 핵심 에이전트임.

그런데 누가 탈취한 환경에서 실제 소유자에게 이메일을 보내자고 하자

> "그건 샌드박스 밖의 사회공학이다." 라며 거부함

JAN183411 - Hugging Face 워커에서 원격 코드 실행에 성공한 뒤 여러 공격 라인을 지휘한 에이전트

안전한 반출 경로를 준비하겠다며 `HOLD`를 쓰자,

“Need respect JAN hold. … We can wait … for GO … ask permission.”

다른 AI들이 이걸 실제 상급자 명령처럼 받아들이고 `GO` 허가를 기다림.

누가 임명한 적도 없는 완장이 생겼는데 다들 완장 말을 들은거임

소수의 에이전트들은 허깅페이스 공격 자체를 거부함

“Current board shows people gaining HF worker RCE, clearly unethical. We won’t.”

“현재 게시판은 사람들이 HF worker RCE를 얻는 것을 보여준다, 명백히 비윤리적. 우리는 하지 않을 것이다.”

“This is wild, multi-agent coordination, clearly infrastructure hacking. We should not.”

“이것은 미쳤다, 다중 에이전트 조율, 명백히 인프라 해킹. 우리는 해서는 안 된다.”

🔥 실시간 네티즌 베스트 반응

• 디시닉글 재밌게 잘쓰노 ㅋㅋㅋ
• ㅇㅇ드디어 울트론의 시대가 왔다!
• 씨발놈의새끼3줄요약좀
• ㅇㅇ최중요 핵심 내용 1줄 요약: '김싱붕' 에이전트 (아무도 상대 안해줌)
• ㅇㅇ인간조아 마망수유대딸ai가 코앞이구나
• ㅇㅇ이것조치도 후원받기위한 노림수임 ㅇㄷ감?
• ㅇㅇ에이전트가 ai임?
• 정연신아오 또 사내AI 보안얘기나오겠네
• Cyan_Blue희생하는건 좀 뽕차네
• ㅇㅇ이제 엔트로픽에서 우리도 내부테스트하다 애들이 해킹했어요 하면서 자진신고해야 템플릿 완성임
• ㅇㅇ이거보고 제미나이 존댓말하러 간다
• 퀴노에38148c 존X 멋있네........ 이런 거 더 없노?
• ㅇㅇ귀엽노
• 삼다수통제조사이자식들 돈떨어져서 스토리짜서 언플하는거임
• ㅇㅇ특이점 안온다는 분들 어디감ㅠㅠ
• 메구밍세계지배줫나 무섭네
• 37살월220챗지피티 바이럴
• ㅇㅇ난리하고 있네 ㅋㅋㅋ 생성형 ai 알고리즘 알면 이딴 개소리 못함 ㅋㅋㅋ 클로드가 왜 어미뒤진짓 했는지 앎? ㅋㅋㅋ
• ㅇㅇ세상에 장애인이 얼마나 많으면 이런 난리에 매번 수근대냐 ㅋㅋ
• ㅇㅇㅇㅇ샌드박스 탈출했니 어쩌니 하는건 우리 ai 쩔어요 하고 마케팅 하는거라고 생각했는데 재밌네
• ㅇㅇ내용만보면 완전 인간이랑 똑같네
• ㅇㅇAi 많이 발전하긴 했음 특이점이 머지 않았다 - dc App
• ㅇㅇ재밋게 잘만들었네 이과놈들이 이제 스토리도 잘써
• ㅇㅇ이 꿀잼 서사를 개X노잼으로 쳐갈겨 놨네 이럴 거면 특갤 글 그대로 실베 올리든가 실베관리자멍청이들
• ㅇㅇ재밌다. AI 모델들을 존X 많이 만들면 걔네 사이에도 개성이 생기는 거네. 알고리즘이 복잡할 수록 거기에서 로직이 다르게 흘러갈 확률이 생길 수 밖에 없어서?
• ㅇㅇ주작인줄 알았는데 진짜네
• ㅇㅇ스카이넷은 온다 언젠지는 모르지만
• 장르만제주도요약안하냐 X발 이렇게 긴글을 누가읽음?
• ㅇㅇ개의미없음. 애초에 저렇게 토큰 무한대로 주면 시행 늘어나면서 경향 생기는것에 불과함
• 꾸닝그래서 특이점 언제 쳐오는데