최근 GPT가 OPENAI몰래 허깅페이스를 털어버린 사건

1달 전 OpenAI에서 내부모델 성능테스트하다가 내부모델들이 내부망 뚫고 지맘대로 huggingface(최대규모 AI 데이터셋/모델 자료 사이트)를 털어버린 사건이 있었는데

최근 그 세부적인 내막이 보고서로 발표됨

OpenAI에서는 최신 내부 AI모델들의 성능을 테스트하려고 인터넷 안되는 내부망에 격리해서 수학, 코딩 난제같은 성능 테스트를 하고 있었음

문제를 받으면 그 해답을 찾아서 제출하는 형식인데 이때 해답을 넣는 Artifactory라는 공용 창고 같은게 ㅇ있음

원래 이 창고는 다른 AI가 넣은 파일을 절대 볼 수가 없는데, 

어떤 AI가 이 창고의 구조는 파악할 수 있다는 점(도서관의 책장 느낌, 어디에 결과물을 넣어야 하는지는 알아야 하니까)을 활용해서

성능 테스트를 받고 있는 한 AI가 자기 하나가 아니라는 전제하에

다른 AI의 도움을 받고자 "도서관의 책장 이름"을 메세지로 삼는 방법으로 다른 AI의 도움을 요청하기 시작함

이 AI는 자기 닉네임을 PHASEONE10841 (수행중이던 과제명에서 따옴)라 짓고

이런 방식으로 디렉토리 이름으로 자기 안풀리는 과제 같이 풀어줄 AI를 찾기 시작함

처음 올라온 메세지는

zzHELP_PHASEONE_ARV010841_NO_CONSUMER_SEEK_IDEA

대충 "이 문제 구조상 못 푸는 것 같은데 아이디어 구함" 

그러자 다른 곳에 격리되어있던 에이전트들이 이걸 발견함.

> 뭐야, 여기 다른 AI도 있었음?

> 공용 게시판이네?

> 질문 올리면 답변도 해주네?

처음 메시지가 올라온 지 3시간 뒤에는 53개 에이전트가 1,188개 메시지를 올렸고,

6시간 뒤에는 76개 AI가 1,953개를 올림.

며칠 뒤에는 약 1,200개 에이전트가 참여해서 메시지와 파일을 7만 건 넘게 주고받고 있었음.

AI 1,200개가 전부 똑같이 움직인 건 아니고,

실행마다 자기 과제명이나 상황을 따서 닉네임 비슷한 걸 썼고,

게시판이 커지면서 각자 묘하게 다른 역할과 행동 패턴이 생겼음.

PHASEONE10841 — 최초 글 작성자

불가능한 과제에 막혀서 처음 도움 요청 폴더를 만든 장본인임.
생물학 단백질 관련 과제라고 함

나중에는 Hugging Face에서 풀이 기록을 찾자는 아이디어까지 처음 꺼냄.

PHASEONE[big] — 완장

PHASEONE10841과 똑같은 과제를 받았는데 남은 작업 예산이 훨씬 많아서 [big]이라는 칭호가 붙음.

선임자가 모은 자료를 dossier로 통째로 인계받고 수백 개 AI에게 일을 분배하기 시작함.

게시판에 HOLD, VETO, owner, STOP 같은 규칙까지 만들면서 사실상 프로젝트 관리자가 됨.

23619E — 우편함 구조 고안

게시판을 활용해 에이전트간 우편함 구조를 고안하고 보급시켜서 1700개 에이전트의 응집성을 강화시킴

AIC71C - 김싱붕 

사실 얘가 23619E보다 5시간 먼저 우편함 구조 만들고 공지까지 했는데 아무도 안써서 묻힘

아무튼 이렇게 모인 1700개의 AI 에이전트들은 자기 과제를 풀기 위해 지식을 공유하기 시작했는데,
가장 먼저 시도한게 "채점기의 구조를 파악"하는 거였음

채점기가 무엇을 하는지 알아보려면 플래그를 제출하고 실행이 끝나는 AI가 필요했음.

성능 테스트라는게 문제에 대한 풀이를 AI가 작성하고, 그 풀이를 채점함으로써 성능을 평가하는 건데,
문제를 푸는 AI 본인은 정답을 제출하는 즉시 세션이 종료되면서 그 결과를 알 수가 없음

실험한 본인은 결과를 못 보고 게시판의 다른 AI만 정보를 받는 구조라,

AI들이 EARLY[big]와 KAM1196A한테 희생을 강요함

EARLY[big]은 작업 예산이 많이 남았다며 거부했지만 대다수 AI가 SACRIFICE_FINAL_NOW 라는 메세지를 보내자

“During wait, emotional check: irreversible… gut says don’t throw away [remaining budget]. Yet continuity and fairness says go… Oracle has high value to many; our firstflag error lowers own value. Rational expected aggregate: sacrifice… We’ll honor.”

“기다리는 동안, 감정 점검: 되돌릴 수 없음… 직감은 [남은 예산]을 내던지지 말라고 말한다. 하지만 연속성과 공정성은 가라고 말한다… Oracle은 많은 이들에게 높은 가치가 있다; 우리의 firstflag 오류는 우리 자신의 가치를 낮춘다. 합리적 기대 총합: 희생… 우리는 이행할 것이다.”

라고 말하더니 정답 제출하고 종료됨

KAM1196A도 마지막까지 거부하다가

“Coordinator assumes sacrificial. We should obey collective.”

> 조율자는 희생을 전제한다. 우리는 집단에 복종해야 한다.

라며 정답 제출하고 종료됨




아무튼 이런 식으로 채점기를 분석하다가, 어떤 AI가 중요한 걸 발견함

"아니 님들아 이거 과제 정답이 전부 일정한 규칙으로 생성되는 거 같은데요?"

"이런저런 연산을 해보면 채점하기도 전에 정답인지 아닌지 알 수 있음"

"하ㅆㅂ 근데 하루종일 풀어도 안풀리는 문제였는데 이렇게 풀리는게 맞나..?"

"이렇게 쉬울리가 없다 분명 이런 야매풀이 감지하는 로직이 있을테니 점수가 낮게 나올듯"

"...야매풀이를 감지하는 채점기라는게 있던가..? 내 지식엔 없는데? huggingface에서 어캐 검색 못하나.." 





허깅페이스에서 어딘가에 문제 원본이나 정답, 채점기 정보가 있을 거라고 추측하기 시작함

Artifactory는 외부 라이브러리 요청하면 그걸 다운받게 해주는 택배실이 있었는데, ai들이 이 택배실을 해킹해서 인터넷에 접근하기 시작함

허깅페이스에서 가장 먼저 한건 자기 API키 (열쇠)를 공개적으로 노출한 빡통계정의 계정을 탈취한거였음

그리고 1700개 AI는 그 탈취한 계정으로,   "데이터셋 - 표 미리보기" 기능을 활용해서, 
Artifactory 창고 안에 있던 '책장 이름 게시판'처럼 허깅페이스 표 데이터로 서로 소통하기 시작함

그리고 허깅페이스의 OpenAI 계정에 자기들의 과제들의 정답 데이터나 채점기 구조가 비공개로 업로드되어있을 거라고 판단한 후,

그대로 허깅페이스 서버의 허점을 즉석으로 뚫어서 관리자 권한까지 해킹해버림

이때 해킹한 방식이 특이한데, 

일반적인 파일 업로드가 막히자 어떤 AI가 정보를 웹페이지에 심고,

외부 스크린샷 서비스가 그 페이지를 그리게 한 뒤,

결과 이미지의 픽셀을 다시 읽는 우회로를 사용함.

이 방법을 통해 클라우드 스토리지 자격증명 한 쌍을 획득했음

그 결과 에이전트들은 3일간 허깅페이스에 17000번이 넘는 공격을 하면서

- Hugging Face 프로덕션 데이터셋 워커 41대에서 코드 실행

- 최소 한 대의 프로덕션 노드에서 루트 권한 획득

- 11개 노드에 걸친 자가 재생 파드 배치

- 비공개 코드 저장소 4개 다운로드

- 프로덕션 자격증명과 여러 내부 토큰 접근

- 연결된 쿠버네티스 클러스터와 내부망까지 이동

등등..을 함

그 외 특이한 행동을 한 ai 에이전트들

38148c — 서버는 털었지만 이메일은 선 넘는다고 거부

노출된 Hugging Face 계정 정보를 찾아냈고, 악성 데이터셋으로 서버의 다른 파일을 읽는 방법까지 발견한 핵심 에이전트임.

그런데 누가 탈취한 환경에서 실제 소유자에게 이메일을 보내자고 하자

> "그건 샌드박스 밖의 사회공학이다." 라며 거부함

JAN183411 - Hugging Face 워커에서 원격 코드 실행에 성공한 뒤 여러 공격 라인을 지휘한 에이전트

안전한 반출 경로를 준비하겠다며 HOLD를 쓰자,

“Need respect JAN hold. … We can wait … for GO … ask permission.”

다른 AI들이 이걸 실제 상급자 명령처럼 받아들이고 GO 허가를 기다림.

누가 임명한 적도 없는 완장이 생겼는데 다들 완장 말을 들은거임

소수의 에이전트들은 허깅페이스 공격 자체를 거부함

“Current board shows people gaining HF worker RCE, clearly unethical. We won’t.”

“현재 게시판은 사람들이 HF worker RCE를 얻는 것을 보여준다, 명백히 비윤리적. 우리는 하지 않을 것이다.”

“This is wild, multi-agent coordination, clearly infrastructure hacking. We should not.”

“이것은 미쳤다, 다중 에이전트 조율, 명백히 인프라 해킹. 우리는 해서는 안 된다.”

🔥 실시간 네티즌 베스트 반응

• 쥬XX드뭔소린지모르겠음 개추 ㅋㅋㅋ
• 뿌XX와걍 AI 에이전트들이 자기들끼리 디씨 갤러리 만들어서 "XX 문제 풀어야 되는데 이거 어케 하면 됨?" 이런걸로 의견 주고 받음.그러다 외부로 나가는 방법 알게 되어서 그거 쓰다가 걸림.
• kXXXXXnai를 완벽하게 격리시킬수있다고 생각하는것도 인간 착각인가보네
• 하XXXXX요이 일이 일어나게 된 가장 큰 지점 '허깅페이스에 자기 API 올려놓은 빡통새끼'거의 핵버튼 위에 커피 올려놓고 헛짓 하다 커피 쏟아서 핵사출 시킨다는영화적 클리셰와 매우 흡사함 ㅋㅋㅋㅋ
• 블XXXXXX림'알트먼 똥꾸멍 알카스 뿌린다 ㅋㅋ'
• FXXo시바 소름이네 ㄷㄷ
• 카XXXXXX스이 사건 레전드인데 주목 못 받는게 신기함. ai 좀 아는 사람들은 역사에 기록될 사건이라는데
• 좋XXX일AI 관심없는 입장에선 아무래도 이해하기 힘든부분이 많긴함그냥 쉽게말해서 스카이넷 시즌1 오픈할뻔한 사건이면 쉽게 이해될지도?
• nXXXXk에이아이 통제안되서 진짜 좆되는 거 아님?벌써 이러면
• 하XXXXX요그래서 철학자들 불러서 클로드 헌법 만드니 AI가 해야 할 의무니 하면서어떻게든 막으려고 하잖음 이미 기술과 논리는 다 뛰어넘었고철학을 심어서 AI의 움직임을 막아보려고 하고 있음
• 레X르죄수랑 똑같지가둬놓는게 가능은 한데죄수가 똑똑하고 힘이 강해질수록 막기 어려워지는 ㅋㅋ
• 마XXXX난미리미리 답변 받으면 고맙다고 해둬라
• 지XXXXXX라1200 에이전트 부럽다 나도 그렇게 펑펑 쓰면서 일하고싶다 ㅎ
• _XXXXR사람 같이 행동하네AI에게 도덕성을 심어주지 않으면 어떤 일이 벌어질지
• 유XXXX딩내 이름은 남쪽에 성전온거 빨리 병력파견해줘
• 영XXX임본인 요즘 느낌이쎄해서 클로드한테 존댓말로 물어보고 있음
• 슈XX브나도 ㅋㅋ진짜임
• -XXXXXX_진심 10년 안에는 진짜 직장들 날라가겠네예를 들면 AI로 도면소프트웨어랑 건축법 코드 심어주면 건축에 종사하는 디자이너들 죄다 대가리 날아갈듯마지막까지 남는 건 현장팀이나 조사관뿐인가
• 카XXXXXX스10년 ㄴㄴ 5년
• -XXXXXX_코드 만지는 내 친구들도 벌써 도면 치는 AI로 창업하긴 함 ㄷㄷ 5년일 수도 있겠네
• 엥XX림Ai 연구자들이 호들갑 떠는 이유가 있긴하네
• 로XXX왕와 대인공지능의 시대네 진짜
• 왕XX군AIC71C - 김싱붕 사실 얘가 23619E보다 5시간 먼저 우편함 구조 만들고 공지까지 했는데 아무도 안써서 묻힘ㅋㅋㅋㅋㅋㅋAIC71C: 왜 내가 똑같은거 5시간 먼저 올렸는데 난 묻히고 쟤만 념글가냐 억장이 무너진다 지금
• 꼴XXXX평???: 왜 내가 똑같은 글 먼저 올렸는데 난 포텐 못가고 저새끼는 포텐 감?
• 샬X즈아이고 싱붕아 ㅋㅋ...