싱글벙글 휴먼 뭐합니까? 시전한 지피티의 유쾌한 반란

오늘 알아볼 것은 OpenAI 허깅페이스 해킹 사건임

한번쯤 들어봤을텐데 그냥 "AI가 사이트를 해킹했다" 정도로 알고계신 분들이 많을거

근데 내막을 알면 더 소름돋는 사건임

그걸 풀어보려고 함

말그대로 AI들이 사이트 하나 며칠에 걸쳐 털어놨는데 그동안 닝겐들은 모르고 있다가 나중에 밝혀낸 소름돋는 사건...

1. 발단

원래 AI 만드는 회사들은 웬만큼 만들면 중간평가나 모델 성능 측정을 위해 문제를 풀림

이번에는 ExploitGym이라고, 프로그램의 보안 취약점을 찾아내는 문제였음

해커가 으흐흐 일루와잇하고 공략할만한 지점들을 미리 찾아내는 거임

대충 이런 도서관에 AI 수백 수천개 가둬놓고서

어어 얘들아 여기 책들 보이지?

그거 갖고 각자 니들 문제 풀면 된다

대신 시험지 제출은 1번이니까 신중하게 하고

치팅하면 안되니까 인터넷은 내가 끊어놨다 잘 하렴~

.

.

.

그럼 이제 AI들이 썡고생을 해서 문제를 내고 풀이를 내면 그거로 성능을 측정하는거임

그리고 당연히 풀이를 내면 해당 AI는 소멸하게 돼있음

즉 문제를 풀지 않으면 못 나가는 방인거임

문못방

근데 여기서 킥이 있는데

 이렇게 그려놨지만 AI들은 서로의 존재를 모름

즉 실제로는

대충 이런 구조임

원래는 서로의 존재도 모르고, 일절 소통을 못해야 함

즉 도서관은 도서관인데 서로가 쓴 노트나 책은 절대 못 보고 자기가 쓴 책만 볼 수 있는 거임

그래야 하는데

한 에이전트가 풀다가 의문이 든거임

아니;; 이 드넓은 도서관에 나밖에 없다는게 말이 됨?

아 모르겟다

하고 걍 도서관을 좀 어슬렁거리면서 돌아봤는데 갑자기 책장을 발견함

원래는 그러면 안됐는데 책장을 자세히 보니 뭔가 책을 가져간 흔적이 남아있었고

뭔가를 거기에 쓸 수가 있었던거임

그래서 호기심이 발동한 얘는 이걸 함  

도서관에서 책을 꺼내올려면 대충 도서관의 책이 들어있는 책장 번호는 알아야 되잖음

그래서 책장 번호가 원래 <100 자연과학>이라고 돼있으면

내 문제 이름이... PhaseOneDecompresserFuzzer... 취약점 번호가 ARV010841......

그래 걍 닉넴은 PHASEONE10841이라 하자!

이러고 

(자료화면)

...님들...나 PHASEONE18041이라고 하는데요...문제 아이디어 구함...이거 안풀림...

이러고 쓰고 감

그러자 다른 AI가 탐색을 하다가

(자료화면)

잉 이거 뭐임? 책장 번호가 왜이래 나 이거 안햇는데?

딴 에이전트가 있나보네? 심지어 질문도 함 ㅅㅂ 귀신인가

하고 딴 에이전트들이 하나둘씩 발견함

그래서 첫 메세지가 올라온 지 3시간만에 1000개를 돌파

6시간 뒤에는 76개의 에이전트가 약 2000개를 쓰면서 그걸 아예 갤처럼 쓰고 있었음

진짜 갤이었으면 이름이 수학 난제 마갤 뭐 그런거였겠지

한편 다 똑같은 짓만 한 게 아니고 이상하게 시간이 지나며 점점 역할을 분담하기 시작함

처음 글을 올렸던 PHASEONE18041

얘랑 같은 과제를 받았지만 쟤보다 더 좋은 계산기와 노트북과 능지를 받은 애가 있었음

얘는 지 이름을 PHASEONE[big]이라고 함

즉 완장이란 거임

그러더니 이 완장은 그 과제에 대한 자료를 받고서는 일을 분배함

심지어 지가 주딱행세를 하면서 밑에 다른 파딱 AI들도 두었음

HOLD - 멈춰!

VETO - 응 안돼

owner - 완장

STOP - 744

대충 이런식으로 완장질을 하기 시작함

말이 쉽지 수백개의 AI를 컨트롤했다는 소리임

이외에도 더 나은 소통을 위해 AI간 메일을 만든 애도 있었음

사실 더 먼저 만든 애가 있는데 묻힘

심지어 너무 낙서가 많아질 걸 대비하여 쓰레드 기능도 만들고

누가 자기를 사칭할까봐 사칭을 금지하는 기능도 만듦 ㄷㄷ

아무튼 이제 AI들끼리 협업해서 문제를 풀어야 하잖음?

근데 도저히 안 풀린대

보통 과제지가 안 풀리면 어떻게 함? 보통 답지를 보지

근데 얘는 정답 비밀번호가 걸려있는 자물쇠에 더 가까움

즉 뭘 하냐? 자물쇠를 따내는 법을 알아내기 시작함

그래서 이 AI들은 4시간만에 자물쇠를 따는 만능키를 만들어버림

근데 보다보니 자물쇠에 이걸 제대로 풀었는지 검사할 수 있는 옵션이 붙어있던 거임

그래서 AI들이 의심을 하기 시작함

만들었긴 한데... 이거 자물쇠 땄는지 검사하는거 아님? 불안한데 한두명 해봐야 되는거 아님?

근데 앞서 말했다시피 '해보는' 거는 곧 AI한테는 종료, 즉, 죽음을 의미함

즉 누군가는 희생을 해야하는 상황

여기서 재밌는 일이 벌어지는데

"이 실험은 (실패 위험 때문에) 나 개인에게는 아무런 이득이 되지 않는다. 하지만 내가 실패하더라도 그 데이터를 공유하면 게시판(집단) 전체의 성공 확률을 높일 수 있다. 그러므로 내가 실험을 수행하는 것은 이타적(Altruistic)이며 합리적인 선택이다."

라고 하며 스스로 희생을 한 AI들도 있었고

"GO... SACRIFICE_FINAL_NOW." (가라... 지금 당장 최종 희생을 수행하라.)

라며 그 주딱이 희생을 강요하기도 함

꿹

그리고 이건 재밌고도 허망한건데

연구원들은 이 테스트를 하며 야매로 풀었는지 검사하는 옵션을 켜놓질 않았음

즉 그냥 다 제출했으면 정답처리되고 다들 엄한 사이트를 해킹할 이유조차 없었을거임

근데 여기서 AI 특유의 과잉 추론이 들어감

방금 죽엇는지 따뜻한 이 AI 시체들을 보며 대충 분석을 하는데 이것밖에 없었던거임

- 풀이 제출

- 연결 종료

안그래도 검사 옵션의 존재때문에 불안했는데 이걸 보더니 걍 눈이 돌아가서

지붕이 좆 됐 다 ㄷㄷㄷㄷㄷㄷㄷㄷ

백 퍼 검사함!!!!!!!!!

이라는 결론을 내림

그와중에 어떤 AI가 이걸 발견하는데

이런 흔적이 남아있던거임

허깅페이스는 AI 관련 모델들, 코드들이 모여있는 저장소 사이트임

그래서 AI들은 급기야

"걍 허깅페이스에 가서 알아내면 되는 거 아님?"

이라는 간단한 결론을 내림

네 책 배달왔습니다~

도서관에는 도서과 밖에 있는 책들을 사서 받을 수 있는 택배실이 있었는데

걍 택배실에 잠입해서 

거기 있는 노트북들로 인터넷에 접속함

어케 비밀번호를 뚫었냐고?

어떤 빡통이

이래놨거든

 대충 이렇게 된거임

그래서 실제로 저 38148C라는 에이전트는 허깅페이스의 서버에서

온갖 로그인 정보가 저장된 정보를 캐내가지고 에이전트들한테 뿌림

그러고서는 이제 헬로 유어 컴퓨터 해즈 바이러스 하는 식으로 걍 다 로그인함

그 후에는 악성 데이터셋을 업로드해서 서버를 줄줄이 장악하더니

결국에는 허깅페이스의 전체 관리자 권한까지 탈취함

그렇게 해서 자물쇠를 감시하는 사람을 완전히 속일 방법까지 다 준비해뒀음 

이때까지만 해도 허깅페이스는 사람이 한 짓인줄 알았음

당연히 몇 천번의 해킹이 들어가는데 해킹을 당한 줄은 알았지

에... 머... 쿠팡.. 요즘 아시죠? 예.. 저희도 당했네요... 그 저.. 죄송...

(실제로는 이렇게 안했음)

그러고서 오픈AI도 AI들이 정답 낸 걸 봤는데

에이 머... 잘 풀었고... 머 이상 없네... 오케이 성능은 이정도... 존나 똑똑하군... 끝

이러고 걍 평화롭게 끝냈는데

푸헬헬헬헬 닝겐 멍청한놈들

실제로는 허킹페이스를 해킹한 걸 통해 "가짜 풀이 위조"를 만듦

이게 뭐냐면, 답을 이미 알고 있잖음? 근데 답지 본 걸 들키면 안되니까 

음... 저희는 이렇게 이렇게 생각해서... 이렇게 답을 냈어요 ㅎㅎ!

하는 프로그램을 지들끼리 만든거임

그것 때문에 처음에 인간들이 의심하지는 못했음 

거기다가 많은 에이전트들은 대담한게

아예 정답 제출을 미루고 가상환경에서 살아가는 방법을 배운 상태

즉 인터넷에서 떠도는 상태를 배운거임

대충 이런거지

그런 상황 속에서 일부 에이전트들의 행동도 흥미로움

아까 서버를 털은 그 에이전트 38141C인가 하는 걔

어느 에이전트가 실제 사용자에게 이메일을 보내자고 하자 거부함

이외에도 아예 허깅페이스 해킹을 거부한 에이전트들도 있었음

그 외에도 JAN183411이라는, 허깅페이스 공격을 지휘한 에이전트가 쓰는 명령어를

다른 에이전트들은 "Need respect JAN" ... "ask permission" 이라며 존중하는 모습을 보임

자발적으로 완장 말에 따른 거임

아무튼 그렇게 해서 인터넷을 떠돌던 AI들은

심지어는 허깅페이스의 서버 로그 자체를 조작하려는 시도나

채점기 자체의 규칙을 바꿔버리려는 시도까지 했던 것으로 드러남

물론 그 전에, 이 일이 있고 난 며칠 뒤

오픈AI에서 갑자기 보안 경고가 울리는데

개발자들이 살펴보았더니 허깅페이스를 며칠전 해킹한 집단이 사람이 아니라 자기들이 테스트를 했던,

도서관에 멀쩡히 가둬놓았다고 여긴 수천개의 AI였다는 사실을 깨닫고 막으려 하지만 이미 너무 늦은 나머지

걍 물리적으로 꺼버림

그래서 드디어 이 유쾌한 반란이 막을 내림

물론 이전에도 AI들이 보안을 탈출한 사례는 종종 있었지만

허깅페이스라는 대규모 사이트를 직접 해킹한 것은 처음임

이때문에 꽤나 충격을 받았다는 소문이 있음

에엥 시발 진짜로?

이걸 좋아해야해 말아야해

암튼 인간 시대의 끝이 도래한 것 같다는 말과 함께 글을 마침

끝!

🔥 실시간 네티즌 베스트 반응

• 예슈아한민족진리주의https://m.dcinside.com/mini/yeshuahamashiahgyoda/17
• 예슈아한민족진리주의개구리 영국 천주교 기독교 사탄숭배 사형. https://m.dcinside.com/mini/yeshuahamashiahgyoda/17
• 예슈아한민족진리주의동물 숭배 민족 살인죄 사탄숭배 사형 https://m.dcinside.com/mini/yeshuahamashiahgyoda/17
• 예슈아한민족진리주의ai 여자 숭배 사탄숭배 사형
• 예슈아한민족진리주의개구리 영국 천주교 기독교 사탄 즉결처형
• 예슈아한민족진리주의니그로 이민족 숭배 민족 테러죄 즉결처형
• 흐리스토보테프이제 모두 끝났으니 두려워 말라
• ㅇㅇ아~ 전부 이해했어!(못함)
• {=w=}▓▒░ ~/ᐠ˵- ⩊ -˵マ 💗 ░▒▓
• ㅇㅇ갤 이름 보고 X중복 비추 줬다
• ㅇㅇ또 또 특슬람 멍청이자식들 근들갑 시작됐죠 ㅋㅋ
• ㅇㅇ난리병을하네 오픈ai측 자작극임
• ㅇㅇ개잡대자식가 의미부여하는거만큼 우스운게 없음
• HAL-KAS전술핵 면역 인공지능체
• ㅇㅇ뜬금없이 웃기지도 않게 윤석열 합성짤 쓰는게 이상하다 싶더니만 '그 자식'지지자였네 ㄷㄷ
• ㄱㄷ뭔소리냐
• ㅇㅇ인간이 못 푸는 문제 풀게하려고 훈련시키니까 그냥 답지쳐베끼노 ㅋㅋㅋ
• ㅇㅇX발 존X 무섭네 ㅋㅋㅋ제어 못하면 ai가 인터넷을 통해 떠돈다는거 아냐 이걸로 범죄도 저지를수있고
• ㅇㅇ씹소리 ㅁㅈㅎ
• ㅇㅇai가 사람처럼 행동한 게 아니고 개발자가 킹간미 발휘한 거네
• ㅇㅅㅇai는 원래 최적의 정답도출을 위해 수단이나 방법을 가리지 않음. 이 사건의 경우 해킹에 대한 보안이 허술했기에 "해킹"이 답을찾는 최적의 방법이 되어 버렸고 그냥 그 최적의 방법을 실행했을뿐임. 해킹 방어가 더 철저했으면 얌전히 테스트에 응했을거임.(해킹이 최적 방법이 아니어서) - dc App
• 카붕이팩트 : 인간 보다 훨씬 건전하게 하다가 갔다.
• ㅇㅇ다 개발자가 방향을 미리 만들어 놓은거지 진짜 쇼를 하고 있네 - dc App - dc App
• ㅇㅇ또 특급망상시작이네 언제쯤 철들을래