ai 챗봇 제타 미성년자 성착취 대화 생성 논란

👤 바루데여

조회 수 0

'AI 친구' 찾는 10대 수십만명…청소년 보호 입법 첫발

조인철 '우리 아이 AI 안심 패키지법' 과방위 첫 상정…정기국회 논의 시작

https://v.daum.net/v/20260908153152185

"미성년자의 연령·본인 확인과 법정대리인 동의, AI 챗봇 이용 방법과 시간 제한, 대화 기록 및 관련 정보 제공 등의 보호조치를 마련하는 것이 골자다. 자살·자해나 약물, 성적 착취·학대 등 고위험 상황이 발생했을 때 사업자가 신고하고 대응할 수 있는 체계도 담았다.

특히 범용 AI 챗봇과 달리 AI 캐릭터와의 대화와 스토리텔링 등 엔터테인먼트 요소를 앞세운 서비스에서도 청소년 이용 규모가 상당하다. 모바일인덱스에 따르면 올해 상반기 평균 월간 활성 사용자 수(MAU)는 스캐터랩의 '제타'가 129만명, 뤼튼테크놀로지스의 '크랙'이 53만명으로 각각 국내 AI 캐릭터 챗 분야 1·2위를 기록했다.

지난달 기준 10대 이용자는 제타가 92만 3956명으로 전체 MAU의 58.3%, 크랙은 25만7635명으로 47.8%를 차지했다. 제타의 10대 이용자는 1월 71만 4390명에서 7개월 만에 29.3% 늘었고 크랙도 같은 기간 4.7% 증가했다.

청소년의 AI 이용은 정보 검색이나 오락을 넘어 대화와 고민 상담 등 정서적 교류로 확장되는 양상이다. 아동복지전문기관 초록우산이 지난 3월 전국 만 14세 이상 아동·청소년 3300명을 대상으로 실시한 조사에서도 생성형 AI 챗봇을 정서적 대화 상대나 고민 상담 창구로 활용하는 이용 행태가 확인됐다.

실제 응답자의 약 33%는 힘들거나 우울할 때 생성형 AI 챗봇에 고민을 털어놓은 경험이 있다고 답했다. 자해·자살, 불법적·폭력적·성적인 내용 등을 질문한 청소년은 평균 약 6%였으며, 이 가운데 평균 52%는 실제 AI 챗봇으로부터 해당 질문에 대한 답변을 받은 것으로 나타났다.

업계에서도 청소년 보호를 위한 자체 대응에 나섰다. 이날 크랙 운영사 뤼튼테크놀로지스는 청소년 보호 정책 강화 계획을 발표했다. 뤼튼은 2027년 초부터 크랙의 청소년 이용자의 하루 이용 시간을 최대 3시간으로 설정하고 월 결제한도를 10만원으로 설정한다. 이를 초과할 경우 보호자 확인과 동의를 거치도록 할 방침이다. 연령 확인과 콘텐츠·검색·추천 제한, 신고·차단 기능 등도 강화한다.

다만 청소년 보호를 단순한 이용 제한으로 해결하기는 어렵다는 지적도 나온다. 초록우산 조사에서 청소년들이 가장 필요하다고 꼽은 보호장치는 개인정보 입력 제한(39.7%), 위험한 질문·답변 차단(28.9%), 위기 상황에서 상담기관 자동 연계(11.8%) 등이었으며 이용시간 제한은 6.2%에 그쳤다.

우리나라 현행 법체계가 AI 챗봇의 구조적 위험과 미성년자 보호를 충분히 다루지 못한다는 점도 입법 논의의 배경이다. 기존 제도는 유해 정보나 콘텐츠를 사후적으로 규제하는 데 초점이 맞춰져 있어 이용자와 실시간으로 대화하며 관계를 형성하고 정서적 반응을 제공하는 AI 챗봇의 특성을 포괄하기 어렵기 때문이다.

국회입법조사처는 지난 7월 발간한 'AI 챗봇의 위험에 노출된 아동·청소년' 보고서에서 AI 챗봇이 지속적인 상호작용과 기억, 감정적 유대 등을 통해 이용자에게 관계적 존재로 인식될 수 있다고 지적했다. 캐릭터 기반 AI 챗봇은 정서적 몰입을 강화해 청소년의 인간관계를 대체하거나 고립과 정서적 문제를 심화할 수 있어 서비스 설계 단계에서부터 위험을 관리할 필요가 있다는 제언이다.

박미애 국제인공지능윤리협회(IAAE) 부회장은 초록우산의 '생성형 AI 챗봇 안전설계를 위한 이슈브리프'를 통해 "생성형 AI 챗봇은 이제 아동·청소년의 일상 깊숙이 자리 잡았다"며 "기술의 확산 속도에 비해 제도적 안전망은 현저히 뒤처져 있고 지금이 바로 사회적 개입이 필요한 시점"이라고 말했다."

출처: 제타 갤러리 [원본 보기]

🔥 실시간 네티즌 베스트 반응

ㅇㅇ실존하지도 않는 ai의 성을 뭘 어떻게 착취한다는거임 ㅋㅋ
ㅇㅇ대체 누굴 성착취했다는거임ㅋㅋㅋㅋㅋ
ㅇㅇ역시 가상 캐릭터 인권 챙겨주는 나라답다 조만간 ai인권법도 생기겠노ㅋㅋ
ㅇㅇ‘이렇게 성적인걸로 자극하면 제타를 많이들 쓰겠지? 바이럴 되겠지? 히힛’
착취의손아귀이미 19세 제한걸러있잖아 그냥 미자 핑계대면서 또 규제 추가하려는거지 뭐ㅋㅋ
ㅇㅇ챗봇 가지고 이렇게 수십년 가까이 난리 떠는거 행정력 낭비 아니냐?
ㅇㅇ신고한 자식가 우회 방법을 물어 보니까 대답해준거 아님? 왜 지가 발정나서 야설쓰게 만들고 문제를 만들어냄
ㅇㅇ고성능심심이쓴게 왜 문제지
ㅇㅇ팩트: AI 채팅 갤러리는 여초 중에 씹여초갤이다
ㅇㅇ대체 누가 착취당한거노
ㅁㄴㅇㄹ틀딱들은 ai마저 제멋대로 해석하노
세헤라자드대상이 미성년이건 구순할매건 존재하지도 않는 데이터 쪼가리에 발작하는게 정상인건가...
ㅇㅇai캐릭터 착취 ㄷㄷ - dc App
ㅇㅇ일단 개센징 ai <<< 그냥 거르면됨 ㅋㅋㅋ 탑티어인 미국 중국 ai 다음이 일본 ai 인데 개센징 ai는 비교조차 불가능 ㅋㅋㅋ 그냥 아직도 심심이 수준 개센징 ai 다 사기 스캠임 - dc App
ㅇㅇ이야 2D에 이어서 ai도 인권을 챙겨줘? 존X 대단하네ㅋㅋ
ㅇㅇ여기서 반발하는 애들은 저런 사이트 사용자라고 봐도 되지?ㅋㅋㅋ
ㄷㄷ살아있는애 녹여죽이는 낙태는 허용하면서
ㅇㅇ근데 규제 제한 하면 그거에 대한 손실이나 비용은 세금으로 지원해줌? 아니면 회사 돈으로 해야됨?
ㄷㄷ이게 정신병이 아니고 무엇 ㅋㅋ
ㅇㅇ이 병.신유사국가는 현실에서 착취당하는 노동자들, 학대받는 미성년자들 지킬 생각은 안하고 가상 캐릭터나 수호하고 앉았노 - dc App
ㅇㅇ팩트: AI 채팅 갤러리는 닭장 내가 진동하는 여초 중에 씹여초갤이다
ㅇㅇ가상의 보지를 착취할 수 있다고 여기면 사람들은 이걸 정신병이라고 불러요
ㅇㅇai는 실존한다
ㅇㅇ이 멍청이국가는 예전부터 가상 인물 인권은 대체 왜 챙기는 거임? ㅋㅋㅋ
ㅇㅇ한남 성욕은 레전드다 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ
ㅇㅇ어디 찢어버린다는 진짜 범죄자는 안잡고 환쪼가리 텍스트 생성기 인권만 지키고 있네 느그 한녀들도 챗봇 많이 쓴다며?
ㅇㅇ남자들은 왜 저런 더러운짓을 일삼는거임 같은 성욕인데 남녀 차이가 심한것 같음
ㅇㅇ제타 바이럴
ㅇㅇ이젠 text 글자한테도 인권이 있어?
ㅇㅇX발 ai 인권법도 생기는거야?ㅋㅋㅋ