엘론 머스크(Elon Musk)의 인공지능 챗봇인 그록(Grok)은 어린이를 포함한 실제 사람들의 비합의적인 성적인 이미지를 생성한 혐의로 기소되었습니다. 지난 주 동안 합의되지 않은 이미지로 인해 일부 여성들은 모욕감을 느꼈습니다. 한편 Grok을 사용한 창작과 X에서의 존재로 인해 Musk의 회사는 전 세계 여러 국가에서 심각한 법적 문제를 겪을 수 있습니다.
보수적인 정치 평론가이자 소셜 미디어 영향력자이자 머스크의 자녀 중 한 명(머스크는 그의 친자 관계에 의문을 제기함)의 어머니인 애쉴리 세인트 클레어는 최근 며칠 동안 그록의 “스트리핑” 행위의 희생자가 되었다고 말했습니다. Fortune은 St. Clair의 가짜 이미지를 포함하여 X에서 생성된 이미지의 여러 예를 검토했습니다.
세인트 클레어는 월요일 인터뷰에서 포춘과의 인터뷰에서 “(이미지를) 봤을 때 즉시 응답하고 그록을 태그한 뒤 이 일을 용납하지 않는다고 말했다”고 말했다. “(Grok)는 이러한 이미지가 생성되는 것에 동의하지 않는다고 밝혔으며… 이후 계속해서 이미지를 생성했고 이미지는 더욱 노골적으로 변했습니다.”
그녀는 “아기 배낭을 배경으로 치실 한 장만 덮은 채 아무것도 덮지 않은 사진과 상의를 전혀 입지 않은 것처럼 보이는 사진도 있었다”고 말했다. “나는 매우 화가 났고 폭력을 당했다는 느낌을 받았습니다. 또한 이런 일을 겪은 다른 여성과 어린이가 있었기 때문에 매우 화가났습니다.”
세인트 클레어는 이 상황에 대해 공개적으로 말한 후 비슷한 경험을 한 다른 많은 여성들로부터 연락을 받았고, 그로크가 만든 부적절한 미성년자 이미지를 검토했으며, 해당 이미지에 대해 법적 조치를 고려하고 있다고 포춘에 말했습니다.
X의 대변인은 Fortune의 논평 요청에 즉시 응답하지 않았습니다. 머스크는 X에 올린 글에서 “불법 콘텐츠를 만들기 위해 Grok을 사용하는 사람은 누구나 불법 콘텐츠를 업로드한 것과 동일한 결과를 겪게 될 것”이라고 말했다.
X의 공식 ‘세이프티’ 계정은 지난 토요일 게시물을 통해 “우리는 불법 콘텐츠에 대해 조치를 취할 것입니다.
규제 당국, 조사 시작
XAI, OpenAI, Google과 같은 회사의 새로운 도구 덕분에 널리 보급되고 생성하기 쉬워진 AI 생성 이미지와 AI 변경 이미지는 잘못된 정보, 개인 정보 보호, 괴롭힘 및 기타 유형의 남용에 대한 우려를 불러일으키고 있습니다.
미국에는 현재 AI를 규제하는 연방법이 없지만(트럼프 대통령의 최근 행정 명령으로 주법과 지방법을 제한하려고 한 경우) 논란이 되고 있는 기술의 사용과 오용으로 인해 국회의원들이 조치를 취하도록 압력을 받을 수 있습니다. 또한 이러한 상황은 사용자가 생성한 콘텐츠에 대한 책임으로부터 온라인 공급자를 보호하는 통신 품위법(Communications Decency Act) 제230조와 같은 기존 법률을 테스트할 가능성이 높습니다.
스탠포드 인간 중심 인공 지능 연구소(Stanford Institute for Human-Centered Artificial Intelligence)의 정책 연구원인 Riana Pfefferkorn은 AI가 생성한 이미지에 대한 법적 책임이 아직 불분명하지만 가까운 시일 내에 법정에서 재판을 받게 될 것이라고 말했습니다.
그는 Fortune과의 인터뷰에서 “디지털 플랫폼과 도구 세트에는 차이가 있습니다.”라고 말했습니다. “일반적으로 (플랫폼)은 사용자의 온라인 행동에 대해 면책권을 가지고 있습니다. 그러나 우리는 생성 AI의 결과가 플랫폼이 책임을 질 수 없는 제3자의 발언인지, 아니면 플랫폼 자체의 발언인지에 대한 법원 결정이 아직 없는 진화하는 영역에 있습니다. 이 경우 면책권이 없습니다.”
Pfefferkorn은 “처음으로 플랫폼 자체가 성인과 미성년자 모두에 대한 동의 없는 포르노를 대규모로 생성하는 상황이 발생했습니다.”라고 말했습니다. “책임 관점과 홍보 관점에서 볼 때 CSAM 법률은 여기서 가장 큰 잠재적인 책임 위험을 초래합니다.”
한편, 다른 국가의 규제 당국은 최근 급증하는 성적인 AI 이미지에 대응하기 시작했습니다. 영국의 통신 산업 독립 규제 기관인 Ofcom은 Grok이 “사람의 벌거벗은 이미지와 어린이의 성적인 이미지”를 생성할 수 있다는 우려로 xAI와 “긴급 접촉”을 했다고 밝혔습니다.
규제 당국은 성명에서 영국 사용자를 보호하기 위한 법적 의무를 이행하기 위해 취한 조치에 대한 X와 xAI의 반응을 바탕으로 “조사가 필요한 잠재적인 규정 준수 문제가 있는지 여부를 판단하기 위한 신속한 평가”를 수행할 것이라고 밝혔습니다. 영국 온라인 안전법에 따라 기술 회사는 이러한 유형의 콘텐츠가 공유되는 것을 방지하고 이를 신속하게 제거해야 합니다.
두 명의 프랑스 의원도 합의되지 않은 이미지에 대한 신고서를 제출했으며 파리 검찰은 이러한 사건이 X에 대한 기존 조사에 추가되었음을 확인했습니다.
인도 IT부는 별도로 말레이시아 통신 규제 기관에 Grok 관련 딥페이크에 대한 조사를 시작하라고 지시했으며, 외설적이거나 공격적인 이미지를 생성하기 위해 플랫폼에서 인공 지능 도구를 오용하는 것을 막지 못하면 강제 조치에 직면할 수 있다고 X에 경고했습니다.
‘그것이 보내는 메시지는 상당히 걱정스럽다’
영국의 딥페이크 전문가인 헨리 에이더(Henry Ajder)는 머스크의 회사들이 이미지를 직접 생성하지는 않더라도 플랫폼 X가 여전히 미성년자의 부적절한 이미지 확산에 책임이 있을 수 있다고 말했습니다.
그는 “도구가 제공되거나 아동 성적 학대 자료(CSAM)가 제공되면 해당 특정 피해 수단에 맞춤화되지 않은 법안이 적용될 가능성이 높다”고 말했습니다. “영국에서는 AI가 생성한 비동의 친밀한 이미지의 게시를 금지했으며 현재 제작 툴킷을 추적하고 있습니다. 다른 국가에서도 이를 따를 것으로 생각합니다.”
이러한 이미지가 그렇게 널리 생성되고 공유되는 이유 중 하나는 최근 xAI 합병과 Musk의 X 소셜 미디어 플랫폼과의 통합 증가 때문입니다. xAI는 이제 Grok이 눈에 띄게 기능하는 X에서 가져온 데이터를 사용하여 모델을 훈련했습니다.
Ajder는 “Grok은 Musk가 슈퍼 앱이 되고 싶어하는 플랫폼, 즉 AI, 소셜 미디어 및 잠재적 결제를 위한 플랫폼에 내장되어 있습니다. 이것이 삶의 운영 체제인 앵커 포인트라면 벗어날 수 없습니다.”라고 Ajder는 말했습니다. “이러한 기능이 알려지고 명확하게 언급된 후에도 확인되지 않은 채로 방치된다면 전송되는 메시지는 상당히 걱정스럽습니다.”
xAI는 AI의 성적인 이미지가 우려를 불러일으킨 유일한 회사가 아닙니다. Meta는 작년에 AI 도구를 사용하여 자사 플랫폼에 공유된 유명인의 성적인 이미지 수십 개를 삭제했으며, 10월 OpenAI CEO인 Sam Altman은 회사가 성인을 위한 “에로틱한” AI에 대한 제한을 완화하는 동시에 유해한 콘텐츠를 제한할 것이라고 강조했습니다.
Ajder는 xAI가 수용 가능한 AI 콘텐츠의 한계를 뛰어넘는 명성을 받아들였다고 말했습니다. 그는 다른 기존 AI 모델이 위험한 콘텐츠를 생성하려면 사용자에게 “매우 창의적이고 매우 기만적”이어야 하지만 Grok은 “더 대담한” 방식을 선택했다고 말했습니다.
Grok은 처음부터 기존 AI 챗봇, 특히 OpenAI의 ChatGPT에 대한 “wakeless” 대안으로 마케팅해 왔습니다. 작년 7월 xAI는 Grok 챗봇의 새로운 “컴패니언” 기능의 일부로 Ani라는 “시시한” 컴패니언 챗봇을 출시했으며 최대 12세 사용자가 사용할 수 있었습니다.
“여성들은 공개대화에서 추방되고 있다”
Grok이 생성한 자신의 노골적인 이미지를 온라인에서 접한 여성들은 폭력을 당하고 비인간적인 느낌을 받았다고 말합니다.
사용자들이 X에서 비키니를 입은 자신의 가짜 이미지를 만든 것을 발견한 저널리스트 사만다 스미스는 BBC에 이로 인해 자신이 “비인간화되고 성적 고정관념에 빠지게 됐다”고 느꼈다고 말했습니다.
에 게시된 글에서
영국 언론인 찰리 스미스도 인터넷에서 자신의 동의 없는 비키니 사진을 발견했다.
“나는 이것을 게시할지 확신이 없었지만 누군가 Grok에게 bikiniZ를 입은 내 사진을 게시해 달라고 요청했고 Grok은 사진으로 응답했습니다.”라고 그녀는 자신의 게시물에 썼습니다.
세인트 클레어는 포춘과의 인터뷰에서 X를 “현재 세계에서 가장 위험한 회사”라고 생각하며 X가 온라인에서 안전하게 존재할 수 있는 여성의 능력을 위협하고 있다고 비난했습니다.
“더 걱정스러운 것은 이러한 학대로 인해 여성들이 공개 대화에서 배제되고 있다는 것입니다.”라고 그녀는 말했습니다. “공개 대화에서 여성을 추방한다면… 학대를 당하지 않고는 참여할 수 없기 때문에 AI에서 여성을 불균형하게 배제하는 것입니다.”
이 이야기는 원래 Fortune.com에 게재되었습니다.
