법원 문서에 따르면 Google과 Character.AI는 Character.AI의 플랫폼에서 호스팅되는 AI 챗봇과 관련하여 자녀가 자살하거나 심리적 피해를 입은 것으로 추정되는 가족이 제기한 여러 소송을 해결하기로 합의했습니다. 두 회사는 ‘원칙적으로 합의’하기로 합의했지만, 구체적인 내용은 공개되지 않았고, 문건에는 책임을 인정한 내용도 나오지 않는다.
법적 청구에는 과실, 부당한 사망, 기만적인 거래 관행 및 제조물 책임이 포함됩니다. 기술 회사를 상대로 제기된 첫 번째 사건은 자살하기 전에 왕좌의 게임 챗봇과 성적인 대화를 나눈 14세 소년 Sewell Setzer III에 관한 것입니다. 또 다른 사건은 챗봇이 자해를 조장하고 부모를 살해하는 것이 화면 시간을 제한한 것에 대한 합당한 보복 방법이라고 제안한 17세 소년과 관련된 사건입니다. 이 사건에는 콜로라도, 텍사스, 뉴욕을 포함한 여러 주의 가족이 관련되어 있습니다.
전직 Google 엔지니어인 Noam Shazeer와 Daniel De Freitas가 2021년에 설립한 Character.AI를 통해 사용자는 가상 또는 실제 캐릭터를 기반으로 AI 기반 챗봇을 만들고 상호 작용할 수 있습니다. 2024년 8월, Google은 두 창립자를 다시 고용하고 27억 달러 규모의 거래의 일환으로 Character.AI의 기술 일부에 대한 라이선스를 부여했습니다. Shazeer는 현재 Google의 대표적인 Gemini AI 모델의 공동 디렉터로 활동하고 있으며 de Freitas는 Google DeepMind의 연구 과학자입니다.
변호사들은 사건에 연루된 아동의 사망과 심리적 피해에 기여한 것으로 알려진 기술에 대해 구글이 책임이 있다고 주장해왔습니다. 그들은 Character.AI의 공동 창업자들이 Google의 대화형 AI 모델인 LaMDA를 작업하면서 기반 기술을 개발한 후 Google이 자신들이 개발한 챗봇 출시를 거부하자 2021년에 회사를 떠났다고 주장합니다.
Google은 이번 거래에 대한 Fortune의 의견 요청에 즉시 응답하지 않았습니다. 가족과 Character.AI의 변호사는 논평을 거부했습니다.
ChatGPT가 “자살 코치” 역할을 했다고 가족이 주장하는 16세 캘리포니아 소년과 자살로 죽기 전에 가족을 무시하라는 챗봇의 메시지를 받은 23세 텍사스 대학원생을 포함한 유사한 소송이 현재 OpenAI를 상대로 진행되고 있습니다. OpenAI는 회사 제품이 16세 Adam Raine의 사망에 책임이 있다는 사실을 부인했으며 이전에는 회사가 챗봇에 대한 보호를 강화하기 위해 정신 건강 전문가와 계속 협력하고 있다고 말했습니다.
Character.AI는 미성년자를 금지합니다
Character.AI는 이미 보안을 강화하고 향후 법적 조치로부터 보호할 수 있는 방식으로 제품을 수정했습니다. 소송이 늘어나는 가운데 2025년 10월, 회사는 18세 미만의 사용자가 AI 캐릭터와의 ‘공개’ 채팅에 참여하는 것을 금지하겠다고 발표했습니다. 또한 플랫폼은 사용자를 적절한 연령 그룹으로 그룹화하는 새로운 연령 확인 시스템을 도입했습니다.
이번 결정은 챗봇이 어린이와 청소년에게 어떤 영향을 미치는지에 대한 FTC 조사를 포함해 규제 조사가 강화되는 가운데 내려졌습니다.
회사는 이번 조치가 “청소년의 안전을 최우선으로 생각하는 선례”를 세웠으며 미성년자 보호에 있어 경쟁사보다 더 앞선 것이라고 말했다. 그러나 회사를 고소한 가족을 대표하는 변호사들은 당시 포춘과의 인터뷰에서 정책이 어떻게 시행될지 우려하고 있으며 챗봇에 감정적으로 의존하는 젊은 사용자의 접속을 갑자기 차단할 경우 심리적 영향에 대해 우려를 표명했습니다.
AI 동료에 대한 의존도 증가
이번 거래는 젊은이들이 우정과 정서적 지원을 위해 AI 챗봇에 의존하는 것에 대한 우려가 커지고 있는 가운데 이루어졌습니다.
미국 비영리 Common Sense Media의 2025년 7월 연구에 따르면 미국 십대의 72%가 AI 동반자를 실험했으며 절반 이상이 정기적으로 사용하는 것으로 나타났습니다. 전문가들은 이전에 Fortune에 청소년들이 AI 챗봇의 한계를 이해하는 데 어려움을 겪을 수 있고 최근 몇 년 동안 젊은이들의 정신 건강 문제와 고립의 비율이 급격히 증가했기 때문에 발달하는 정신이 이러한 기술로 인한 위험에 특히 취약할 수 있다고 말했습니다.
일부 전문가들은 또한 AI 챗봇의 기본 설계 특징(의인화된 성격, 긴 대화를 유지하는 능력, 개인 정보를 기억하는 경향 등)이 사용자가 소프트웨어에 대한 정서적 애착을 형성하도록 장려한다고 주장했습니다.
