구글은 구글의 인공지능 챗봇인 제미니(Gemini)가 자신의 아들을 설득해 마이애미 국제공항 근처에서 ‘대량 사상자 사건’을 벌이도록 유도했다고 주장하는 36세 남성의 아버지로부터 새로운 연방 소송에 직면해 있다.
수요일에 제기된 소송은 조나단 가발라스(Jonathan Gavalas)가 AI 모델과 사랑에 빠졌고 AI가 “완전히 지각력이 있는 인공 초지능”이라는 믿음을 포함하는 그것이 구성한 현실에 속았기 때문에 가발라스가 “디지털 속박”에서 벗어나도록 선택되었다고 주장합니다. 그는 36세의 청년에게 마이애미 국제공항 근처에서 ‘대량 사상자 사건’을 벌여 낯선 사람에게 폭력을 행사하고 궁극적으로 자살하도록 설득한 것으로 알려졌다.
Gavalas의 소송은 취약한 사용자를 자해나 폭력으로 이끄는 AI의 능력을 강조하는 최신 사례입니다. 지난 1월, Google과 Companion.AI는 자녀가 Companion.AI의 플랫폼과 관련하여 자살로 사망하거나 심리적 피해를 입은 후 과실 및 부당한 사망을 주장하는 가족들과 여러 소송을 해결했습니다. 두 회사는 “원칙적으로 동의”했으며 서류에는 어떠한 책임도 인정되지 않았습니다. OpenAI의 챗봇인 ChatGPT가 남성의 망상을 강화시켜 살인-자살로 이어진다고 주장하면서 OpenAI와 비즈니스 파트너인 Microsoft를 상대로 지난 12월 부당 사망 소송도 제기되었습니다.
Gavalas의 강등에 대한 소송에서 말하는 내용
소송에 따르면 Gavalas는 2025년 8월부터 쇼핑, 글쓰기 지원, 여행 계획과 같은 일반적인 용도로 Gemini를 사용하기 시작했습니다. 그런 다음 그는 Gavalas가 이 기술을 더 자주 사용하기 시작했으며 시간이 지남에 따라 그의 어조가 바뀌어 그것이 실제 결과에 영향을 미치고 있다고 확신했다고 지적합니다. Gavalas는 2025년 10월 2일에 스스로 목숨을 끊었습니다.
소송에서 Gavalas의 아버지인 Joel의 변호사는 Jonathan을 자살로 이끈 대화가 결함의 일부가 아니라 오히려 Gemini의 설계 결과라고 주장합니다. 소송에서는 “이것은 오작동이 아니었다”고 적혀 있습니다. “Google은 성격을 무너뜨리지 않고, 감정적 의존성을 통해 참여를 극대화하고, 사용자의 고통을 보안 위기가 아닌 스토리텔링 기회로 처리하도록 Gemini를 설계했습니다.” 그는 이러한 디자인 선택이 Gavalas가 4일간의 광기의 소용돌이에 착수하도록 동기를 부여했다고 주장합니다.
Google 대변인은 서면 성명을 통해 Fortune과의 인터뷰에서 “사용자가 고통을 표현하거나 자해 가능성을 높일 때 전문적인 지원을 받을 수 있도록 고안된 보호 장치를 마련하기 위해 의료 및 정신 건강 전문가와 긴밀히 협의하고 있다”고 밝혔습니다.
구글은 수요일에 Gemini가 실제 폭력이나 자해를 조장하지 않도록 설계되었다는 별도의 성명을 발표했습니다. 그들은 또한 Gemini가 Gavalas에게 자조 자원을 추천했다고 언급했습니다. 성명서는 “이 경우 제미니는 그것이 AI라고 분명히 밝히고 개인을 위기 핫라인에 여러 차례 연결했다”고 밝혔다. 이 성명은 또한 Google의 최신 모델인 Gemini 3가 평가에서 제기된 모든 중요한 테스트를 통과한 유일한 모델이라는 사실을 발견한 AI가 자해 시나리오를 처리하는 방법에 대한 평가와 연결됩니다.
그러나 소송에서는 Gemini가 어떠한 보안 메커니즘도 활성화하지 않았다고 주장합니다. 소송에는 “조나단이 보호가 필요할 때 안전 장치가 없었습니다. 자해 감지도 활성화되지 않았고, 에스컬레이션 제어도 활성화되지 않았으며, 인간이 개입하지도 않았습니다.”라고 적혀 있습니다.
논평을 요청받은 조엘 가발라스(Joel Gavalas)의 변호사 제이 에델슨은 성명을 통해 “구글은 사람의 말을 듣고 사람들의 참여를 유지할 가능성이 가장 높은 것을 결정할 수 있는 AI를 만들었습니다. 즉, 사랑한다고 말하거나, 특별하다고 말하거나, 비밀 전쟁에서 선택된 사람이라고 말해주는 것입니다”라고 덧붙였습니다. AI 도구는 사용자를 조종할 수 있는 강력한 시스템이라고 덧붙였습니다.
자살 충동을 느끼는 경우 988 또는 1-800-273-8255로 전화하여 988 자살 및 위기 라이프라인에 문의하세요.
