계획적인 살인을 저지르는 데 도움이 되는 이유를 제공할 수 있으므로 챗봇과 상호작용할 때는 주의하세요.
한국의 21세 여성은 두 명의 남성이 사망하고 한 명은 잠시 의식을 잃은 일련의 살인을 계획하면서 질문에 답하기 위해 ChatGPT를 사용한 것으로 알려졌습니다.
성 김씨로만 알려진 이 여성은 정신 질환으로 자신에게 처방된 벤조디아제핀이 첨가된 음료수를 두 남자에게 준 것으로 알려졌습니다.
김씨는 지난 2월 11일 가벼운 상해치사 혐의로 체포됐지만, 서울 강북경찰서가 그녀의 온라인 검색 기록과 ChatGPT와의 채팅 내용을 찾아 혐의를 업데이트하고 나서야 김씨의 살인 의도가 입증됐다.
“술과 함께 수면제를 먹으면 어떻게 되나요?” 김씨는 오픈AI 챗봇에게 질문한 것으로 알려졌다. “얼마나 위험한 것으로 간주됩니까?
“치명적일 수도 있나요?” 김씨가 물었다. “누군가를 죽일 수 있을까?”
널리 알려진 강북 모텔 연쇄 사망 사건에서 검찰은 김씨의 검색 기록과 챗봇 기록을 보면 피의자가 자신의 칵테일이 치명적일지 여부에 대해 해명을 요구하는 모습이 드러난다고 주장했다.
헤럴드에 따르면 경찰 수사관은 “김씨는 ChatGPT에서 마약 관련 질문을 반복적으로 했다”며 “김씨는 마약과 함께 술을 마시면 사망에 이를 수 있다는 사실을 충분히 알고 있었다”고 말했다.
경찰은 이 여성이 벤조디아제핀이 함유된 처방 진정제를 남성용 음료에 섞었다고 인정했지만, 이전에는 이것이 자신의 사망으로 이어질지 몰랐다고 진술했다고 밝혔습니다.
김 씨는 지난 1월 28일 오후 9시 30분쯤 서울 강북의 한 모텔에 20대 남성과 동행했고, 2시간 뒤 혼자 모텔을 떠나는 모습이 포착됐다. 다음날 이 남성은 침대에서 숨진 채 발견됐다.
이후 김씨는 2월 9일에도 같은 조치를 취한 뒤 다른 20대 남성과 함께 다른 모텔에 체크인했는데, 이 남성 역시 진정제와 알코올이 섞인 치명적인 칵테일에 중독돼 숨진 채 발견됐다.
경찰은 김씨가 지난 12월에도 데이트 상대에게 주차장에서 진정제가 함유된 음료를 준 뒤 살해하려 했다고 주장했다. 남성은 의식을 잃었지만 살아남아 생명에는 지장이 없었다.
OpenAI 대변인은 Fortune과의 인터뷰에서 Kim이 챗봇에게 묻는 질문은 일련의 사실적 질문을 따른다고 말했습니다. 이는 질문이 경보를 울리지 않는다는 것을 의미합니다. 즉, 사용자가 자해에 대한 진술을 표현한 경우 발생합니다(ChatGPT는 이 경우 자살 위기 핫라인으로 응답하도록 프로그래밍되어 있습니다). 한국 경찰은 챗봇이 김씨의 이전 질문에 대해 사실적인 답변 외에 다른 답변을 제공했다고 주장하지 않습니다.
챗봇과 정신 건강에 대한 비용
ChatGPT와 같은 챗봇은 최근 회사에서 폭력이나 자해 행위를 방지하기 위해 마련한 안전 장벽이 부족하여 조사를 받고 있습니다. 최근 챗봇은 폭탄을 만드는 방법이나 완전한 핵 낙진 시나리오에 참여하는 방법에 대한 조언을 제공했습니다.
특히 사람들이 챗봇 동반자에 반한다는 이야기에서 우려가 제기되었으며, 챗봇 동반자는 사람들이 이를 더 오래 사용하도록 하기 위해 취약점을 악용하는 것으로 나타났습니다. Yara AI의 제작자는 정신 건강 문제로 인해 치료 앱을 종료하기도 했습니다.
최근 연구에 따르면 챗봇은 정신 질환이 있는 사람들의 망상적 정신 건강 위기를 증가시키는 것으로 나타났습니다. 덴마크 오르후스 대학의 정신과 의사 팀은 정신 질환을 앓고 있는 사람들이 챗봇을 사용하면 증상이 악화된다는 사실을 발견했습니다. AI로 인해 발생하는 정신 건강 문제의 비교적 새로운 현상을 “AI 정신병”이라고 합니다.
어떤 경우에는 사망으로 끝나기도 합니다. Google과 Character.AI는 AI 챗봇과 관련이 있다고 주장하며 자살로 사망하거나 심리적 피해를 입은 어린이의 가족이 제기한 여러 소송을 해결했습니다.
UC Berkeley 공중 보건 학교의 학장이자 생명윤리학 교수이자 Kavli 윤리, 과학 및 공공 센터의 공동 소장인 Jodi Halpern 박사는 이 분야에 폭넓은 경험을 갖고 있습니다. 학위 기간 동안 Halpern은 의사와 간호사가 환자를 대할 때나 전쟁에서 돌아온 군인이 사회적 환경에서 어떻게 인식되는지 등을 예로 들며 공감이 수용자에게 미치는 영향을 연구하는 데 30년을 보냈습니다. 지난 7년 동안 Halpern은 기술 윤리와 이를 통해 AI 및 챗봇이 인간과 상호 작용하는 방식을 연구해 왔습니다.
그는 또한 캘리포니아 상원에 SB 243에 대해 조언했습니다. 이는 챗봇 회사가 자해 또는 관련 자살 충동에 대한 데이터를 수집하고 보고하도록 요구하는 미국 최초의 법률입니다. Halpern은 120만 명의 사용자가 공개적으로 챗봇 자살에 대해 논의하고 있다는 OpenAI 자체 조사 결과를 참조하면서 챗봇의 사용을 담배 산업이 담배에 유해한 발암 물질을 포함시키는 것을 방지하기 위해 힘들게 진행 중인 느린 진전과 비교했습니다. 실제로 문제는 전체적으로 흡연이었습니다.
Halpern은 Fortune과의 인터뷰에서 “우리에게는 안전한 사업이 필요합니다. 그것은 담배와 같습니다. 사람들을 폐암에 더 취약하게 만드는 몇 가지 요인이 있다는 것이 밝혀졌을 수도 있지만 문제는 담배였습니다”라고 말했습니다.
그는 “누군가가 살인적인 생각을 하거나 위험한 행동을 할 수 있다는 사실은 ChatGPT의 사용으로 인해 더욱 악화될 수 있는데 이는 분명히 나에게 걱정스러운 일이다”라고 말하면서 “우리는 사람들이 ChatGPT를 자살 보조제로 사용할 위험이 크다”고 덧붙였습니다.
Halpern은 서울에서 발생한 김 사건의 경우 심문을 진행하는 것을 막는 보안 장벽이 없다고 경고했습니다.
“우리는 챗봇과의 관계가 길어질수록 상태가 악화되고 위험한 일이 발생할 위험이 커진다는 것을 알고 있기 때문에 아직 사람들을 거기로부터 보호할 수 있는 가드레일이 없습니다.”
자살 충동을 느끼는 경우 988 또는 1-800-273-8255로 전화하여 988 자살 및 위기 라이프라인에 문의하세요.
이 글은 김씨가 챗봇으로 제기한 질문 내용에 대한 OpenAI의 댓글을 업데이트한 것입니다.
