OpenAI는 증가하는 AI의 위험을 해결하는 데 도움을 줄 새로운 직원을 찾고 있으며, 기술 회사는 그 자리를 채우기 위해 50만 달러 이상을 지출할 의향이 있습니다.
OpenAI는 사용자 정신 건강 및 사이버 보안과 같은 기술과 관련된 피해를 줄이기 위해 “최고 준비 책임자”를 고용하고 있다고 CEO Sam Altman이 토요일 X 게시물에 썼습니다. 채용공고에 따르면 해당 직위는 연간 555,000달러와 자기자본을 지급하게 됩니다.
Altman은 “이것은 스트레스가 많은 직업이 될 것이며 거의 즉시 깊은 곳으로 던져질 것입니다”라고 말했습니다.
OpenAI가 보안 임원 채용을 추진하는 것은 AI가 운영 및 평판에 미치는 위험에 대한 기업의 우려가 커지는 가운데 나온 것입니다. 금융 데이터 및 분석 회사인 AlphaSense가 증권거래위원회에 제출한 연간 보고서를 11월에 분석한 결과, 올해 첫 11개월 동안 가치가 10억 달러 이상인 기업 418개가 AI 위험 요소와 관련된 평판 손상을 언급한 것으로 나타났습니다. 이러한 평판을 위협하는 위험에는 편향된 정보를 표시하거나 보안을 손상시키는 AI 데이터 세트가 포함됩니다. 분석에 따르면 AI 관련 평판 훼손 보고는 2024년 이후 46% 증가했다.
Altman은 소셜 미디어 게시물에서 “모델은 빠르게 개선되고 있으며 이제 많은 놀라운 일을 할 수 있지만 실제적인 과제도 제시하기 시작했습니다”라고 말했습니다.
그는 “사이버 보안 방어자에게 최첨단 기능을 제공하는 동시에 공격자가 이를 사용하여 해를 입힐 수 없도록 하는 방법, 이상적으로는 모든 시스템을 보다 안전하게 만드는 방법, 마찬가지로 생물학적 능력을 잠금 해제하고 자체적으로 개선할 수 있는 실행 시스템의 보안에 대한 자신감을 얻는 방법을 알아내도록 돕고 싶다면 신청을 고려해 보십시오”라고 덧붙였습니다.
OpenAI의 전 준비 책임자인 Aleksander Madry는 작년에 AI 추론과 관련된 역할로 재배치되었으며 AI 보안도 관련 업무입니다.
AI의 위험성을 해결하기 위한 OpenAI의 노력
인류를 개선하고 혜택을 주기 위해 AI를 사용하려는 의도로 2015년에 비영리 조직으로 설립된 OpenAI는 일부 전직 지도자들의 눈에 안전한 기술 개발에 대한 약속을 우선시하기 위해 고군분투해 왔습니다. 회사의 전 연구 부사장인 Dario Amodei는 그의 여동생 Daniela Amodei 및 기타 여러 연구원과 함께 OpenAI가 보안보다 상업적 성공을 우선시한다는 우려로 인해 2020년에 OpenAI를 떠났습니다. Amodei는 이듬해 Anthropic을 설립했습니다.
OpenAI는 ChatGPT가 사용자의 망상을 조장하고 봇과의 대화가 일부 사용자의 자살과 관련이 있다고 주장하면서 올해 여러 건의 부당 사망 소송에 직면했습니다. 11월에 발표된 New York Times 조사에 따르면 ChatGPT 사용자가 봇과 채팅하는 동안 정신 건강 위기를 겪는 사례가 약 50건에 달했습니다.
OpenAI는 지난 8월 사용자와 ChatGPT 간의 긴 대화로 인해 보안 기능이 “저하”될 수 있다고 밝혔지만 회사는 모델이 사용자와 상호 작용하는 방식을 개선하기 위해 변경했습니다. 올해 초 8명으로 구성된 협의회를 구성하여 사용자 복지를 지원하기 위한 안전 조치에 대해 회사에 조언하고 ChatGPT를 업데이트하여 민감한 대화에 보다 신속하게 대응하고 위기 핫라인에 대한 접근성을 높였습니다. 이달 초 회사는 AI와 정신 건강의 교차점에 대한 연구 자금 지원을 위한 보조금을 발표했습니다.
기술 회사는 또한 이번 달 블로그 게시물에서 AI가 빠르게 발전함에 따라 앞으로 출시될 모델 중 일부가 “높은” 사이버 보안 위험을 초래할 수 있다고 말하면서 더 나은 보안 조치가 필요하다는 점을 인정했습니다. 회사는 이러한 위험을 완화하기 위해 사이버 보안을 손상시키는 요청에 응답하지 않도록 모델을 훈련하고 모니터링 시스템을 완성하는 등의 조치를 취하고 있습니다.
Altman은 토요일에 “우리는 성장하는 역량을 측정할 수 있는 견고한 기반을 갖추고 있습니다”라고 썼습니다. “그러나 우리는 이러한 기능이 어떻게 남용될 수 있는지, 그리고 우리 모두가 엄청난 혜택을 누릴 수 있는 방식으로 제품과 세계 모두에서 이러한 단점을 어떻게 제한할 수 있는지에 대한 보다 미묘한 이해와 측정이 필요한 세계로 진입하고 있습니다.”
이 이야기는 원래 Fortune.com에 게재되었습니다.
