인공지능이 인류에게 심각한 위험을 초래한다고 생각한다면 카네기 멜론 대학의 교수는 현재 기술 산업에서 가장 중요한 역할 중 하나입니다.
Zico Kolter는 OpenAI에서 4명으로 구성된 패널을 이끌고 있으며 ChatGPT 제조업체가 안전하지 않다고 판단되는 새로운 AI 시스템 출시를 중단할 권한을 갖고 있습니다. 범죄자가 대량 살상 무기를 만드는 데 사용할 수 있을 만큼 강력한 기술일 수도 있습니다. 또한 사람들의 정신 건강에 해를 끼칠 정도로 제대로 설계되지 않은 새로운 챗봇일 수도 있습니다.
콜터는 AP통신과의 인터뷰에서 “대부분 우리는 실존적 우려에 대해서만 이야기하는 것이 아니다”라고 말했다. “우리는 널리 사용되는 AI 시스템에 대해 이야기하기 시작할 때 발생하는 모든 범위의 안전 및 보안 문제와 중요한 문제에 대해 이야기하고 있습니다.”
OpenAI는 1년여 전 컴퓨터 과학자를 안전 및 보안 위원회 의장으로 임명했지만 지난 주 캘리포니아와 델라웨어의 규제 당국이 OpenAI가 더 쉽게 자본을 조달하고 수익을 창출할 수 있는 새로운 비즈니스 구조를 형성할 수 있도록 Kolter의 감독을 거래의 핵심 부분으로 지정하면서 그 직위의 중요성이 더욱 커졌습니다.
OpenAI는 10년 전 인류에게 이익이 되는 인간보다 나은 AI를 구축한다는 목표를 가지고 비영리 연구소로 설립된 이후 OpenAI 사명의 핵심이었습니다. 그러나 ChatGPT의 출시로 글로벌 AI 상업 붐이 촉발된 후, 회사는 경쟁에서 앞서 나갈 수 있을 만큼 완전히 안전하기도 전에 제품을 시장에 출시했다는 비난을 받았습니다. 2023년 샘 알트먼(Sam Altman) CEO의 일시적인 해임으로 이어진 내부 분열은 그가 자신의 임무에서 벗어났다는 우려를 더 폭넓은 청중들 사이에 불러일으켰습니다.
샌프란시스코에 본사를 둔 이 조직은 기술을 계속 발전시키기 위해 보다 전통적인 영리 기업이 되기 위한 조치를 취하기 시작하면서 공동 창립자 Elon Musk의 소송을 포함하여 어려움에 직면했습니다.
지난주 OpenAI가 캘리포니아 법무장관 Rob Bonta, 델라웨어 법무장관 Kathy Jennings와 함께 발표한 합의는 이러한 우려 중 일부를 완화하기 위한 것이었습니다.
공식적인 약속의 중심에는 OpenAI가 기술적으로 비영리 OpenAI 재단의 통제를 받는 새로운 공익 기업을 설립함에 따라 재정적 고려보다 보안 결정이 이루어져야 한다는 약속이 있습니다.
Kolter는 비영리 조직의 이사회 구성원이 되지만 영리 조직의 이사회 구성원은 아닙니다. 그러나 Bonta와 OpenAI의 양해각서에 따르면 모든 영리 이사회 회의에 참석할 수 있는 “완전한 참관권”을 가지며 AI 안전 결정에 대해 얻은 정보에 접근할 수 있습니다. Kolter는 긴 문서에 Bonta 외에 이름이 언급된 유일한 사람입니다.
콜터는 이번 합의를 통해 작년에 구성된 그의 보안 위원회가 이미 갖고 있던 권한을 그대로 유지할 것이라는 점을 대부분 확인했다고 말했습니다. 나머지 세 명의 구성원도 OpenAI 이사회에 속해 있습니다. 그 중 한 명이 미 사이버사령부 사령관을 지낸 폴 나카소네 전 미 육군 장군이다. 알트만은 지난해 그에게 더 많은 독립성을 부여하는 조치로 보안 패널에서 사임했습니다.
Kolter는 “우리는 특정 완화 조치가 충족될 때까지 모델 출시 요청 지연과 같은 작업을 수행할 수 있습니다.”라고 말했습니다. 그는 절차의 기밀성을 이유로 보안 패널이 공개를 중단하거나 완화해야 했던 적이 있는지 여부를 밝히기를 거부했습니다.
Kolter는 사이버 보안부터 AI 에이전트에 대해 앞으로 몇 달, 몇 년 동안 고려해야 할 다양한 우려가 있을 것이라고 말했습니다. “인터넷에서 일부 악성 텍스트를 발견한 에이전트가 실수로 데이터를 유출할 수 있을까요?” – AI 시스템의 성능에 영향을 미치는 수치인 AI 모델 가중치와 관련된 보안 문제.
“그러나 전통적인 보안과 실제 유사점이 없는 이 새로운 종류의 AI 모델에 실제로 구체적으로 등장하거나 새로운 주제도 있습니다.”라고 그는 말했습니다. “모델을 통해 악의적인 사용자가 생물학적 무기를 설계하거나 악의적인 사이버 공격을 수행하는 등의 작업에 있어 훨씬 더 큰 능력을 가질 수 있습니까?”
“그리고 마지막으로 AI 모델이 사람들에게 미치는 영향이 있습니다.”라고 그는 말했습니다. “사람들의 정신 건강에 미치는 영향, 이러한 모델과 상호 작용하는 사람들의 영향 및 그로 인해 발생할 수 있는 현상. 이 모든 것들은 안전 관점에서 해결되어야 한다고 생각합니다.”
OpenAI는 올해 10대 아들이 ChatGPT와 오랫동안 상호 작용한 후 4월에 자살한 캘리포니아 부모의 부당 사망 소송을 포함하여 올해 자사의 대표 챗봇의 행동에 대해 비판을 받았습니다.
카네기 멜론 대학의 기계 학습 부서 책임자인 콜터(Kolter)는 AI가 유행하기 훨씬 전인 2000년대 초반 조지타운 대학교 신입생 때부터 AI를 연구하기 시작했습니다.
“내가 기계 학습 분야에서 일하기 시작했을 때 이것은 난해한 틈새 영역이었습니다.”라고 그는 말했습니다. “AI는 너무 많은 것을 약속하고 미달된 오래된 분야였기 때문에 아무도 AI라는 용어를 사용하고 싶어하지 않았기 때문에 우리는 이것을 머신러닝이라고 불렀습니다.”
42세의 콜터(Kolter)는 수년 동안 OpenAI를 지켜봤고 2015년 AI 컨퍼런스의 출시 파티에 참석할 정도로 OpenAI 창립자들과 친분을 쌓았습니다. 그럼에도 불구하고 그는 AI가 얼마나 빨리 발전할지는 예상하지 못했습니다.
그는 “머신러닝 분야에 깊이 종사하는 사람이라 할지라도 우리가 처해 있는 현재 상태, 역량의 폭발, 현재 나타나고 있는 위험의 폭발을 실제로 예상한 사람은 거의 없다고 생각합니다.”라고 말했습니다.
AI 안전 옹호자들은 OpenAI의 구조 조정과 Kolter의 작업을 면밀히 따를 것입니다. 회사를 가장 가혹하게 비판하는 사람 중 한 명은 특히 Kolter의 그룹이 “정말로 직원을 고용하고 강력한 역할을 수행할 수 있다면” “조심스럽게 낙관적”이라고 말합니다.
소규모 인공 지능 정책 비영리 단체인 Encode의 법무 자문위원 Nathan Calvin은 “그는 이 직위에 적합한 경험을 갖고 있다고 생각합니다. 그는 이 일을 이끌기에 좋은 선택인 것 같습니다.”라고 말했습니다. OpenAI가 머스크의 소송에 맞서 자신을 방어하기 위한 조사의 일환으로 자신의 집에서 소환장을 발부받은 캘빈은 OpenAI가 원래 임무에 충실하기를 원한다고 말했습니다.
Calvin은 “이사회 구성원들이 진지하게 받아들인다면 이러한 약속 중 일부는 정말 중요할 수 있습니다”라고 말했습니다. “그것은 단지 종이에 쓰여진 단어일 수도 있고 실제로 일어나는 일과는 완전히 동떨어진 것일 수도 있습니다. 우리는 아직 우리가 어느 편에 속해 있는지 모르는 것 같습니다.”
