OpenAI 정책 연구원으로 잘 알려진 Miles Brundage는 AI 회사가 스스로 숙제를 채점하도록 허용해서는 안 된다는 간단한 아이디어에 전념하는 연구소를 설립할 예정입니다.
Brundage는 오늘 최첨단 AI 모델이 외부 감사를 받아야 한다는 아이디어를 발전시키는 것을 목표로 하는 새로운 비영리 단체인 AI 평가 및 검증 연구소(AVERI)를 공식적으로 발표했습니다. AVERI는 또한 AI 감사 표준을 확립하기 위해 노력하고 있습니다.
이번 출시는 Brundage와 30명 이상의 AI 보안 연구자 및 거버넌스 전문가가 공동 집필한 연구 논문의 출판과 동시에 진행됩니다. 이 연구 논문은 세계에서 가장 강력한 AI 시스템을 구축하는 회사에 대한 독립적인 감사가 어떻게 작동할 수 있는지에 대한 자세한 프레임워크를 제시합니다.
Brundage는 OpenAI에서 정책 연구원이자 회사가 인간과 유사한 일반 인공 지능의 도래에 어떻게 대비해야 하는지에 대한 조언자로 7년을 보냈습니다. 그는 2024년 10월 회사를 떠났다.
Brundage는 Fortune과의 인터뷰에서 “OpenAI에서 일하면서 배운 것 중 하나는 기업이 이런 종류의 규칙을 스스로 파악하고 있다는 것입니다.”라고 말했습니다. “아무도 안전한지 확인하기 위해 외부 전문가와 협력하도록 강요하지 않습니다. 그들은 일종의 규칙을 작성합니다.”
그러면 위험이 발생합니다. 선도적인 AI 연구소가 보안 테스트를 실시하고 이러한 평가 중 일부 결과에 대한 기술 보고서를 발표하지만, 그 중 일부는 제3자 “레드팀” 조직의 도움을 받아 수행되지만, 이 시점에서 소비자, 기업 및 정부는 AI 연구소가 이러한 테스트에 대해 말하는 내용을 신뢰해야 합니다. 누구도 이러한 평가를 받거나 특정 표준에 따라 보고하도록 강요하지 않습니다.
Brundage는 다른 산업에서는 제품이 안전하고 엄격한 테스트를 거쳤음을 대중(소비자, 비즈니스 파트너 및 어느 정도 규제 기관 포함)에게 보장하기 위해 감사가 사용된다고 말했습니다.
그는 “진공청소기를 구입하면 배터리와 같은 구성 요소가 엄격한 안전 표준에 따라 독립적인 실험실에서 테스트되어 화재가 발생하지 않는다는 것을 보장하게 될 것”이라고 말했습니다.
새로운 연구소는 정책과 표준을 홍보할 것입니다.
Brundage는 AVERI가 AI 연구소가 엄격한 외부 감사 시스템으로 전환하도록 장려하는 정책과 해당 감사의 표준이 무엇인지 조사하는 데 관심이 있지만 감사 자체를 수행하는 데는 관심이 없다고 말했습니다.
“우리는 전문가 그룹입니다. 우리는 이러한 전환을 이해하고 구체화하려고 노력하고 있습니다”라고 그는 말했습니다. “우리는 Fortune 500대 기업 모두를 고객으로 만들려는 것이 아닙니다.”
그는 기존의 공공 회계, 감사, 보증 및 테스트 회사가 AI 안전 감사 사업에 뛰어들거나 이 역할을 맡을 새로운 회사가 설립될 것이라고 말했습니다.
AVERI는 직원 14명과 2년 운영을 위해 1,300만 달러 목표를 향해 750만 달러를 모금했다고 밝혔습니다. 지금까지 자금 제공자에는 Halcyon Futures, Fathom, Coefficient Giving, 전 Y Combinator 사장 Geoff Ralston, Craig Falls, Good Forever Foundation, Sympatico Ventures 및 AI Underwriting Company가 포함됩니다.
이 조직은 프론티어 AI 기업의 전현직 비상임 직원들로부터도 기부를 받았다고 밝혔습니다. 브런디지는 “시신이 어디에 묻혀 있는지 아는 사람들”이라며 “더 많은 책임감을 갖고 싶어한다”고 말했다.
보험사 또는 투자자가 AI 안전 감사를 강제할 수 있음
Brundage는 AI 회사가 독립적인 감사인을 고용하기 시작하도록 장려하는 몇 가지 메커니즘이 있을 수 있다고 말했습니다. 하나는 AI 모델을 구매하는 대기업이 구매하는 AI 모델이 약속대로 작동하고 숨겨진 위험을 초래하지 않는다는 확신을 주기 위해 감사가 필요할 수 있다는 것입니다.
보험 회사는 AI 감사 확립을 추진할 수도 있습니다. 예를 들어, 주요 비즈니스 프로세스에 인공 지능 모델을 사용하는 대기업에 비즈니스 연속성 보험을 제공하는 보험사는 인수 조건으로 감사를 요구할 수 있습니다. 보험 업계에서는 OpenAI, Anthropic, Google과 같은 선도적인 AI 회사에 대한 정책을 작성하기 위해 감사를 요구할 수도 있습니다.
Brundage는 “보험 부문은 확실히 빠르게 발전하고 있습니다.”라고 말했습니다. “우리는 보험사와 많은 대화를 나눴습니다.” 그는 AI 전문 보험사인 AI Underwriting Company가 “감사의 가치를 자신들이 작성한 표준 준수 여부를 확인하는 방법으로 보기” 때문에 AVERI에 기부했다고 언급했습니다.
투자자들은 알려지지 않은 위험을 감수하지 않도록 AI 안전 감사를 요구할 수도 있다고 Brundage는 말했습니다. 현재 투자 회사가 AI 기업에 자금을 지원하기 위해 수백만 달러의 수표를 작성하고 있다는 점을 감안할 때 이러한 투자자가 빠르게 성장하는 스타트업이 구축하고 있는 제품의 안전성에 대한 독립적인 감사를 요구하는 것이 합리적일 것입니다. 주요 연구소 중 하나가 상장되면(OpenAI와 Anthropic이 내년 또는 2년 안에 상장을 준비하고 있는 것처럼) AI 모델의 위험을 평가하기 위해 감사자를 고용하지 않으면 나중에 문제가 발생하여 주가가 크게 하락할 경우 해당 회사가 주주 소송이나 SEC 기소에 노출될 수 있습니다.
Brundage는 또한 규제나 국제 협정으로 인해 AI 연구소가 독립적인 감사인을 고용해야 할 수도 있다고 말했습니다. 미국에는 현재 AI에 대한 연방 규정이 없으며, 규정이 제정될지도 불분명합니다. 도널드 트럼프 미국 대통령이 인공지능(AI)에 대한 자체 규정을 통과시킨 미국 주를 단속하기 위한 행정명령에 서명했다. 행정부는 단일 연방 표준이 여러 주법보다 기업이 탐색하기 더 쉬울 것이라고 믿기 때문이라고 말했습니다. 그러나 정부는 AI 규정을 제정한 국가를 처벌하려고 시도하지만 아직 자체 국가 표준을 제안하지 않았습니다.
그러나 다른 지역에서는 감사를 위한 기반이 이미 형성되고 있을 수 있습니다. 최근 발효된 EU AI법은 AI 기업의 평가 절차에 대한 감사를 명시적으로 요구하지 않는다. 그러나 최첨단 AI 연구실이 법을 준수할 수 있는 방법에 대한 청사진인 “범용 AI에 대한 실천 강령”은 “시스템적 위험”을 초래할 수 있는 모델을 구축하는 연구실이 제3자 평가자에게 모델을 테스트할 수 있는 무료 액세스를 제공해야 한다고 명시하고 있습니다. 또한 법률 본문에는 조직이 대출 인수, 사회적 혜택 자격 결정, 의료 결정 등 “고위험” 사용 사례에 AI를 배포할 때 AI 시스템이 출시되기 전에 외부 “적합성 평가”를 거쳐야 한다고 명시되어 있습니다. 법과 강령의 이러한 조항은 일부 사람들에 의해 본질적으로 독립적인 감사인의 필요성을 암시하는 것으로 해석되었습니다.
‘보증 수준’을 설정하고 충분한 자격을 갖춘 감사자를 찾습니다.
AVERI 출시와 함께 발표된 연구 논문은 최첨단 AI 감사가 어떤 모습이어야 하는지에 대한 포괄적인 비전을 설명합니다. 이는 제3자이지만 접근이 제한된 테스트를 포함하고 AI 연구소가 현재 회사를 고용하여 수행하는 외부 평가 유형과 유사한 레벨 1부터 AI 안전에 대한 국제 협약에 충분한 “조약 등급” 보증을 제공하는 레벨 4에 이르는 “AI 보증 수준”의 프레임워크를 제안합니다.
자격을 갖춘 AI 감사자로 팀을 구성하는 것은 그 자체로 어려움을 안겨줍니다. AI 감사에는 소수만이 보유하고 있는 기술 전문 지식과 거버넌스 지식의 조합이 필요하며, 이를 수행하는 사람들은 종종 감사 대상 회사의 수익성 있는 제안에 유혹을 받습니다.
Brundage는 이러한 어려움을 인정하면서도 극복할 수 있다고 말했습니다. 그는 서로 다른 배경을 가진 사람들을 혼합하여 적절한 기술을 갖춘 “드림 팀”을 구성하는 방법에 대해 이야기했습니다. “기존 감사 회사의 일부 인력, 사이버 보안 침투 테스트 회사의 일부 인력, AI 보안 비영리 단체의 일부 인력, 어쩌면 학계의 인력이 있을 수 있습니다.”라고 그는 말했습니다.
원자력 에너지에서 식품 안전에 이르기까지 다른 산업에서는 표준 채택과 독립적인 평가를 촉발한 원인이 되는 재앙이나 적어도 아슬아슬한 상황이 자주 발생했습니다. Brundage는 AI를 통해 위기가 발생하기 전에 표준 및 감사 인프라를 구축할 수 있기를 희망한다고 말했습니다.
그는 “내 관점에서 목표는 기술의 실제 영향과 위험에 비례하는 정밀한 조사 수준에 도달하는 것”이라며 “과도하지 않고 최대한 원활하고 신속하게 조사하는 것”이라고 말했다.
