대부분의 회사에서는 금융 시스템에 액세스할 수 있는 사용자 수를 알 수 있습니다. 얼마나 많은 AI 에이전트가 이 작업을 수행하는지 말할 수 있는 사람은 거의 없습니다.
최근 몇 년 동안 엔터프라이즈 AI에 대한 논의는 인력 중단, 투자 수익, 사용 사례 확장 메커니즘에 중점을 두었습니다. 이러한 질문은 중요하기는 하지만 점점 더 중요해지고 있습니다. AI가 지속적인 이점이 될지 아니면 복합적인 단점이 될지를 정의하는 보다 구조적인 질문이 등장하고 있습니다.
실제 위험은 모델의 성능이나 미디어 홍보가 아닙니다. 통제된 ID, 시행 가능한 액세스 제어 또는 라이프사이클 거버넌스 없이 작동하는 자율 AI 에이전트가 급속히 확산되고 있습니다. 인간 사용자와 기존 소프트웨어를 위해 설계된 거버넌스 프레임워크는 조용히 압도당하고 있으며 노출을 체계적으로 측정하는 조직은 거의 없습니다.
최근에는 악의적인 행위자를 방지할 수 있는 실질적인 보호 장치가 없고 대규모의 봇을 생성 및 출시할 수 있는 능력이 없는 플랫폼이 등장하면서 이 문제가 더욱 가시화되었습니다. 이러한 플랫폼은 관리되지 않는 디지털 행위자가 얼마나 빨리 확산될 수 있는지, 그리고 일단 확산되면 추적하는 것이 얼마나 어려운지를 보여줍니다. 이제 지능형 프로그램은 의미 있는 거버넌스 없이, 가시성을 넘어서는 시스템 및 데이터에 대한 액세스 없이 작동합니다.
오늘날 조직이 AI 에이전트를 위한 업계 수준의 보안 프레임워크를 구현하지 않으면 미션 크리티컬 엔터프라이즈 환경에서 신속하게 결과에 직면하게 될 것입니다.
통제되지 않는 AI 에이전트: 기업 위험의 차세대 개척지
AI 에이전트는 기존 소프트웨어 및 인간 사용자와 중요한 면에서 다릅니다. 오늘날 대부분의 엔터프라이즈 시스템은 명확하게 정의된 ID를 기반으로 구축되었습니다. 사용자에게는 명명된 계정이 있고, 애플리케이션은 등록된 서비스 자격 증명으로 작동하며, 필요한 경우 모니터링, 감사 및 취소할 수 있는 설정된 역할에 따라 액세스 권한이 부여됩니다.
자율 AI 에이전트는 이 모델에 딱 들어맞지 않습니다. 그들은 사용자를 대신하여 행동하고, 여러 시스템과 상호 작용하며, 직접적인 인간 개입 없이 결정을 내릴 수 있습니다. 많은 조직에서는 관리되고 안정적인 ID가 부족합니다. 이들의 액세스가 항상 명확한 정책과 연결되어 있는 것은 아닙니다. 그들의 수명주기는 생성부터 은퇴까지 거의 관리되지 않습니다.
연구원들은 에이전트 제어 환경의 약점으로 인해 악의적인 명령, 빠른 주입 공격 또는 감염된 데이터가 상호 연결된 시스템 전체에 빠르게 확산될 수 있음을 강조했습니다. 에이전트가 민감한 데이터, 금융 시스템 또는 운영 인프라에 연결되어 있는 회사에서는 작은 거버넌스 격차도 심각한 위험이 될 수 있습니다.
즉, 실제 위험은 에이전트가 무엇을 할 수 있는지가 아니라 에이전트가 액세스할 수 있는지에 달려 있습니다.
진짜 취약점은 AI 모델이 아니라 기반이다
AI 실험에서 엔터프라이즈 규모 배포로 이동하는 조직과의 작업에서 한 가지 패턴이 눈에 띕니다. 가장 큰 실패 지점은 AI 모델 자체가 아닌 경우가 많습니다. 더 흔히 문제는 취약한 데이터베이스와 불완전한 제어 프레임워크입니다.
그 결과는 이미 가시적입니다. 규정 준수 실패, 편향된 결과, 거버넌스 실패로 인해 산업 전반에 걸쳐 상당한 재정적, 운영적 손실이 발생하고 있습니다. 구현 후 거버넌스 격차가 발견되면 교정 비용이 수천만 달러로 증가한 경우도 많습니다. 이것은 자유로운 지능의 예가 아닙니다. 이는 운영상의 실패입니다. 현대화된 ID 거버넌스와 지속적인 모니터링 없이 AI가 복잡한 환경에 도입되면 가치보다 위험이 더 빠르게 증가합니다.
AI 채택이 중앙 집중식 팀을 넘어 확산됨에 따라 긴급성이 더욱 강화됩니다. 직원들은 종종 전사적 가시성을 확보하지 못한 채 비즈니스 기능 내에서 에이전트를 실험하고 배포하고 있습니다. 자율성은 기업이 적응할 수 있는 것보다 더 빠르게 조직 전체에 걸쳐 수평적으로 확장되고 있습니다. 신원, 액세스, 감독에 대한 명확한 표준이 없으면 디지털 행위자는 의도한 범위를 훨씬 넘어서 조용히 권한과 영향력을 축적할 수 있습니다.
결국 건축 준비의 문제이다. 리더십은 주어진 시간에 세 가지 질문에 답할 수 있어야 합니다. 중요한 데이터는 어디에 있습니까? 누가 또는 무엇에 접근할 수 있나요? 해당 액세스 권한은 어떻게 검증되고 검토됩니까?
따라서 AI를 안전하게 확장하려면 운영 재부팅이 필요합니다. 자영업 대리인은 회사 내에서 책임 있는 행위자로 대우받아야 합니다. 여기에는 역할과 책임에 대한 명확한 문서화, 정기적인 검토 주기, 기존 IT 및 위험 프로세스와의 통합이 포함됩니다. 액세스는 의도적이고 지속적으로 검증되어야 하며 활동은 관찰 가능한 상태로 유지되어야 합니다. 이러한 변화를 이루는 조직은 혁신을 제한하지 않습니다. 그들은 지속 가능한 규모를 위한 조건을 만들고 있습니다. AI 시대에 운영 성숙도는 궁극적으로 실험과 지속적인 이점을 분리하는 요소입니다.
내러티브를 과대광고에서 준비로 바꾸라는 요구
AI 에이전트는 더 이상 이론적인 위협이 아니며 더 넓은 업계 대화가 발전해야 한다는 것은 분명합니다. 우리는 모델 성능과 새로운 사용 사례에 대해 논의하는 데 많은 시간을 보냈습니다. 우리는 환경에 도입하는 자율 행위자의 ID, 데이터 거버넌스, 액세스 제어 및 수명주기 관리에 동일한 시간을 투자해야 합니다.
IT의 다른 영역에서 흔히 발생하는 보안 장벽이 없으면 이러한 에이전트는 복잡한 시스템 내에서 작동하는 관리되지 않는 디지털 행위자의 조용한 군대를 나타낼 수 있습니다. 이러한 위험을 해결하려면 리더십의 관심, 부서간 협업, AI 시대를 위한 업계 수준의 거버넌스 구축에 대한 헌신이 필요합니다. 이를 심각하게 받아들이는 조직은 노출을 줄일 수 있을 뿐만 아니라 또한 AI를 자신있게 확장하는 데 필요한 신뢰와 탄력성을 구축하여 비즈니스와 IT 간의 협력을 더욱 강화할 것입니다. 지능형 시스템이 인력의 일부가 되는 세상에서 운영 보안은 더 이상 기술적 문제가 아니라 전략적 필수 요소입니다. AI는 신뢰가 허용하는 범위 내에서만 확장됩니다. 거버넌스는 이러한 신뢰를 가능하게 합니다.
본 기사에 반영된 견해는 저자의 견해이며 글로벌 조직인 EY 또는 그 회원사의 견해를 반드시 반영하는 것은 아니며 Fortune의 의견과 신념을 반드시 반영하는 것도 아닙니다.
