하루가 끝날 때 AI 에이전트에게 미국 달러 10,000달러를 캐나다 달러로 변환하라고 지시한다고 상상해 보세요. 에이전트가 그것을 실행합니다 … 나쁘게. 매개변수를 잘못 해석하고 무단 레버리지 베팅을 하면 자본이 증발합니다. 책임은 누구에게 있습니까? 누가 당신에게 돈을 지불합니까?
지금은 아무도 그렇게 할 필요가 없습니다. 그리고 연구자 그룹은 이것이 에이전트 AI 시대를 정의하는 취약점이라고 주장합니다.
4월 8일 발표된 논문에서 컬럼비아 대학의 Microsoft Research, Google DeepMind, Virtuals Protocol 및 AI 스타트업 t54 Labs의 연구원들은 ARS(Agentic Risk Standard)라는 광범위하고 새로운 금융 보호 프레임워크를 제안했습니다. 이는 에스크로, 보험 및 청산소가 기존 금융 거래에서 수행하는 작업을 AI 에이전트를 위해 수행하도록 설계되었습니다. 표준은 오픈 소스이며 GitHub에서 t54 Labs를 통해 사용할 수 있습니다.
확률적 문제
팀이 식별한 핵심 문제는 “보증 격차”라고 부르는 것으로, 이를 “AI 보안 기술이 제공하는 확률적 신뢰성과 사용자가 고위험 작업을 위임하기 전에 필요로 하는 시행 가능한 보장 간의 단절”로 정의합니다. 이 설명은 리더십 전문가인 Jason Wild가 이전에 Fortune에서 AI 도구가 어떻게 모든 곳에서 확률적이고 혼란스러운 관리자인지에 대해 말한 내용을 반영합니다. t54 팀은 “잠재적 손실을 제한할 수 있는 방법이 없으면 사용자는 AI 위임을 위험도가 낮은 작업으로 합리적으로 제한하여 에이전트 기반 서비스의 광범위한 채택을 제한합니다”라고 썼습니다.
그들은 모델 수준의 안전 개선이 AI 실패 확률을 줄일 수는 있지만 완전히 없앨 수는 없다고 주장합니다. 대규모 언어 모델은 본질적으로 확률론적입니다. 즉, AI 에이전트가 아무리 잘 훈련되거나 조정되어도 여전히 환각을 느끼고 실수를 할 수 있습니다. 해당 브로커가 중개 계정을 관리하거나 금융 API 호출을 실행하는 경우 단 한 번의 실패라도 즉각적이고 실질적인 손실을 초래할 수 있습니다.
Microsoft Research의 수석 연구원인 Wenyue Hua는 “보다 신뢰할 수 있는 AI 연구는 실패 확률을 줄이는 것을 목표로 합니다.”라고 말했습니다. “이 작업은 필수적이지만 확률은 보장되지 않습니다. ARS는 보완적인 접근 방식을 취합니다. 즉, 모델을 완벽하게 만들려고 노력하기보다는 그렇지 않은 경우 발생하는 일을 재정적으로 공식화합니다. 그 결과 사용자 보호가 확률론이 아닌 결정론적인 결제 프로토콜이 탄생했습니다.”
연구원의 솔루션은 수세기에 걸친 금융 공학을 직접적으로 기반으로 합니다. ARS는 계층화된 정산 프레임워크를 도입합니다. 즉, 서비스 수수료를 보관하고 검증된 작업이 전달된 경우에만 이를 해제하는 에스크로 금고입니다. AI 서비스 제공업체가 사용자 자금에 접근하기 전에 공개해야 하는 담보 요건 선택적 구독: AI 오류의 위험을 평가하고 프리미엄을 청구하며 문제가 발생할 경우 사용자에게 상환하는 데 동의하는 위험을 감수하는 제3자입니다.
프레임워크는 두 가지 유형의 AI 작업을 구별합니다. 표준 서비스 작업(슬라이드쇼 생성, 보고서 작성)에는 재정적 노출이 제한되어 있으므로 에스크로 기반 결제로 충분합니다. 자금 교환(외환 거래, 레버리지 포지션, 금융 API 호출)과 관련된 작업에서는 에이전트가 결과를 확인하기 전에 사용자의 자본에 액세스해야 하며, 이때 구독이 필수적입니다. 단일 채무불이행이 발생하지 않도록 거래상대방 간에 청산소를 배치하는 파생상품 시장을 지배하는 논리와 동일합니다.
이 백서는 ARS를 기존 위험 할당 산업과 표로 명시적으로 연결합니다. 건설은 이행 채권을 사용하고, 전자 상거래는 플랫폼 에스크로를 사용하고, 금융 시장은 마진 요구 사항 및 청산소를 사용하고, DeFi는 스마트 계약 담보를 사용합니다. 연구원들은 AI 에이전트가 해당 인프라의 자체 버전이 필요한 차세대 고위험 서비스 범주일 뿐이라고 주장합니다.
그 순간이 결정적이다
금융 규제 당국은 이미 돌고 있습니다. 12월에 발표된 FINRA의 2026년 규제 감독 보고서에는 생성 AI에 대한 섹션이 처음으로 포함되어 브로커-딜러에게 환각을 대상으로 하는 절차를 개발하고 “사용자의 실제 또는 의도된 범위와 권한을 넘어서” 작동할 수 있는 AI 에이전트를 검사하도록 경고했습니다. SEC와 다른 기관들은 면밀히 관찰하고 있습니다.
그러나 ARS는 규제 기관이 아직 구축하지 않은 것으로 제시됩니다. 일련의 규칙이 아니라 프로토콜, 즉 자금 차단 방법, 청구서 제출 방법, AI 에이전트가 실패할 때 환불이 실행되는 방법을 제어하는 표준화된 상태 시스템입니다. 연구원들은 ARS가 더 큰 신뢰 스택의 한 계층이며 실제 병목 현상은 상담원 행동에 대한 정확한 위험 가격 책정 모델을 구축하는 것임을 인식합니다.
Fang은 Fortune과의 인터뷰에서 “이 문서는 자율 에이전트 거래와 관련된 엔드투엔드 프로세스와 위험 평가를 파악하기 위한 높은 수준의 프레임워크를 구축하는 첫 번째 단계입니다.”라고 말했습니다. “나중에 다양한 사용 사례에서 위험을 계산하는 방법을 이해하기 위해 보다 구체적인 세부 정보, 모델 및 기타 연구를 소개해야 합니다.”
