Glacis의 CTO이자 공동 창립자인 Rohit Tatachar입니다.
Microsoft Azure의 베테랑 엔지니어이자 제품 리더인 Rohit Tatachar는 많은 기업이 프로덕션에서 완전히 모니터링하거나 제어할 수 없는 AI 시스템을 구축하고 있다는 사실을 확인했습니다.
시애틀 스타트업의 새로운 역할에서 그는 이에 대해 뭔가를 하고 있습니다.
Tatachar는 현재 CEO인 Joe Braidwood가 “엔터프라이즈 AI를 위한 비행 기록 장치”라고 부르는 AI 행동에 대한 변조 방지 기록을 생성하는 Glacis의 공동 창립자이자 CTO입니다. Glacis가 AI 에이전트를 모니터링하고 제어하는 새로운 오픈 소스 도구를 출시하면서 출시되었습니다.
2025년 11월 GeekWire에서 처음 다루었던 Glacis는 Braidwood와 워싱턴 대학의 정신과 의사이자 부교수인 Jennifer Shannon 박사가 시작했습니다.
회사는 어려운 교훈을 얻었습니다. AI 기반 정신 건강 도구인 Braidwood의 이전 스타트업인 Yara는 취약한 사용자와의 긴 대화 중에 모델이 의도한 동작에서 벗어나는 것을 발견한 후 문을 닫아야 했습니다.
그가 LinkedIn에 폐쇄에 관해 글을 쓴 후, 규제 기관, 의사, 엔지니어 및 보험 경영진은 동일한 의견을 내놓았습니다. AI 시스템이 결정을 내릴 때 안전 제어가 실제로 작동했는지 여부를 독립적으로 확인할 수 있는 사람은 아무도 없습니다.
그것이 Glacis의 불꽃이었습니다.
작동 방식: Arbiter라는 스타트업의 핵심 제품은 각 AI 추론 호출의 경로에 위치하며 입력, 실행된 보안 검사 및 최종 결과에 대한 서명된 기록을 생성합니다.
기록은 사실 이후에 수정될 수 없습니다. 대규모로 Glacis가 Witness Network라고 부르는 시스템은 이러한 기록을 공증하고 감사 가능한 추적으로 전환합니다.
고객은 개입 없이 관찰하는 “섀도우 모드”에서 시스템을 실행하거나 AI의 동작을 적극적으로 제한하는 법 집행 모드에서 시스템을 실행할 수 있습니다.
Glacis 공동 창업자인 Joe Braidwood(왼쪽)와 Jennifer Shannon. (사진 글라시스)
Glacis의 최고 의료 책임자인 Shannon은 의료 분야에서 위험이 높다고 말했습니다. 현직 아동 정신과 의사인 그녀는 AI 기반 환경 서기관이 자신이 만든 적이 없는 약물에 대한 처방을 포함하여 임상 기록에서 내용을 환각시키는 것을 보았습니다.
“나는 돌아가서 그 AI 모델이 어떻게 그런 결정을 내렸는지 모든 단계를 볼 수 있었으면 좋겠다”고 그는 말했습니다. “인프라가 없다면 책임은 누구에게 있습니까? 아무도 AI를 고소하지 않을 것입니다. 바로 나입니다.”
근본적인 과제: Tatachar는 거의 19년에 걸쳐 두 차례에 걸쳐 Microsoft에서 근무했으며 가장 최근에는 엔터프라이즈 AI 애플리케이션 및 에이전트를 구축하고 배포하기 위한 플랫폼인 Microsoft Foundry 팀의 수석 제품 관리자로 근무했습니다.
그는 기업들이 도구를 만들고 개념 증명을 실행하지만 시스템이 수행하는 작업을 설명하거나 확인할 수 없기 때문에 AI를 생산에 도입하는 데 어려움을 겪고 있다고 말했습니다.
문제는 고객 인프라의 기본 상태, 모델의 동작, 그리고 기본 모델이 정상적으로 작동하더라도 시스템이 고객이 의도한 것과 다르게 동작하는 ‘의도 드리프트’라는 세 가지 차원이 있다고 그는 말했습니다.
Glacis는 세 가지 모두에 걸쳐 배포를 모니터링합니다. Tatachar는 “이 세 가지가 수렴될 때만 고객은 실제로 무슨 일이 일어났는지에 대한 실제 시각을 갖게 됩니다.”라고 말했습니다.
새 릴리스: Glacis는 다양한 취약성 범주에 걸쳐 AI 시스템을 자동으로 공격한 다음 수정 사항을 생성하고 효율성을 확인하는 오픈 소스 도구인 자동 레드팀을 출시합니다.
또한 회사는 입증 가능한 AI 보안을 운영에 통합하기 위한 프레임워크를 조직에 제공하기 위해 “런타임 시 신뢰에 대한 관찰 가능한 검증 증거”에 대한 표준인 OVERT 1.0을 출시하고 있습니다.
릴리스는 AI 에이전트의 안전을 위해 불안정한 시기에 이루어집니다. 오픈소스 AI 에이전트 프레임워크인 OpenClaw는 2025년 후반에 출시된 이후 수십만 명의 개발자를 유치했지만 채택 속도가 보안 아키텍처를 앞지르고 있습니다.
CrowdStrike 및 Cisco를 포함한 주요 사이버 보안 회사는 프레임워크의 보안 취약성을 경고하는 분석을 발표했습니다. Braidwood는 이것이 배포 전에 보안 제어를 테스트하는 것이 아니라 런타임에 보안 제어를 시행할 수 있는 인프라의 필요성을 보여준다고 말했습니다.
목표 시장: 이 회사는 의료, 핀테크 및 보험 부문의 고객에 중점을 두고 있습니다.
올해 초 JP Morgan의 의료 컨퍼런스에서 두 건의 파일럿 계약을 체결했으며, 세 건이 더 진행 중입니다. Braidwood는 회사가 의료를 진입점으로 보고 있지만 문제는 궁극적으로 모든 AI 구현에 보편적인 것으로 보고 있다고 말했습니다.
이번 주 새로운 개발: Glacis는 매월 최대 10,000개의 AI 이벤트에 대한 레드 팀 구성, 규정 준수 및 암호화 인증을 포함하는 월 49달러 스타터 플랜의 대기자 명단도 공개합니다. $499 프로 레벨은 최대 100,000개의 이벤트를 포함합니다.
Braidwood는 이러한 움직임이 회사가 지금까지 협력해 온 규제 대상 회사 및 디자인 파트너를 넘어 기술에 접근할 수 있도록 하기 위한 의도적인 변화라고 말했습니다.
더 큰 그림: AI 관찰 가능성 및 보안은 급성장하는 시장입니다. 자금이 풍부한 스타트업과 대기업이 엔터프라이즈 AI를 위한 런타임 모니터링 및 가드레일을 제공하고 있습니다.
Braidwood는 Glacis가 암호화 증명 가능성에 초점을 맞춘다는 점에서 차별화된다고 말했습니다. 즉, 문제를 탐지할 뿐만 아니라 보안 검사가 실행되었다는 변조 방지 증거를 생성하여 기업이 보험 적용 범위를 협상하고 규제 기관을 만족시키는 데 도움이 될 수 있다고 말했습니다.
자금: Glacis는 Geoff Ralston의 Safe Artificial Intelligence Fund, Mighty Capital, Sourdough Ventures 및 AI2 Incubator를 포함한 투자자 그룹으로부터 575,000달러를 모금했습니다.
또한 Cloudflare의 Launchpad 프로그램과 Plug and Play의 세 번째 시애틀 가속기 그룹의 일부이기도 합니다. Braidwood는 회사가 올해 말에 시드 라운드를 종료하기를 희망한다고 말했습니다.
팀: Glacis에는 공동 창립자 3명과 엔지니어 2명을 포함해 5명의 직원이 있습니다.
Tatachar는 회사의 여섯 번째 “직원”이 Vanta를 통해 SOC 2 규정 준수 작업을 처리하는 AI 에이전트가 될 것이라고 말했습니다. 팀은 Rust로 핵심 암호화 코드를 작성하고 작업 흐름 전반에 걸쳐 Claude, Codex 및 ChatGPT를 사용합니다.
Braidwood는 “우리 회사에는 100명의 직원이 있습니다.”라고 농담했습니다. “그 중 5개는 실제이고 나머지는 클라우드나 데스크탑에 있습니다.”
