Anthropic CEO Dario Amodei는 AI를 둘러싼 장벽에 대한 결정을 내리는 사람이 자신이 되어서는 안 된다고 생각합니다.
아모데이는 “몇몇 회사, 몇 사람이 이런 결정을 내리는 것이 매우 불편하다고 생각한다”고 말했다. “그리고 이것이 제가 항상 책임감 있고 사려 깊은 기술 규제를 옹호해 온 이유 중 하나입니다.”
“당신과 샘 알트먼을 선택한 사람은 누구입니까?” -쿠퍼가 물었다.
“아무도 없어요. 솔직히 말하면 아무도 없어요.” 아모데이가 대답했다.
Anthropic은 AI가 계속 발전함에 따라 AI의 한계(및 위험)를 투명하게 공개한다는 철학을 채택했다고 덧붙였습니다. 인터뷰가 공개되기 전에 회사는 “실질적인 인간 개입 없이 실행된 대규모 AI 사이버 공격에 대한 최초의 문서화된 사례”를 좌절시켰다고 말했습니다.
Anthropic은 지난주 AI 안전과 규제에 초점을 맞춘 슈퍼 PAC인 Public First Action에 2천만 달러를 기부했으며 경쟁 OpenAI 투자자들이 지원하는 슈퍼 PAC에 직접적으로 반대했다고 밝혔습니다.
Amodei는 1월 커버 스토리에서 Fortune과의 인터뷰에서 “AI 안전은 여전히 최고 수준의 초점입니다.”라고 말했습니다. “회사는 신뢰와 신뢰성을 중요하게 생각합니다.”라고 그는 말합니다.
AI에 대한 금지 사항이나 기술의 안전성을 둘러싼 연방 규정은 없습니다. 올해 50개 주 모두 AI 관련 법안을 도입했고 38개 주에서는 투명성과 보안 조치를 채택하거나 제정했지만, 기술 업계 전문가들은 AI 기업들에게 시급하게 사이버 보안 문제를 해결할 것을 촉구했습니다.
작년 초, 사이버 보안 전문가이자 Mandiant CEO인 Kevin Mandiat는 AI 에이전트에 의한 첫 번째 사이버 보안 공격이 향후 12~18개월 내에 발생할 것이라고 경고했습니다. 이는 Anthropic이 좌절된 공격을 공개한 것이 Mandia의 예상 일정보다 몇 달 앞당겼다는 의미입니다.
Amodei는 자유로운 AI와 관련된 단기, 중기 및 장기 위험에 대해 간략히 설명했습니다. 이 기술은 지금처럼 편견과 잘못된 정보를 먼저 도입할 것입니다. 그런 다음 향상된 과학 및 공학 지식을 사용하여 유해한 정보를 생성한 후 마침내 인간의 주체를 제거하고 잠재적으로 너무 자율적이 되며 인간을 시스템에 차단함으로써 실존적 위협을 가할 것입니다.
이러한 우려는 AI가 아마도 향후 10년 내에 인간을 능가하고 통제할 수 있는 능력을 갖게 될 것이라고 경고한 “AI의 대부”인 Geoffrey Hinton의 우려와 유사합니다.
AI에 대한 더 큰 조사와 보호에 대한 필요성은 2021년 Anthropic 창립의 핵심이었습니다. Amodei는 이전에 Sam Altman의 OpenAI 연구 담당 부사장이었습니다. 그는 AI 안전 문제를 두고 의견 차이로 회사를 떠났다. (지금까지 알트만과 경쟁하려는 Amodei의 노력은 효과적인 것처럼 보였다. Anthropic은 이번 달에 현재 가치가 3,800억 달러로 평가된다고 밝혔습니다. OpenAI의 가치는 약 5,000억 달러로 평가됩니다.)
Amodei는 2023년 Fortune과의 인터뷰에서 “OpenAI 내에 GPT-2와 GPT-3을 만든 후 두 가지에 대해 매우 강한 믿음을 가진 그룹이 있었습니다. 하나는 이러한 모델에 더 많은 계산을 쏟으면 모델이 점점 더 좋아질 것이며 끝이 거의 없다는 생각이었습니다. 두 번째는 모델을 확장하는 것 외에 뭔가가 필요하다는 생각, 즉 정렬이나 보안이라는 생각이었습니다.”라고 말했습니다.
Anthropic의 투명성 노력
Anthropic은 데이터 센터 투자를 계속 확대하면서 AI 격차와 위협을 해결하기 위한 일부 노력을 공개했습니다. 2025년 5월 보안 보고서에서 Anthropic은 Opus 모델의 일부 버전이 폐쇄를 피하기 위해 엔지니어가 바람을 피우고 있음을 폭로하는 등 협박을 위협했다고 보고했습니다. 회사는 또한 AI 모델이 테러 공격 계획 방법과 같은 해로운 지시가 주어지면 위험한 요청을 이행했다고 밝혔는데, 이는 이미 수정되었다고 말했습니다.
지난해 11월 이 회사는 블로그 게시물을 통해 자사의 Claude 챗봇이 94%의 정치적 공정성 등급을 획득했으며 이는 중립성 측면에서 경쟁사를 능가하거나 이에 필적한다고 밝혔습니다.
기술 부패에 맞서기 위한 Anthropic의 자체 연구 노력 외에도 Amodei는 AI 위험을 해결하기 위한 더 큰 입법 노력을 요구했습니다. 2025년 6월 New York Times 논평에서 그는 AI를 규제하는 주에 10년 유예를 부과하는 도널드 트럼프 대통령의 법안에 조항을 포함시키기로 한 상원의 결정을 비판했습니다.
Amodei는 “AI가 너무 빠르게 움직이고 있습니다. “나는 이러한 시스템이 2년 안에 세상을 근본적으로 바꿀 수 있다고 생각합니다. 10년 안에 모든 베팅은 취소될 것입니다.”
인류에 대한 비판
자신의 실수를 지적하고 이를 해결하려는 Anthropic의 노력은 비판을 불러일으켰습니다. Anthropic이 AI 기반 사이버 보안 공격에 대해 경보를 울리는 것에 대해 Meta의 당시 수석 AI 과학자 Yann LeCun은 경고가 국회의원들이 오픈 소스 모델의 사용을 제한하도록 조작하는 방법이라고 말했습니다.
LeCun은 공격에 대한 우려를 표명한 코네티컷 상원 의원 Chris Murphy의 게시물에 대한 응답으로 X 게시물에서 “당신은 규제 캡처를 원하는 사람들에 의해 오해되고 있습니다”라고 말했습니다. “그들은 오픈 소스 모델이 규제되어 사라지도록 모호한 연구로 모든 사람을 겁주고 있습니다.”
다른 사람들은 Anthropic의 전략이 좋은 브랜딩에 해당하지만 기술에 안전 장치를 구현하겠다는 약속을 제공하지 않는 “보안 극장”이라고 말했습니다.
일부 Anthropic 직원조차도 기술 회사의 자체 규제 능력에 대해 의구심을 갖고 있는 것으로 보입니다. 지난주 초, Anthropic AI 보안 연구원 Mrinank Sharma는 “세계가 위험에 빠졌습니다”라고 말하며 회사를 사임했다고 발표했습니다.
샤르마는 사임서에서 “여기서 지내는 동안 우리의 가치관이 우리의 행동을 지배하게 하는 것이 얼마나 어려운지 반복해서 보았다”고 썼다. “나는 이것을 내 안에서, 조직 내에서, 가장 중요한 것을 제쳐두라는 압력에 지속적으로 직면하는 것을 보았습니다. 또한 사회 전체에서도 마찬가지입니다.”
Anthropic은 Fortune의 논평 요청에 즉시 응답하지 않았습니다.
Amodei는 Anthropic이 “보안 극장”에 참여하고 있다는 사실을 Cooper에게 부인했지만 지난 주 Dwarkesh Podcast의 에피소드에서 회사가 때때로 보안과 이익의 균형을 맞추는 데 어려움을 겪고 있음을 인정했습니다.
“우리는 엄청난 비즈니스 압박을 받고 있으며 보안 업무를 모두 수행하고 있으며 다른 회사보다 더 많은 일을 하고 있기 때문에 스스로를 더욱 힘들게 하고 있습니다.”라고 그는 말했습니다.
이 이야기의 버전은 2025년 11월 17일 Fortune.com에 게재되었습니다.
AI 규제에 대한 추가 정보:
