Nvidia는 GPU를 기반으로 AI 제국을 건설했습니다. 그러나 Groq에 200억 달러를 투자한 것은 회사가 GPU만으로는 AI의 가장 중요한 단계, 즉 추론으로 알려진 대규모 모델 실행을 지배할 것이라고 확신하지 않는다는 것을 의미합니다.
물론 AI 추론에서 승리하기 위한 싸움은 경제성에 관한 것입니다. 모델이 훈련되면 유용한 모든 작업(쿼리 응답, 코드 생성, 제품 추천, 문서 요약, 챗봇 지원, 이미지 분석)이 추론 중에 발생합니다. AI가 매몰 비용에서 수익 창출 서비스로 바뀌면서 비용 절감, 지연 시간(AI가 응답할 때까지 기다려야 하는 시간) 단축, 효율성 향상에 대한 모든 압력이 수반되는 순간입니다.
이러한 압박이 바로 추론이 잠재적 이익을 위한 업계의 차세대 전쟁터가 된 이유이며 Nvidia가 크리스마스 연휴 직전에 발표한 거래에서 빠르고 지연 시간이 짧은 AI 추론을 위해 특별히 설계된 칩을 만드는 스타트업인 Groq의 기술을 라이센스하고 창립자이자 CEO인 Jonathan Ross를 포함한 대부분의 팀을 고용한 이유입니다.
추론은 AI의 ‘산업혁명’이다
Nvidia CEO Jensen Huang은 추론 문제에 대해 명시적으로 밝혔습니다. 그는 엔비디아가 “AI의 모든 단계에서 탁월하다”고 말했지만, 지난 11월 회사의 3분기 실적 컨퍼런스 콜에서 분석가들에게 추론은 “매우, 매우 어렵다”고 말했습니다. 현대 추론은 입력 메시지와 출력 응답의 단순한 사례가 아니라 지속적인 추론, 수백만 명의 동시 사용자, 짧은 대기 시간 보장, 엄청난 비용 제약을 지원해야 합니다. 그리고 여러 단계를 처리해야 하는 AI 에이전트는 추론의 수요와 복잡성을 극적으로 증가시키고, 추론이 틀릴 위험도 증가시킵니다.
“사람들은 추론이 일회성이므로 쉽다고 생각합니다. 누구나 그런 식으로 시장에 접근할 수 있습니다”라고 Huang은 말했습니다. “하지만 생각하는 것이 꽤 어렵다는 것이 밝혀졌기 때문에 그것은 무엇보다도 가장 어려운 것으로 밝혀졌습니다.”
Groq에 대한 Nvidia의 지원은 그러한 믿음을 강조하고 AI 훈련을 지배하는 회사조차도 추론 경제가 어떻게 끝날 것인지를 회피하고 있다는 점을 지적합니다.
Huang은 또한 추론이 AI의 성장에 어떻게 핵심이 될 것인지에 대해 솔직하게 밝혔습니다. 최근 BG2 팟캐스트 대화에서 Huang은 추론이 이미 AI 관련 수익의 40% 이상을 차지하고 있으며 “약 10억 배 증가할 것”이라고 예측했다고 말했습니다.
황은 “대부분의 사람들이 완전히 내면화하지 못한 부분이 바로 이것이다”고 말했다. “이것이 우리가 이야기하던 산업입니다. 이것이 바로 산업 혁명입니다.”
CEO의 자신감은 근본적인 경제 상황이 아직 해결되지 않았음에도 불구하고 Nvidia가 추론이 전달되는 방법에 대해 공격적으로 헤징하려는 이유를 설명하는 데 도움이 됩니다.
Nvidia는 추론 시장을 장악하고 싶어합니다.
Cambrian AI Research의 창립자이자 수석 분석가인 Karl Freund는 Nvidia가 시장의 모든 부분을 장악하기 위해 위험을 감수하고 있다고 말했습니다. 그는 “메타가 인스타그램을 인수하는 것과 약간 비슷하다”고 설명했다. “그들이 페이스북이 나쁘다고 생각한 것은 아닙니다. 단지 그들과 경쟁하지 않기를 원하는 대안이 있다는 것을 알았을 뿐입니다.”
Huang이 추론을 위한 기존 Nvidia 플랫폼의 경제성에 대해 강력한 주장을 했음에도 불구하고 그렇습니다. Freund는 최근 20억 달러의 평가액으로 2억 7,500만 달러를 모금한 Microsoft가 지원하는 또 다른 빠르고 지연 시간이 짧은 AI 칩 스타트업을 언급하면서 “그들이 기대했던 것만큼 고객의 공감을 얻지 못했다고 생각했거나 Groq과 D-Matrix라는 다른 회사가 가지고 있는 칩 메모리 기반 접근 방식에서 뭔가를 본 것 같습니다”라고 말했습니다.
Freund는 Nvidia의 Groq 진입이 전체 카테고리를 향상시킬 수 있다고 말했습니다. “D-Matrix는 현재 매우 행복한 스타트업이라고 확신합니다. 왜냐하면 (Nvidia-Groq 거래) 덕분에 다음 라운드에서 훨씬 더 높은 가치 평가를 받을 것이라고 생각하기 때문입니다.”라고 그는 말했습니다.
다른 업계 임원들은 AI가 챗봇을 넘어 로봇, 드론, 보안 도구와 같은 실시간 시스템으로 이동함에 따라 AI 추론의 경제성이 변화하고 있다고 말합니다. 이러한 시스템은 클라우드로 데이터를 보내고 받을 때 발생하는 지연이나 컴퓨팅 성능을 항상 사용할 수 없는 위험을 감당할 수 없습니다. 대신 중앙 집중식 GPU 클러스터보다 Groq과 같은 특수 칩을 선호합니다.
먼 클라우드 데이터 센터가 아닌 로컬 장치, 센서 또는 서버와 같이 데이터가 생성되는 위치 근처에서 AI 추론을 실행하는 데 중점을 두는 OpenInfer의 창립자이자 CEO인 Behnam Bastani는 그의 스타트업이 이러한 유형의 애플리케이션을 “엣지”에서 목표로 삼고 있다고 말했습니다.
그는 추론 시장이 아직 초기 단계에 있다고 강조했습니다. 그리고 Nvidia는 Groq과의 계약을 통해 해당 시장을 장악하려고 합니다. 그는 추론의 경제성이 아직 해결되지 않은 상황에서 Nvidia가 단일 아키텍처에 의존하기보다는 전체 추론 하드웨어 스택을 포괄하는 회사로 자리매김하려고 노력하고 있다고 말했습니다.
“이것은 Nvidia를 더 큰 우산으로 자리매김하게 합니다”라고 그는 말했습니다.
