2년 전, 미시간의 고등학교에서 만난 두 명의 22세 친구는 베이징의 칭화대학교 뇌 연구실에 앉아 엘론 머스크의 수백만 달러 제안을 고민하고 있었습니다.
두 사람은 방금 뭔가 특이한 일을 했습니다. 즉, 인터넷에서 대량으로 덤프되는 데이터가 아닌 작고 신중하게 선택된 고품질 대화 세트를 기반으로 훈련된 소규모 대형 언어 모델(LLM)을 구축한 것입니다. 그리고 모델이 사람이나 동물과 동일한 방식으로 학습하는 기술인 강화 학습(RL)을 사용하여 개선하도록 가르쳤습니다. 즉, 결정을 내리고, 피드백을 받은 다음, 보상과 제재를 통해 행동을 다듬는 방식입니다.
그 당시에는 언어 모델을 사용하여 이 작업을 수행한 사람이 거의 없었습니다. LLM을 위해 RL을 탐구한 유일한 다른 그룹은 나중에 실리콘 밸리를 위협하게 된 중국 OpenAI 경쟁자인 DeepSeek였습니다.
두 명의 학생인 William Chen과 Guan Wang은 자신의 모델인 OpenChat에 전화를 걸어 즉흥적으로 오픈했습니다.
놀랍게도 OpenChat이 폭발적으로 성장했습니다.
Chen은 Fortune과의 인터뷰에서 “그는 매우 유명해졌습니다.”라고 말했습니다. 버클리와 스탠포드의 연구원들은 코드를 꺼내어 이를 기반으로 구축하고 작업을 인용하기 시작했습니다. 학계에서는 더 많은 데이터가 아닌 좋은 데이터로 훈련된 작은 모델이 어떻게 그 무게를 뛰어넘을 수 있는지 보여주는 첫 번째 사례 중 하나가 되었습니다.
그런 다음 Chen이 전혀 예상하지 못한 장소인 Elon Musk의 받은 편지함에 도착했습니다.
그들은 망설였습니다. 그런 다음 그들은 그를 거부했습니다.
Chen은 “우리는 대규모 언어 모델에 한계가 있다고 판단했습니다.”라고 말했습니다. “우리는 (대규모 머신러닝의) 구조적 한계를 극복하는 새로운 아키텍처를 원합니다.”
거래를 성사시키는 대신, 그들은 OpenChat의 편안한 추진을 뒤로하고 훨씬 더 야심찬 것을 추구했습니다. 즉, 현재 AI 모델을 능가할 수 있다고 믿는 “뇌에서 영감을 받은” 추론 시스템입니다.
그 결정은 2년 후 Sapient Intelligence와 추상적 추론 테스트에서 세계 최대 AI 시스템 중 일부를 능가하는 모델로 이어질 것입니다. 그들은 그들의 모델이 AI 연구에서 소위 성배라고 불리는 “AGI” 또는 “인공 일반 지능”을 최초로 달성할 것이라고 확신합니다. 여기서 기계의 지능은 모든 인지 작업에서 인간의 지능과 같거나 이를 능가할 수 있습니다.
군비 경쟁의 두 세계 사이
머스크를 거부하는 첸의 길은 베이징이 아니라 미시간주 블룸필드 힐스에서 시작되었으며, 그의 부모를 미치게 만든 어린 시절의 집착에서 시작되었습니다.
그는 “어렸을 때 물건을 부수고 다시 정리한 적이 없었다”고 말했다. “그게 내가 시작하게 된 계기야.”
Chan은 중국에서 태어나 샌디에고와 선전에서 부분적으로 자랐으며 결국 미시간의 명문 사립 기숙 학교인 Cranbrook Schools에 다니게 되었습니다. 그 무렵 그는 다른 학교에 다녔지만 똑같이 특이한 집착을 가진 또래 소년 Wang을 만났습니다.
처음 만난 날, 두 사람은 첸이 자신들의 삶의 궁극적인 목적인 ‘메타골’이라고 부르는 것에 대해 긴 대화를 나눴습니다.
Wang에게 있어 그 메타목표는 AGI라는 용어가 대중화되기 오래 전부터였습니다. 그는 고등학교 때 이를 “모든 문제를 해결하는 알고리즘”이라고 설명했습니다. 용어가 아직 존재하지 않았기 때문입니다. Chen의 메타 목표는 달랐지만 보완적이었습니다. 즉, 엔지니어링 문제부터 실제 시스템까지 모든 것을 최적화하는 것이었습니다.
Chen은 “이것은 즉각적인 조정이었습니다.”라고 말했습니다.
오늘날에도 두 사람은 고용하는 모든 사람에게 메타 목표가 무엇인지 묻습니다.
Chen은 학교의 드론 클럽을 설립하고 학생들이 캠퍼스에서 쿼드콥터를 조종할 수 있도록 관리자에게 청원했으며 로봇 연구실에서 실험을 하며 몇 시간을 보냈습니다. 둘 다 늦게까지 남아서 철물을 부수고 계속 실험을 하는 아이들이었어요.
첸은 “정말 좋은 순간이었다”고 말했다.
대학 입학이 다가오자 Chen은 재능 있는 로봇 공학 학생에게 분명하고 권위 있는 길인 Carnegie Mellon과 Georgia Tech에 합격했습니다. 한편, 왕은 종종 ‘중국의 MIT’로 묘사되는 중국의 명문 공과대학인 칭화대학교에 입학했습니다.
Chen은 베이징 캠퍼스를 방문하고 연구실을 견학한 후 미국 고등학생 중 거의 내릴 수 없는 결정을 내렸습니다. 그는 Wang을 따라 Tsinghua로 갔습니다.
전환은 쉽지 않았습니다. 수업 과정은 치열했고 두 사람은 일부 과목에서 낙제하는 등 어려움을 겪었습니다.
“대부분의 중국 아이들은 정말 (고정관념을 갖기 싫지만) 공부를 정말 잘해요”라고 첸은 웃었다. “그들은 정말 날카롭습니다.”
그럼에도 불구하고 그는 교수들이 자신과 Wang이 무엇을 만들고 있는지 알게 된 후 얼마나 많은 지원을 했는지에 놀랐습니다.
“그들은 ‘당신이 뭘 하려는지 알아요. 정말 좋은 일이에요. 저는 실제로 AGI의 개념을 믿습니다’라고 말했습니다.”라고 그는 말했습니다.
그때쯤 칭화대 뇌 인지 및 뇌 영감 지능 연구소의 거의 모든 사람들은 두 학생이 무엇을 시도하고 있는지 알고 있었습니다. 즉, 해당 분야의 지배적인 가정에 도전하는 인공 지능에 대한 새로운 접근 방식이었습니다.
새벽 3시에 돌파
그들이 트랜스포머보다 성능이 완전히 뛰어날 수 있다고 믿는 아키텍처인 계층적 추론 모델(HRM)을 개발한 곳은 칭화 두뇌 연구소였습니다.
OpenChat이 개념 증명이었다면 HRM은 그들이 쌓아온 혁신이었습니다. 그리고 그가 자신을 증명한 순간은 적절하게도 한밤중에 찾아왔습니다.
올해 6월 임의의 아침, 오전 3시에 Chen과 Wang은 소규모 실험 모델이 반환한 기본 결과를 고려했습니다. 그들의 작은 HRM 프로토타입(GPT-4 또는 Claude에 비해 미세한 2,700만 개의 매개변수)은 추론을 측정하기 위해 특별히 설계된 작업에서 OpenAI, Anthropic 및 DeepSeek의 시스템보다 성능이 뛰어났습니다.
Sudoku-Extreme을 풀고, 30×30 미로에서 최적의 통로를 찾았으며, 일련의 사고 방식 프롬프트나 무차별 대입 확장 없이 모두 ARC-AGI 벤치마크에서 놀라울 정도로 높은 성능을 달성했습니다.
첸은 “정말 말도 안 되는 일이었다”고 말했다. “아키텍처의 변화만으로도 우리가 추론의 깊이라고 부르는 많은 것을 모델에 제공했습니다.”
통계적 패턴을 기반으로 다음 단어를 예측하는 변환기와 달리 HRM은 인간의 두뇌가 느리고 신중한 생각과 빠르고 반사적인 반응을 혼합하는 방식을 느슨하게 모델링한 두 부분으로 구성된 반복 구조를 사용합니다. 시스템은 모방이 아닌 내부 논리를 사용하여 문제를 계획하고 분석하고 추론할 수 있습니다. Chen은 “추측에 관한 것이 아닙니다”라고 말했습니다. “그는 생각하고 있어요.”
Chen은 자사의 모델이 기존 LLM보다 훨씬 덜 놀랍고 일기 예보, 양적 거래, 의료 모니터링과 같은 시계열 예측 작업에서 이미 최첨단 성능을 갖추고 있다고 말합니다.
그들은 이제 간단하지만 급진적인 주장을 바탕으로 HRM을 범용 추론 엔진으로 전환하기 위해 노력하고 있습니다. 즉, AGI는 더 큰 변환기가 아니라 더 작고 효율적인 아키텍처에서 나올 것이라는 것입니다. 현재의 프론티어 모델은 거대하지만(어떤 경우에는 수천억 개의 매개변수), 심지어 그 창시자조차도 문제를 추론하고 계획하고 문제를 여러 단계로 분해하는 데 어려움을 겪고 있다고 Chen은 말했습니다.
그는 그 한계가 일시적인 것이 아니라 구조적인 것이라고 믿습니다.
“더 많은 레이어를 쌓을 수 있습니다”라고 그는 말합니다. “하지만 당신은 여전히 확률 모델의 한계에 도달하고 있습니다.”
Sapient는 이제 다음 달 안에 미국 사무소를 개설하고 추가 자금을 조달하며 이름을 변경하여 모델의 두 번째 버전 출시를 시작할 준비를 하고 있습니다. 창립자들은 지속적인 학습(처음부터 다시 훈련하지 않고 새로운 경험을 안전하게 흡수하는 모델의 능력)이 차세대 개척자라고 믿습니다.
Chen은 “AGI는 AI의 성배입니다. 그리고 그는 그것이 향후 10년 안에 나타나기를 희망합니다.
첸은 “언젠가는 인간보다 더 똑똑한 AI를 갖게 될 것”이라고 말했다. “Guan과 저는 항상 이것이 판도라의 상자와 같다고 말합니다. 우리가 성공하지 못하면 다른 누군가가 성공할 것입니다. 그래서 우리는 그것을 가장 먼저 만드는 사람이 되기를 희망합니다.”
