26.09.09 12:10ㅣ최종 업데이트 26.09.09 17:08
  • 본문듣기
전 화웨이 판구모델 연구소장이자 현 토큰리듬 창업자인 왕윈허 CEO.
▲전 화웨이 판구모델 연구소장이자 현 토큰리듬 창업자인 왕윈허 CEO.자료사진

2026년 8월 글로벌 결제 대기업 스트라이프(Stripe)가 약 75억 달러에 AI 모델 라우팅 플랫폼 오픈라우터(OpenRouter)를 인수했습니다. 불과 석 달 전만 해도 13억 달러에 평가 받던 기업이었습니다. 이 인수는 AI 업계의 거대한 흐름을 단적으로 보여줍니다. 더 이상 '어느 단일 모델이 가장 뛰어난가'가 아니라, '수많은 모델을 어떻게 효과적으로 조직하고 활용할 것인가'가 핵심 경쟁력으로 부상하고 있는 것입니다.

이러한 흐름의 정확한 중심에 중국 스타트업 '토큰리듬(TokenRhythm)'이 있습니다. 전 화웨이 노아방주 연구소장이자 판구 대형모델 총책임자였던 왕윈허가 창업한 이 회사는 출범 불과 4개월 만에 엔젤 투자 단계에서 1억 달러의 기업 가치를 인정받았습니다. 이후 추가 투자 유치와 함께 누적 사용자 5만 4천 명, 일일 토큰 호출량 5000억을 돌파하며 급성장하고 있습니다.


이 회사의 핵심 전략은 지능형 의사결정 엔진 '라우팅 하네스(Routing Harness)'라는 개념에 집약됩니다. 이는 단순히 여러 모델을 연결하는 게이트웨이가 아니라, 에이전트가 작업을 수행하는 과정에 실시간으로 개입하여 작업 유형, 실행 단계, 비용 예산, 실시간 상태에 따라 모델을 동적으로 선택·전환·협업시키는 인프라 계층입니다.

그리고 바로 이 회사가 최근 공개한 '네오호스-1(NeoHorse-1)'은, 이 전략의 연장 선상에서 탄생한 업계 최초의 '에이전트-네이티브(Agent-Native) 모델'입니다. 그렇다면 이 모델은 기존 모델들과 무엇이 근본적으로 다르며, 글로벌 AI 트렌드에 어떤 시사점을 던지는 것일까요.

사람의 언어를 넘어 '에이전트의 언어'를 학습한 모델의 등장

기존의 LLM은 주로 인터넷에 존재하는 텍스트, 즉 질문과 답변, 논문, 위키백과, 뉴스 기사 등을 학습했습니다. 이들은 '무엇을 말해야 하는가'에 집중해 왔습니다. 그러나 네오호스의 학습 데이터는 근본적으로 다릅니다. 이 모델의 핵심 훈련 말뭉치는 기원율동의 라우팅 하네스가 실제로 생성한 '에이전트 실행 궤적(Agent execution trajectories)'입니다.

이 궤적에는 단순한 질문과 답변이 아닌 에이전트가 작업을 완수하기까지의 전 과정이 고스란히 담겨 있습니다. 즉, 입력된 작업을 라우터가 어떻게 판단하고, 어떤 모델을 선택했으며, 그 모델이 어떤 도구를 호출했고, 환경으로부터 어떤 피드백을 받았으며, 오류가 발생했을 때 어떻게 경로를 수정했는지에 대한 '행동과 실패, 그리고 복구의 전체 경로'가 기록되어 있는 것입니다.

예를 들어 한 프로젝트 일정 관리 작업에서 기초 모델은 작업 디렉터리의 파일은 찾았지만, 최신 의존성 제약 조건이 담긴 이메일을 읽지 못해 만료된 정보로 일정을 작성하고 파일을 잘못된 위치에 저장했습니다. 그러나 네오호스는 이메일까지 꼼꼼히 읽고, 변경된 제약 조건을 반영해 일정을 재계산하고, 결과를 검증한 뒤 올바른 위치에 저장하는 완전한 작업 흐름을 보여줍니다.

이러한 차이는 네오호스가 '정답'이 아닌 '문제 해결의 절차' 자체를 학습했기 때문에 가능한 것입니다. 다시 말해 네오호스는 에이전트가 실제 세계에서 부딪히는 수많은 시행착오를 '언어' 삼아 학습한 최초의 모델인 셈입니다.

선순환 구조의 아키텍처와 구체적 성과

All Model, One Mind를 지향하는 에이전트 네이티브 모델 회사 토큰리듬.
▲All Model, One Mind를 지향하는 에이전트 네이티브 모델 회사 토큰리듬. 자료사진

네오호스의 혁신은 단순히 새로운 데이터를 학습한 데서 그치지 않습니다. 그 가치는 라우팅 하네스가 쌓은 경험이 다시 모델 훈련으로 환류되는 '선순환 구조'에 있습니다.

이 구조는 다음과 같이 작동합니다. 첫째, 라우팅 하네스가 다양한 모델들을 실제 작업에 투입하며 방대한 실행 궤적을 생성합니다. 둘째, 이 궤적들은 구조적 검증과 6개 차원(사용자 목표 달성, 증거 일관성, 오류 복구 등)의 품질 평가를 거쳐 고품질 훈련 데이터로 선별됩니다.

셋째, 이 데이터는 '라우팅 유도 커리큘럼 학습(Routing-Guided Curriculum)'과 '온-폴리시 증류(On-Policy Distillation)'라는 특수한 후훈련(Post-Training) 기법을 통해 모델에 주입됩니다. 전자는 라우터의 신호에 따라 쉬운 작업부터 어려운 작업까지 단계적으로 학습하도록 돕고, 후자는 모델이 실제로 문제를 풀어가는 과정에서 발생하는 오류를 교사 모델이 실시간으로 지도하여 실수로부터 배우게 합니다. 마지막으로, 이렇게 업데이트된 모델은 다시 라우팅 하네스로 복귀하여 다른 모델들과 함께 더 나은 선택지가 됩니다.

이러한 과정을 거친 네오호스의 성과는 놀랍습니다. 네오호스-1-4B는 알리바바의 오픈소스 모델인 큐원(Qwen)3.5-4B를 기반으로 후훈련되었음에도 10개 종합 벤치마크에서 매크로 평균 점수가 58.94에서 64.87로 무려 5.93점 상승했습니다.

더욱 주목할 점은, 이 4B 모델이 11개 에이전트 관련 벤치마크 중 5개 항목에서 모수(Parameter)가 두 배 이상 큰 큐원3.5-9B 기초 모델을 능가했다는 사실입니다. 또한, 복잡한 연구 과제 평가인 DRACO에서는 경쟁사 대비 3분의 1의 비용으로 더 나은 성과를 거두기도 했습니다. 이는 작은 모델이라도 '어떻게 작업을 수행할지'에 대한 경험을 제대로 학습한다면 단순히 큰 모델의 추론 능력을 능가할 수 있음을 실증적으로 보여주는 사례입니다.

더 작은 모델로 더 기민하게 자기 진화한다

이러한 기술적 성과는 현실 세계에서 매우 실용적인 가치로 연결됩니다.

첫째, 비용 절감과 속도 향상입니다. 복잡한 에이전트 작업을 고가의 초대형 모델에 의존하지 않고 상대적으로 작고 경제적인 4B 모델이 상당 부분 처리할 수 있게 되었습니다. 이는 기업의 API 호출 비용을 획기적으로 줄이고 응답 속도를 개선하여 AI 에이전트의 대중화를 앞당기는 핵심 동력이 될 것입니다.

둘째, '실행 경험의 재투자'라는 자기 진화(RSI)의 가능성입니다. 토큰리듬은 이번 네오호스의 개발 과정을 '재귀적 자기 개선(Recursive Self-Improvement, RSI)'을 향한 단일 루프의 엔지니어링 검증'으로 규정합니다.

즉, 에이전트가 작업을 수행하며 남긴 궤적이 다음 모델 훈련의 재료가 되고, 개선된 모델이 다시 더 나은 궤적을 생성하는 순환고리의 첫 고리를 성공적으로 연결한 것입니다. 이 순환이 여러 차례 반복되어 안정적인 성능 향상을 증명한다면 이는 인간의 개입 없이도 스스로 진화하는 AI 시스템이라는 궁극적인 목표에 한 걸음 다가서는 것입니다.

셋째, 산업 전반의 생산성 혁신입니다. 금융, 제조, 법률, 연구개발 등 복잡한 의사 결정과 도구 활용이 필요한 분야에서, 네오호스와 같은 에이전트-네이티브 모델은 단순한 정보 검색을 넘어 '디지털 인턴' 또는 '자동화된 업무 처리자'로서 역할을 할 수 있습니다. 방대한 문서를 검토하고, 일정을 관리하며, 데이터를 분석하고, 보고서를 작성하는 일련의 과정을 사람의 개입을 최소화하고 수행함으로써 지식 노동자의 생산성을 획기적으로 끌어올릴 잠재력을 지니고 있습니다.

'에이전트를 위한 모델'의 시대가 열린다

네오호스의 등장은 AI 업계의 패러다임 전환을 분명히 알리는 신호입니다. 지금까지의 경쟁이 '모델의 크기(Scaling Law)', 즉 더 많은 데이터와 더 큰 모델을 만드는 데 집중되었다면, 이제는 '경험의 축적과 자기 진화(Experiential Learning)'로 무게 중심이 이동하고 있습니다.

AI는 이제 방대한 텍스트를 다루는 도구가 아닌 실제 세계와 상호작용하며 시행착오를 통해 배우는 '디지털 에이전트'로 진화하고 있습니다. 네오호스는 이러한 에이전트의 언어를 학습한 최초의 모델이라는 점에서 그리고 그 학습 과정을 선순환 구조로 설계했다는 점에서 이 새로운 시대의 출발점에 서 있습니다.

물론 완성형은 아닙니다. 현재의 RSI는 단일 루프 검증 단계이며 이 순환이 여러 차례 반복되어도 지속적인 성능 향상을 보장할 수 있을지는 추가적인 연구와 시간이 필요합니다. 또한, 초대형 모델을 보유한 빅테크 기업들이 자체적으로 라우팅과 에이전트 기술을 고도화한다면 중립적 중개자를 자처하는 토큰리듬의 생존 공간은 도전받을 수 있습니다.

그럼에도 불구하고 이번 사례는 2026년 하반기에 들어 미국과 중국의 AI 모델 발전 방향이 뚜렷하게 갈라지고 있음을 극적으로 보여줍니다. 우선 오픈AI의 프론티어 모델 아스트라(Astra)는 하나의 거대한 두뇌가 직접 추론하고, 필요에 따라 하위 에이전트(Sub-agent)를 동적으로 생성하여 작업을 분배하는 '멀티 에이전트(Multi-Agent) 아키텍처'를 채택함으로써, 모델 자체에 에이전트 기능을 내장하는 방식을 택했습니다. 이는 단일 모델의 역량을 극한까지 끌어올려 모든 것을 해결하려는 접근법입니다.

이에 반해 중국의 AI 생태계는 딥시크(DeepSeek), 큐웬(Qwen), 키미(Kimi), GLM, Hy 등 다양한 오픈소스 기반 모델들을 중심으로 한 '모델 라우팅(Model Routing)' 전략을 핵심으로 삼고 있습니다. 더불어 이들 간의 가장 중요한 차별점은, 라우팅 과정에서 발생하는 방대한 실행 기록 - 즉 성공과 실패의 전체 궤적 - 을 체계적으로 수집하여, 이를 각 모델의 상호 발전에 재투자하는 선순환 구조를 구축하고 있다는 사실입니다. 즉 미국이 '하나의 AGI'를 향해 수직적으로 나아간다면 중국은 '생태계 전체의 경험을 축적하고 공유하는' 수평적 진화 전략을 취하고 있는 셈입니다.

미래의 AI 모델은 단순히 '똑똑한' 존재가 아닌, '경험을 통해 진화하는' 존재가 될 것입니다. 그리고 그 여정의 첫걸음을 내디딘 기업으로서 기원율동과 네오호스는 앞으로도 업계의 주목을 받을 것입니다. '에이전트를 위한 모델'의 시대, 그것이 바로 우리 눈앞에 펼쳐지고 있는 새로운 현실입니다.

[참고] '토큰리듬' 홈페이지 https://tokenrhythm.studio/
[오픈소스] NeoHorse GitHub https://github.com/TokenRhythm/NeoHorse
NeoHorse Hugging Face https://huggingface.co/collections/TokenRhythm/neohorse-1
덧붙이는 글 임선영씨는 중국 칭화대 전산언어학 석사를 마친 중국경제전문가이며 <중국경제 미래지도>, <중국AI 미래지도>의 저자입니다. 이 글은 본인의 페이스북에도 올렸습니다.
이 기사가 마음에 드시나요? 좋은기사 원고료로 응원하세요
원고료로 응원하기

독자의견