▲전화 사용 에이전트 환경의 확장.
PhoneWorld
폰 월드의 핵심은 실제 사용자의 행동 궤적에서 모바일 세계의 구조를 추출하고 그 구조를 에이전트가 훈련할 수 있는 살아있는 환경으로 재구성하는 것입니다.
구체적인 과정은 이렇습니다. 먼저 실제 앱의 GUI 사용 궤적(trajectories)과 스크린샷을 분석합니다. 어떤 화면이 자주 등장하는지, 화면들이 어떻게 연결되는지, 어떤 상호작용이 상태를 변경하는지, 어떤 사용자 목표가 자동 검증에 적합한지를 복제합니다. 복제하는 것은 화면의 스크린샷이 아니라 실제 사람이 이 앱을 어떻게 사용하는가라는 행동의 구조입니다.
이 구조를 바탕으로 코딩 에이전트가 Kotlin/Jetpack Compose로 모의(mock) 안드로이드 앱을 재구현하고, 실행 가능한 APK로 컴파일합니다. 각 모의 앱은 두 개의 층위를 갖습니다. 읽기 전용 콘텐츠, 즉 상품, 게시물, 연락처, 장소, 미디어는 검색과 탐색을 지원합니다. 변경 가능한 상태, 즉 즐겨찾기, 장바구니, 메시지, 댓글, 예약은 에이전트의 작업에 따라 실제로 데이터베이스에 기록됩니다.
에이전트가 작업을 수행하면 환경이 기억합니다. 작업이 끝나면 상태가 초기화됩니다. 결과는 자동으로 검증됩니다. 정보 조회 작업은 최종 답변의 정확성을 확인하고, 상태 변경 작업은 데이터베이스를 직접 조회해 실제로 기록되었는지 확인합니다. 인턴이 이메일을 보냈는지 상사가 직접 확인하는 방식입니다.
현재까지 구축된 훈련 환경은 34개 모의 앱, 16개 소비자 모바일 도메인(검색, 브라우징, 쇼핑, 예약, 미디어, 소셜 등), 120개 수동 검토 평가 태스크, 3354개 성공 궤적, 3만6193개 상호작용 단계입니다.
훈련이 쌓이면 에이전트는 실제로 강해진다
PhoneWorld 연구팀은 단 10K 단계(steps)의 모의 환경 데이터로 네 개의 벤치마크를 동시에 향상시켰습니다. 하이 모바일벤치(HYMobileBench) 17.7점, 안드로이드 컨트롤(AndroidControl) 6.0점, 안드로이드 월드(AndroidWorld) 14.7점, PhoneWorld 자체 52.5점 향상. 훈련용 사무실에서 쌓은 경험이 실제 업무 현장에서도 그대로 통했습니다.
스케일링 법칙도 확인됩니다. 감독 데이터를 0에서 36K로 늘리자 작업 성공률이 14.2에서 73.3으로 상승했습니다. 앱 수를 5개에서 34개로 늘리면 네 벤치마크 모두에서 성능이 향상됩니다. 인턴이 다양한 부서에서 더 많은 상황을 경험할수록 더 유능한 직원이 되는 것과 같습니다.
다만 한계도 분명합니다. 폰 월드 데이터로 실제 앱 데이터를 완전히 대체하면 일부 벤치마크에서 성능이 하락합니다. 훈련용 사무실은 실제 사무실의 대체재가 아닙니다. 두 환경은 보완재입니다. 이 연구가 '진행 중인 연구(work in progress)'를 명시한 이유이기도 합니다. 세계를 더 넓히는 작업이 지금도 계속되고 있습니다.
중국이 이미 만들고 있는 시장
이 연구는 학술 논문이지만 그 배경에는 이미 거대한 시장이 움직이고 있습니다. 시장조사기관 IDC는 2026년 중국 AI 스마트폰 출하량이 1억 4700만 대, 전체 시장의 53%에 달할 것으로 예측합니다.
바이트댄스(ByteDance)는 더우바오(豆包, Doubao) AI 어시스턴트를 탑재한 스마트폰 시제품을 공개했고, 화웨이는 에이전트버스(Agentverse)라는 모바일 AI 생태계 청사진을 발표했습니다. 텐센트는 결제, 쇼핑, 의료, 행정, 소셜을 하나로 묶은 위챗(WeChat) 안에 AI 에이전트를 통합하는 경로를 설계하고 있습니다.
폰 월드는 이 시장을 뒷받침하는 기술 연구입니다. 수억 명이 매일 사용하는 앱 생태계 위에서, 에이전트가 실제로 훈련하고 실제로 작동하는 세계를 체계적으로 만드는 파이프라인입니다.
엔비디아의 PC, 중국의 핸드폰, 같은 시기 다른 노선
같은 시기, 엔비디아는 "40년 만의 PC 재창조"를 선언했습니다. 2026년 6월 1일 컴퓨텍스(Computex) 타이베이 기조연설 무대에 선 젠슨 황은 마이크로소프트의 사티아 나델라(Satya Nadella)와 나란히 서서 RTX 스파크(Spark) 슈퍼칩을 공개했습니다.
젠슨 황의 선언은 간결했습니다. "40년 동안 당신은 앱을 실행했습니다. 클릭하고, 타이핑했습니다. 이제 당신은 묻습니다. 그러면 PC가 일합니다." 젠슨 황은 이것을 하나의 문장으로 묶었습니다. "로컬 에이전트. 프론티어 모델. 크리에이티브 워크플로. RTX 게임. 모두 노트북 하나에서." 엔비디아의 전략적 의도는 여기서 드러납니다.
지금 당장은 게임과 크리에이티브 수요로 시장을 확보하고 그 하드웨어 위에서 로컬 AI 에이전트 생태계를 키웁니다. 그리고 그 생태계가 피지컬 AI(Physical AI), 즉 로봇과 자율 시스템의 로컬 두뇌가 되는 미래를 겨냥합니다. 현재의 게임 수요를 미래의 로봇 인프라로 깔고 있는 셈입니다.
반면 중국은 이미 전 세계 68억 명의 손 안에 있는 기기를 보고 있습니다. 새로운 하드웨어를 설득할 필요가 없습니다. 폰 월드가 만드는 것은 그 손 안의 세계에서 에이전트가 지금 당장 훈련하고 지금 당장 작동할 수 있는 환경입니다.
사람들은 모바일을 선택할 것인가, PC를 선택할 것인가
전 세계 스마트폰 사용자 68억 명, PC 사용자 20억 명. 개발도상국 인구 대다수에게 PC는 없지만 스마트폰은 있습니다. 쇼핑, 결제, 소통, 정보 탐색, 업무 보조가 모두 스마트폰에서 이루어지는 수십억 명에게, AI 에이전트가 들어올 수 있는 문은 하나입니다. 모바일 에이전트 시대는 이미 시작되었습니다. 남은 질문은 누가 더 현실에 가까운 세계를 더 빠르게 더 많이 만들어내느냐 입니다. 폰 월드는 그 경쟁의 논리를 보여주는 첫 번째 청사진입니다.
휴머노이드 로봇이 걷기 위해 수백만 번 가상 세계에서 넘어졌듯이, 모바일 에이전트도 지금 폰월드라는 훈련 세계 안에서 수백만 번의 심부름을 연습하고 있습니다. 그 인턴이 곧 당신의 비서가 됩니다. 폰이 세상이 됩니다.
저작권자(c) 오마이뉴스(시민기자), 무단 전재 및 재배포 금지
오탈자 신고
진실과 정의를 추구하는 오마이뉴스를 후원해주세요!
후원문의 : 010-3270-3828 / 02-733-5505 (내선 0)