LLM 성공 방정식을 로보틱스에 복사하면, Physical AGI가 보인다

Jim Fan · NVIDIA 수석 연구원, 임바디드 AI 리드 — 파운데이션 모델을 물리 세계로 확장 · 2026.04.26 ~ 05.10 큐레이션

LLM(거대 언어 모델)이 언어를 정복한 방식 그대로 물리 세계를 정복할 수 있을까요? Jim Fan은 Sequoia AI Ascent 무대에서 “좋은 과학자는 숙제를 베낀다”며, 로보틱스의 난제를 LLM 성공 공식에 대입한 20분짜리 로드맵을 공개했어요. 그 핵심은 데이터·모델·RL(강화학습)의 세 축을 병렬로 스케일업하는 것이에요.

Physical AGI 로드맵: LLM 공식을 그대로 빌려오다

I laid out the roadmap for solving Physical AGI as a simple parallel to the LLM success story. Be a good scientist, copy homework 😉

04:32 Video world models as the 2nd pretraining paradigm
06:09 World Action Models (WAM)
11:06 EgoScale and the Dexterity Scaling Law we discovered recently
15:39 DreamDojo: an end-to-end neural physics engine for scaling RL in silico

^[1]

Jim Fan은 VLA(비전-언어-액션 모델)가 왜 한계에 부딪히는지를 짚은 뒤, 비디오 월드 모델을 “두 번째 사전학습 패러다임”으로 제시해요. 여기서 나온 개념이 WAM(World Action Model)으로, 로봇이 행동 결과를 상상하며 학습할 수 있게 해줘요. EgoScale과 손재주 스케일링 법칙은 데이터가 쌓일수록 로봇의 정교함이 예측 가능하게 향상됨을 보여주는 실험적 발견이에요.

DreamDojo는 실제 로봇 없이도 시뮬레이션 안에서 RL을 대규모로 돌릴 수 있는 신경 물리 엔진이에요. 테슬라 FSD의 도로 데이터 플라이휠을 로봇 조작(manipulation) 영역에 이식한 개념이라고 볼 수 있어요.

청중 반응: 복잡한 연구를 ‘왜 중요한가’로 압축하는 능력

↻ 공유한 글

RT @Alfred_Lin: Jim is always a crowd favorite at AI Ascent. His ability to simplify the latest research into a clear “what and why it matt…

^[2]

Sequoia 파트너 Alfred Lin은 Jim Fan이 AI Ascent에서 매년 청중의 가장 큰 호응을 받는 이유로 “최신 연구를 ‘무엇이, 왜 중요한가’로 명쾌하게 정리하는 능력”을 꼽았어요. Jim Fan도 이 글을 직접 리트윗하며 공유했어요.

↻ 공유한 글

RT @CyberRobooo: Mark:

1/ First milestone: the Physical Turing Test.
You literally can’t tell if a human or robot is doing the task.

2/ N…

^[3]

청중 반응 요약본에는 Physical Turing Test(인간과 로봇을 구분할 수 없는 수준)가 첫 번째 마일스톤으로 꼽혔어요. Jim Fan이 이 정리글을 공유한 것은, 자신의 로드맵이 커뮤니티에 제대로 전달됐음을 확인하는 행동으로 읽혀요.

Jim Fan의 접근법은 “새 문제를 풀 때 이미 검증된 스케일링 공식을 먼저 빌려오라”는 실용적 과학관을 잘 보여줘요. Physical AGI가 생각보다 빠르게 현실에 닿을 수 있다는 그의 예측이, 단순한 낙관론이 아닌 구체적 로드맵에 기반하고 있다는 점이 주목할 만해요.

📚 출처 (Sources)

1. [1]@drjimfan on 𝕏 · 2026-05-08 — “I promise this will be the best 20 min you spend today! Robotics: Endgame, the sequel to m…”
2. [2]↻ RT@drjimfan on 𝕏 · 2026-05-08 — “Jim is always a crowd favorite at AI Ascent. His ability to simplify the latest research i…”
3. [3]↻ RT@drjimfan on 𝕏 · 2026-05-09 — “Mark:

   1/ First milestone: the Physical Turing Test.
   You literally can’t tell if a human o…”

본 글은 Jim Fan(@drjimfan)이(가) 지난 14일간 X(트위터)에 올린 게시물 중 3건을 인용해
Claude(Anthropic)가 한국어로 큐레이션·해설한 것입니다. 원문 저작권은 작성자에게 있으며,
출처 목록의 [n] 번호 또는 본문 내 [n] 표시를 누르면 원문 트윗으로 이동합니다.