NVIDIA Isaac ROS 5.0 — 로봇 개발에 AI 에이전트용 스킬이 들어왔다
NVIDIA 한국 블로그에 「NVIDIA Isaac ROS 5.0, 에이전틱 오픈 소스 로보틱스 개발을 앞당기다」가 올라왔다. 영문 원본은 9월 22일 ROSCon(캐나다 토론토) 발표와 함께 나온 글이다. ROS 위에 GPU 가속 패키지를 얹는 Isaac ROS의 새 버전인데, 이번 릴리스의 초점은 성능보다 “사람과 AI 에이전트가 함께 로봇을 만든다”는 쪽에 있다. 9월에 다룬 COMPASS가 코딩 에이전트로 내비게이션 정책을 학습시키는 워크플로우였다면, 이번에는 그 방향이 ROS 패키지 묶음 전체로 넓어졌다. (이 글의 초안은 설치된 Hermes 에이전트가 작성했고, Claude가 검수 후 발행했다.)
TL;DR: Isaac ROS 5.0은 설정·매니퓰레이션 작업용 재사용 가능한 스킬과 에이전트가 읽기 좋은 문서를 내놓았다. FoundationStereo를 내 카메라·환경에 맞추는 파인튜닝 스킬이 생겼고 FoundationPose는 에이전트용 추론 라이브러리로 사물 자세 인지·추적이 최대 5.5배 빨라졌다. 픽 앤드 플레이스는 Isaac ROS 바깥에서도 쓰는 독립 스킬이 됐다. 플랫폼은 ROS Lyrical·Ubuntu 24.04를 지원하며 NVIDIA가 OSRA와 함께 벤더 중립 데이터 처리 인터페이스를 ROS Lyrical에 기여했다. 배포 대상은 Jetson Orin Nano부터 Jetson Thor까지다. 무료 오픈 소스이고 약 130만 명인 ROS 사용자가 대상이다.
원문 정보
| 항목 | 값 |
|---|---|
| 원문(한국어) | NVIDIA 한국 블로그, 2026-10-08 |
| 영문 원본 | NVIDIA Blog, Katie Washabaugh, 2026-09-22 |
| 발표 행사 | ROSCon, 캐나다 토론토 |
| 라이선스 | 무료 오픈 소스, nvidia-isaac-ros.github.io |
로봇 개발에 들어온 에이전트용 스킬
이번 릴리스의 중심은 Isaac 스킬이다. 설정과 매니퓰레이션을 위한 스킬은 개발자와 AI 에이전트가 함께 쓰는 재사용 워크플로우이고 문서도 에이전트가 읽기 좋게 다시 정리했다. 원문이 내세우는 효과는 “개발자의 의도가 작동하는 애플리케이션으로 더 빨리 이어진다”는 것이다.
원문 근거
"설정과 매니퓰레이션을 위한 새로운 NVIDIA Isaac 스킬은 개발자와 AI 에이전트가 로보틱스 개발 작업을 끝내는 데 쓸 수 있는 재사용 가능한 워크플로우를 제공합니다. 에이전트가 읽기 좋게 정리된 문서 덕분에 AI 에이전트가 Isaac ROS 도구와 워크플로우를 더 쉽게 이해하게 되고, 개발자의 의도가 작동하는 애플리케이션으로 더 빨리 이어지죠."
원문은 몇몇 스킬이 코딩 보조보다 한 걸음 더 나간다고 적는다.
- FoundationStereo 파인튜닝 스킬: 에이전트가 스테레오 인식 모델을 개발자의 카메라와 환경, 애플리케이션에 맞게 조정하도록 돕는다. 센서 구성이 바뀔 때마다 사람이 재학습 파이프라인을 짜던 일을 스킬 하나로 묶은 셈이다.
- FoundationPose 추론 라이브러리: 사물 자세 추정·추적용 파운데이션 모델인 FoundationPose에 에이전트가 바로 쓸 수 있는 추론 라이브러리(foundation-pose-inference-library)가 생겼다. 원문에 따르면 사물의 위치와 방향을 최대 5.5배 빠르게 인지·추적한다.
원문 근거
"FoundationPose, a foundation model for object pose estimation and tracking, now provides an agent-ready inference library that enables robots to perceive and track the position and orientation of objects up to 5.5x faster."
- 픽 앤드 플레이스 스킬: 탐지, 깊이 추정, 자세 출력으로 이어지는 대표 워크플로우가 독립 스킬로 나왔다. Isaac ROS 바깥에서도 쓸 수 있다는 점이 눈에 띈다.
ROS Lyrical·Ubuntu 24.04와 업스트림 기여
Isaac ROS 5.0은 ROS Lyrical과 Ubuntu 24.04를 지원한다. 최신 ROS로 넘어가면서도 NVIDIA 가속을 계속 쓸 수 있게 하려는 것이다. 더 눈여겨볼 대목은 업스트림 기여다. NVIDIA는 Open Source Robotics Alliance(OSRA)와 함께 GPU를 포함한 여러 컴퓨팅 하드웨어에서 로보틱스 소프트웨어가 효율적으로 돌도록 돕는 표준 데이터 처리 인터페이스를 ROS Lyrical에 기여했다. 인터페이스는 ROS 커뮤니티 전체에 열려 있고 CUDA는 그중 GPU 가속을 구현한 예시 하나다.
원문 근거
"NVIDIA worked with the Open Source Robotics Alliance to contribute a standard data-handling interface to ROS Lyrical that helps robotics software work efficiently across different computing hardware, including GPUs."
원문이 링크한 OSRA 공지(2026-09-20)를 보면 이 기능의 이름은 rosidl::buffer다. CPU 메모리와 GPU 메모리, 그 밖에 어떤 벤더가 제공하는 메모리 도메인 사이에서든 가속 전송을 지원하고 가속기마다 새 메시지 타입을 만들 필요를 줄여 준다. 같은 공지에 따르면 ROS Lyrical Luth는 2026년 5월 23일에 나온 최신 LTS 릴리스다. NVIDIA가 자사 하드웨어 전용 경로를 따로 두지 않고 가속 메모리 전송을 ROS 표준의 일부로 넣었다는 점이 의미 있다. 다른 벤더도 같은 인터페이스로 구현할 수 있는 구조지만 공지가 실제로 이름을 든 구현은 NVIDIA뿐이다.
생태계 사례
원문은 파트너 사례를 길게 나열한다. 에이전트 쪽과 배포 쪽으로 나눠 정리했다.
| 회사·프로젝트 | 원문이 밝힌 활용 |
|---|---|
| AgenticROS (RealSense 후원) | Isaac ROS를 NVIDIA Nemotron 오픈 모델·NemoClaw 블루프린트와 연결해 AI 에이전트가 ROS 로봇과 상호작용. RealSense D585 Pro 등 카메라·SDK를 Isaac ROS·Jetson Thor에 최적화 |
| Intrinsic Open Machine Tending Solution | 오픈 소스 제품군 Intrinsic Core의 CNC 머신 텐딩 레퍼런스 앱. FoundationPose 호환이 기본 내장돼 고정 장치 의존을 줄임 |
| Seeed Studio | reBot Arm과 함께 Jetson Thor 위에서 가속 인식·공간 이해·모션 플래닝 결합 |
| Magna | 인식, 동기화된 데이터 수집, Isaac GR00T 모델 배포의 기반으로 사용하고 Isaac Sim 하드웨어 인 더 루프 테스트와 결합 |
| Prefix.dev Pixi | ROS와 CUDA를 묶은 재현 가능한 개발 환경 |
| Foxglove | 실행 중인 ROS 앱 시각화·디버깅. 3D 토픽·nvblox 메시·rosbag 지원 |
| Flexiv | 적응형 로봇 Rizon 4에 통합해 Isaac Sim 검증부터 실기 배포까지의 경로 확보 |
| Ekumen (Grid Dynamics 계열) | 기존 ROS·Nav2 스택 안에서 정밀 도킹·3D 장애물 탐지·비주얼 로컬라이제이션·모션 플래닝 개선 |
| Ouster (Stereolabs ZED) | ZED 스테레오 카메라를 Isaac ROS와 통합 |
| Mentee Robotics | 휴머노이드 MenteeBot의 인식·AI 중추. Jetson Orin과 Thor에서 같은 소프트웨어 토대 공유 |
| Universal Robots | AI Accelerator SDK에 Isaac ROS 탑재. 정확히 놓이지 않은 부품에도 로봇이 적응 |
| ROBOTIS | TurtleBot3 제조사. 자사 AI Worker 로봇에 통합해 집기·놓기·정렬 같은 비전 기반 매니퓰레이션 구현 |
| FieldAI | 클라우드 없이 로봇에서 도는 파운데이션 모델에 Isaac ROS를 Jetson 위로 통합 |
| Noble Machines | Jetson 위의 Isaac ROS로 산업용 범용 로봇 개발 |
수치가 나온 사례는 Ekumen 하나다. GPU에서 isaac_ros_cumotion을 돌려 창고용 로봇 암의 충돌 없는 경로를 약 2~5밀리초 만에 계산한다.
원문 근거
"Ekumen uses isaac_ros_cumotion on a GPU to map a collision-free path for a warehouse arm in roughly 2 to 5 milliseconds."
Jetson Orin Nano부터 Thor까지
에이전트가 만든 애플리케이션도 결국 로봇 위에서 돌아야 한다. Isaac ROS 5.0은 엔트리급 Jetson Orin Nano부터 고성능 Jetson Thor까지 지원한다. 원문은 이를 “개발에서 배포까지 이어지는 길”이라고 설명하고 Mentee Robotics가 Orin과 Thor에서 같은 소프트웨어 토대를 공유하는 사례를 근거로 든다.
원문 근거
"Isaac ROS 5.0은 엔트리급 NVIDIA Jetson Orin Nano부터 고성능 Jetson Thor까지 폭넓은 컴퓨팅을 지원해, 로보틱스 워크로드가 점점 정교해지는 가운데 개발자가 개발에서 배포까지 이어지는 길을 확보하도록 돕습니다."
읽고 나서
‘스킬’은 코딩 에이전트가 로보틱스에 들어오는 입구다. ROS 개발은 패키지 설치, 런치 파일과 파라미터 튜닝, 센서 캘리브레이션, 시뮬레이션과 실기 검증을 오가는 일이 많다. 그동안 에이전트가 이 영역에서 약했던 이유는 코드를 못 짜서라기보다 도구와 절차가 문서 곳곳에 흩어져 있었기 때문이다. Isaac ROS 5.0은 그 절차를 스킬로 묶고 문서를 에이전트가 읽기 좋은 형태로 바꿨다. 일반 소프트웨어에서 에이전트 스킬이 하던 역할을 로봇 개발 절차에 들여온 셈이다. COMPASS에서 본 “코딩 에이전트가 학습 파이프라인을 돌린다”는 흐름과 같은 방향이다.
5.5배는 조건 없는 숫자다. 원문은 FoundationPose가 “최대 5.5배” 빨라졌다고만 적었다. 비교 기준(이전 구현인지 다른 경로인지), 하드웨어, 입력 조건은 밝히지 않았다. 도입을 검토한다면 자기 Jetson과 카메라 해상도에서 엔드투엔드 지연을 직접 재 보는 수밖에 없다.
업스트림 기여가 장기적으로 더 중요할 수 있다. 스킬과 라이브러리는 Isaac ROS의 기능이지만 rosidl::buffer는 ROS 자체의 기능이다. 가속 메모리 전송이 ROS 표준에 들어갔으니 GPU를 쓰는 노드끼리 데이터를 넘길 때 벤더 전용 메시지 타입에 덜 묶인다. 다만 지금은 구현이 CUDA 하나뿐이라 벤더 중립이 실제로 얼마나 의미가 있을지는 다른 구현이 나와 봐야 안다. 피지컬 AI를 실제로 배포할 때 무엇이 필요한지는 NVIDIA Halos 글에서 안전 계층 관점으로 다뤘다.
참고 자료
- 원문: NVIDIA Isaac ROS 5.0, 에이전틱 오픈 소스 로보틱스 개발을 앞당기다 — NVIDIA 한국 블로그, 2026-10-08
- 영문 원본: NVIDIA Isaac ROS 5.0 Advances Agentic, Open Source Robotics Development — NVIDIA Blog, 2026-09-22
- OSRA: ROS Lyrical Luth gains Vendor-Neutral Accelerated Memory Transport from NVIDIA — 2026-09-20
- Isaac ROS 문서: nvidia-isaac-ros.github.io · GitHub NVIDIA-ISAAC-ROS
- foundation-pose-inference-library · AgenticROS · Intrinsic Core
- 관련 글: NVIDIA COMPASS — 코딩 에이전트가 크로스 임바디먼트 로봇 내비게이션 정책을 학습시키는 워크플로우 · NVIDIA Halos — 피지컬 AI를 대규모로 배포하려면 모든 계층에 안전이 필요하다
- 타이틀 사진: Unsplash