Isaac Sim/Lab 설치 가이드

Ubuntu 24.04 + RTX 5090 환경에서 Isaac Lab 설치하기

Isaac Lab을 아무것도 깔려 있지 않은 Ubuntu 24.04 머신에 처음부터 설치한 기록이다. GPU는 RTX 5090(Blackwell, sm_120)이다. 공식 pip 설치 가이드가 "가상환경 생성"부터 시작하기 때문에, 그 앞단에서 필요한 사전 준비와 중간에 실제로 마주친 오류들을 함께 정리한다.

설치 순서는 다음과 같다.

드라이버(580) → 빌드 도구 → Miniconda → conda 3.11 환경 → Isaac Sim + PyTorch(cu128) → Isaac Lab

---

0. 설치 전 사전 준비

공식 가이드에는 없지만, 맨 처음에 반드시 확인해야 하는 것들이다. 특히 RTX 5090 + Ubuntu 24.04 조합은 드라이버에서 가장 많이 깨진다.

GLIBC 버전 확인

pip 설치 방식은 GLIBC 2.35 이상을 요구한다. Ubuntu 24.04는 2.39이므로 통과한다.

ldd --version

NVIDIA 드라이버 — 가장 중요한 부분

Isaac Sim 5.1.0이 검증한 리눅스 드라이버는 580.65.06이다. R590 브랜치(595.x)는 Omniverse RTX 렌더러와 알려진 비호환이 있어서, 실행하자마자 librtx.scenedb.plugin.so에서 segfault로 크래시가 난다. RTX 4090, 5080, 5090 등 여러 GPU에서 공통으로 확인된 문제다. 595.x가 깔려 있으면 반드시 580 브랜치로 내려야 한다.

현재 상태를 먼저 확인한다.

nvidia-smi

명령이 없거나 595.x 계열이면 580으로 맞춘다.

sudo apt update
sudo apt install nvidia-driver-580-open
sudo reboot

재부팅 후 nvidia-smi에서 Driver 580.6x, CUDA 12.x가 보이면 된다.

빌드 도구 설치

robomimic 의존성과 git 관련 도구를 미리 깐다.

sudo apt install cmake build-essential git git-lfs
git lfs install

---

1. Python 3.11 확보 (Miniconda)

여기서 첫 번째 함정이 있다. Isaac Sim 5.X는 Python 3.11이 필수인데, Ubuntu 24.04의 기본 파이썬은 3.12다. 시스템 파이썬을 그대로 쓰면 버전이 맞지 않는다. 그래서 conda로 3.11 환경을 따로 만드는 방식이 가장 깔끔하다.

Miniconda를 설치한다.

mkdir -p ~/miniconda3
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -O ~/miniconda3/miniconda.sh
bash ~/miniconda3/miniconda.sh -b -u -p ~/miniconda3
rm ~/miniconda3/miniconda.sh
source ~/miniconda3/bin/activate
conda init

설치 후 터미널을 새로 연다.

참고: conda init을 하면 이후 터미널을 열 때마다 프롬프트 앞에 (base)가 붙는다. 이는 정상이며, conda의 기본 환경이 자동 활성화되기 때문이다. 거슬리면 conda config --set auto_activate_base false로 자동 활성화만 끌 수 있다. conda 명령 자체는 그대로 사용 가능하다.

---

2. 가상환경 생성 및 활성화

여기서부터가 공식 가이드의 시작 지점이다.

conda create -n env_isaaclab python=3.11
conda activate env_isaaclab
pip install --upgrade pip

프롬프트가 (env_isaaclab)로 바뀌면 이 환경 안에서 작업이 진행된다.

---

3. Isaac Sim + PyTorch 설치

Isaac Sim을 설치한다.

pip install "isaacsim[all,extscache]==5.1.0" --extra-index-url https://pypi.nvidia.com

이어서 PyTorch를 설치한다. Blackwell(sm_120)은 반드시 cu128 빌드여야 한다. 공식 가이드의 Linux(x86_64) 명령이 이것이다.

pip install -U torch==2.7.0 torchvision==0.22.0 --index-url https://download.pytorch.org/whl/cu128

중간에 나오는 의존성 오류 정리

이 과정에서 ERROR: pip's dependency resolver...로 시작하는 메시지가 여러 번 뜬다. 결론부터 말하면 대부분 무시해도 되는 경고다. ERROR라는 단어가 붙어 있지만 설치 자체가 중단된 것이 아니라, pip이 마지막에 버전 조합이 살짝 맞지 않는 부분을 리포트하는 것이다.

실제로 뜬 충돌들을 심각도별로 분류하면 다음과 같다.

무시해도 되는 노이즈 (버전 핀 미세 차이)

• click 8.1.7 vs 8.4.2
• typing_extensions 4.12.2 vs 4.16.0
• psutil 관련 (ipython, rl-games의 요구 버전 차이)
• wheel 0.47.0 requires packaging>=24.0, but you have packaging 23.0

Isaac Sim이 의존성을 특정 버전으로 고정(pin)해두는데, 실제 설치된 버전이 조금 다를 때 나오는 소리다. 이들 패키지는 API가 안정적이거나 빌드 단계에서만 쓰이므로 런타임 동작에는 영향이 없다.

예상된 충돌 (조건부 무시 가능)

• stable-baselines3 requires torch>=2.8, but you have torch 2.7.0+cu128

Isaac Sim이 torch를 2.7.0으로 못박아두기 때문에 sb3와는 원래 맞지 않는다. rsl_rl을 주로 쓴다면 sb3를 건드리지 않는 한 문제가 없다.

중간에 잘못 깔렸다가 교정되는 부분

첫 설치 시점에는 torch 2.12.1이 잘못 깔릴 수 있는데, cu128 명령으로 다시 설치하면서 2.7.0+cu128로 올바르게 덮어써진다. 즉 최종적으로 torch가 맞으면 정상이다.

torchaudio 누락 안내

isaacsim-core requires torchaudio==2.7.0, which is not installed 메시지가 뜰 수 있다. RL 학습에서 torchaudio가 직접 쓰이는 경우는 드물어서, 없어도 실제 실행에는 문제가 없었다. 필요하면 아래로 채워둔다.

pip install torchaudio==2.7.0 --index-url https://download.pytorch.org/whl/cu128

torch 계열 버전 확인

설치가 끝나면 torch 계열이 모두 cu128로 맞는지 확인한다.

pip list | grep -E "^torch"

아래처럼 나오면 정상이다.

torch          2.7.0+cu128
torchvision    0.22.0+cu128

---

4. Isaac Sim 동작 확인

isaacsim

• 첫 실행은 익스텐션을 내려받느라 10분 이상 걸릴 수 있다.
• EULA를 물으면 Yes를 입력한다.
• 검은 뷰포트 창이 뜨면 성공이다.

여기서 크래시가 난다면 대부분 0단계의 드라이버 문제이므로, 드라이버 브랜치를 다시 확인한다.

---

5. Isaac Lab 클론 및 설치

git clone https://github.com/isaac-sim/IsaacLab.git --branch main
cd IsaacLab
./isaaclab.sh --install

기본값으로 rl_games, rsl_rl, sb3, skrl, robomimic 등 모든 학습 프레임워크가 설치된다. 특정 프레임워크만 원하면 ./isaaclab.sh --install rl_games처럼 인자를 넘긴다.

---

6. Isaac Lab 검증

저장소 최상단에서 다음을 실행한다.

./isaaclab.sh -p scripts/tutorials/00_sim/create_empty.py

검은 뷰포트 창이 뜨면 설치가 완료된 것이다. ModuleNotFoundError: No module named 'isaacsim'이 뜨면 conda 환경(env_isaaclab)이 활성화되어 있는지부터 확인한다.

---

7. 학습 실행

기본 제공 태스크로 바로 학습을 돌려볼 수 있다. --headless를 붙이면 렌더링을 끄고 더 빠르게 학습한다.

./isaaclab.sh -p scripts/reinforcement_learning/rsl_rl/train.py --task=Isaac-Ant-v0 --headless

 

 

알아둘 Blackwell 관련 이슈

RTX 5090(sm_120)에서 Isaac Sim 5.1.0의 TiledCamera가 렌더링 단계에서 무한 hang되는 버그가 보고되어 있다. ant, anymal 같은 기본 RL 학습에는 영향이 없고, 카메라 센서를 쓰는 매니퓰레이션 환경으로 넘어갈 때만 주의하면 된다. 이 경우 TiledCamera 대신 Camera를 쓰면 우회할 수 있다.

---

정리

핵심은 세 가지다.

1. 드라이버는 580 브랜치를 쓴다. 595.x는 Isaac Sim 5.1.0에서 크래시를 일으킨다.
2. Python은 3.11이다. Ubuntu 24.04 기본값인 3.12로는 안 되므로 conda로 3.11 환경을 만든다.
3. PyTorch는 cu128 빌드다. Blackwell(sm_120)은 cu128이 아니면 동작하지 않는다.

설치 중 쏟아지는 대부분의 ERROR 메시지는 의존성 버전 핀의 미세한 차이에서 나오는 경고이며, 실제로 손봐야 하는 것은 거의 없다.