[논문리뷰] RT-2: Vision-Language-Action Models TransferWeb Knowledge to Robotic Control

Google DeepMind의 이 논문이 VLA라는 개념을 거의 처음 사용한 연구이지 않을까 생각한다.

1. Introduction

최근 비전 모델과 LLM을 결합하려는 시도는 많았지만, 이를 로봇의 실질적인 움직임으로 연결하기에는 어려움이 있었다.

1. 왜 LLM이 바로 로봇을 움직일 수 없었을까?

기존의 LLM이나 VLM은 시각적 이해나 추론 능력은 뛰어나지만, 로봇에게 필요한 구체적인 Low-level actions을 출력하진 못했다.

로봇을 움직이려면 'Cartesian End-effector 명령'처럼 좌표값에 기반한 정밀한 제어가 필요하기 때문.

기존 방식들은 VLM이 고수준의 계획(예: "사과를 집어라")을 세우면, 별도의 하위 컨트롤러가 이를 실행하는 방식이었다. 하지만 이 과정에서 VLM이 가진 방대한 웹 지식이 로봇의 실제 움직임 단계까지는 전달되지 않는다는 한계가 있었다.

2. 연구의 목표: Emergent Semantic Reasoning의 실현

Emergent Semantic Reasoning이란, 로봇이 학습 데이터에서 직접 배우지 않았음에도 불구하고 웹상의 방대한 데이터를 통해 습득한 '상식'을 바탕으로 새로운 상황에서 추론하고 행동하는 능력을 말한다.

예를 들어, "공룡 인형을 집어라"라는 명령을 로봇 데이터로 배운 적이 없어도, 웹 데이터를 통해 '공룡'이 무엇인지 알기에 이를 스스로 찾아내어 집어 올리는 능력이 이에 해당된다.

3. VLM을 VLA로 변환

• 학습 방식: 연구자들은 기존 VLM이 자연어 토큰을 생성하는 것과 똑같은 방식으로 로봇의 액션을 출력하도록 만들었다
• 액션의 토큰화: 로봇의 움직임(좌표 변화, 회전, 그리퍼 열림/닫힘 등)을 숫자로 바꾸고, 이 숫자들을 텍스트 토큰처럼 취급하여 모델의 출력 어휘에 포함시켰다.
• 로봇의 trajectory(궤적) 자체를 텍스트 토큰 형식으로 변환하여 모델이 일반 언어처럼 출력하게 만들었다

2. Related Work

PaLI-X 와 PaLM-E를 사용함

 

PaLI-X : 비전-텍스트 측면의 범용 VLM (이미지 + 텍스트가 입력으로 …)

PaLI-X: On Scaling up a Multilingual Vision and Language Model

일반적 사용을 염두에 둔 모델

 

PaLM-E : 행동을 위한 추론을 염두에 둔 embodied 모델(이미지 뿐만 아니라 센서값등을 토큰 임베딩 공간에 맞춰 토큰 시퀀스처럼 입력)

PaLM-E- An Embodied Multimodal Language Model

범용 기능 + Motion Planning 기능 추가됨

 

 

RT-1은 LLM이 들어가진 않음.

명령문을 임베딩하고 Transformer 정책으로 action을 만들어내는 모델이였음. 이 때문에 Emergent Semantic Reasoning이 어려움

 

 

3. Vision-Language-Action Models

RT-2-PaLI-X와 RT-2-PaLM-E 두가지 모델 제안

기존 VLM에서 action을 출력하도록 하기 위해 RT-1 모델의 Discretization 방식을 사용

로봇의 위치변화, 회전, 그리퍼 상태를 각각 256개의 구간으로 나눈다(binary)

이 256개의 각 구간을 VLM이 이미 알고있는 텍스트 토큰에 대응시킨다.

PaLI-X 모델에서는 숫자 0~1000 사이의 기존 토큰을 사용했다고 한다.

PaLM-E모델은 가장 덜 쓰이는 256개의 토큰으로 덮어쓰기

결과적으로 모델 입장에서 로봇의 액션은 "1 123 30 40 ..."과 같은 하나의 문장처럼 보이게 된다.

로봇 팔 끝단의 위치(x, y, z), 회전(roll, pitch, yaw), 그리퍼의 벌림 정도, 그리고 에피소드 종료 여부까지 총 8개의 차원으로 구성

이를 기반으로 Co-fine-tuning을 진행시킴

웹 데이터와 로봇 데이터를 함께 섞어서 학습시킴 (로봇 데이터만 추가로 계속 학습시키면 기존 모델의 성능저하 생김 ,, 단순한 로봇 제어기로 바뀌게 됨)

실시간 추론을 위해 클라우드 컴퓨팅 사용

55B parameter 모델이므로 연산이 오래걸림

RT-2-PaLI-X-55B 는 1-3Hz, 5B 모델은 5Hz 실행가능

 

중요한 점은 로봇 액션을 출력해야하는 프롬프트에서는 디코딩 시 액션 토큰만 출력하도록 vocabulary를 제한해서 일반 텍스트가 나오는걸 막아야한다.

 

 

4. Experiments

RT-2의 실제환경에서의 일반화 성능과 새로운 환경에서 대처하는 방식을 중점적으로 다음 4가지 항목 평가

1. 이미 봤던 작업에 대해 어떻게 작업하는지, 그리고 본적 없는 물체, 배경, 환경에서 어떻게 작동하는지
2. emergent capabilities(새로 나타나는 능력)이 얼마나 나오는지
3. 파라미터 수나 설계에 따라 성능이 어떻게 달라지는지
4. VLM 처럼 chain-of-thought 추론이 가능한지

1) 이미 봤던 작업에 대해 어떻게 작업하는지, 그리고 본적 없는 물체, 배경, 환경에서 어떻게 작동하는지

Unseen 인 경우 RT-1 대비 높은 성능 보여줌

추가적으로 PaLM-E 기반 모델의 경우는 물체나 배경이 바뀌어도 성능이 좋지만 새로운 환경에서의 능력이 PaLI-X 보다 떨어짐

결과적으로 unseen 평균값은 둘이 비슷함

Unseen Background와 Environment 의 차이

• Unseen Background : 작업중인 장소에서 주변 물체나 배경이 바뀌는 경우
• Unseen Environment : 작업중인 장소 자체가 바뀌는 경우

모델의 크기가 큰 PaLI-X 기반 모델이 아예 새로운 장소에서의 능력이 좋긴 함

 

 

2) emergent capabilities(새로 나타나는 능력)이 얼마나 나오는지

기존에 모델의 웹에서 학습된 정보를 통해 새로운 능력을 얼마나 활성화 하는지 평가함 - emergent capabilities

ex) “딸기를 적절한 그릇에 넣기”와 같은 명령에서는 딸기와 그릇에 대한 정보 뿐만아니라 학습시 사용한 데이터가 아니라 새로운 관계나 명사에 대한 이해와 수행을 얼마나 할 수 있는지…

Symbol Understanding, Reasoning, Human Recognition Tasks 세가지로 나눠 평가

Symbol Understanding : 로봇 데이터에 없던 Semantic 지식을 VLM의 사전 지식에서 불러왔는지 테스트

Reasoning : VLM의 추론능력을 제어 작업에 적용했는지 테스트 (시각적, 수학적 추론 및 다국어 이해)

Human Recognition Tasks : 사람 중심의 이해와 인식 여부 테스트

 

 

3) 파라미터 수나 설계에 따라 성능이 어떻게 달라지는지

다음 세가지 요인을 바꿔가며 테스트 진행

파라미터 측면

PaLI-X 는 5B parameter 와 55B parameter 두가지가 있어서 두가지 모델 모두 사용하여 테스트

설계측면

기존 parameter 값 없이 Scratch 로 파인튜닝을 하지 않고 처음부터 학습시킨 경우

학습 방식 측면

일반 fine-tuning : 로봇 데이터만을 사용해 파인튜닝

Co-fine-tuning : 웹 데이터와 로봇 데이터를 섞어서 파인튜닝

처음부터 학습하는 경우는 성능이 매우 떨어짐(당연)

모델의 크기가 커지면 성능이 올라감 (예외로 Unseen Background 에서는 작은 모델이 성능이 좋은 경우가 보임)

Co-fine-tuning 이 성능이 좋음 (이전 VLM을 학습 시킬 때 썼던 데이터를 섞어주면서 기존의 일반화 성능이 유지된 것임)

 

 

4) VLM 처럼 chain-of-thought 추론이 가능한지

사람의 명령에서 의도를 파악해 추론하여 움직이는 것이 가능함을 보임

정량적 지표는 보이지 않음

 

 

5. Limitations

웹 모델 기반으로 일반화 성능이 올라간다는 것은 확인했지만, 로봇이 추가적인 경험을 통해 새로운 동작 자체를 학습하지는 못하는 한계를 가지고있음.

VLA의 연산 비용이 너무 높음.

 

 

P.S.

55B 면 float16 사용하게 되면 parameter만 생각해도 100GB가 넘는데 너무 무거운거 같음...(새로나온 Jetson AGX Thor 면 로봇에 얹어서도 되지 않을까 싶다.)

경량화가 중요할 것 같다.

추가적으로 저 모델들을 강화학습시키면 더 좋은 성능을 수 있지 않을까?

 

그리고 출력이

(Δx, Δy, Δz, Δroll, Δpitch, Δyaw), 그리퍼 상태, 에피소드 종료 여부
이렇게 나오는데 End-effector의 상태에 대한 정보(Cartesian end-effector)만 알 수 있기 때문에 하위 컨트롤러에서 IK로 각 joint에 대한 움직임을 만들어줘야한다.

그렇게 복잡한 계산은 아니지만 Manipulator가 갈 수 없는, 즉 범위 밖의 action이 나오게 되면 오류가 발생할 것 같다.

뭔가 처음엔 joint 들의 delta 값이 나오지 않을까 생각했는데 그렇지 않아서 조금 아쉬웠다.

하지만 다양한 로봇에 적용 가능한 범용 모델을 위해서는 이 연구에서 제안하는 방식이 알맞은 것 같다.