OV Sensors 정리 노트

1. Sensors 전체 개요

https://docs.isaacsim.omniverse.nvidia.com/latest/sensors/index.html

Isaac Sim의 센서 시스템은 크게 6개 범주로 나뉘며, 물리 기반, RTX 기반, 카메라 기반, 그리고 실제 로봇에 적용 가능한 다양한 센서의 시뮬레이션을 지원합니다. 각 카테고리는 다음과 같은 목적으로 활용됩니다.

2. Camera Sensors

https://docs.isaacsim.omniverse.nvidia.com/latest/sensors/isaacsim_sensors_camera.html

Isaac Sim에서 사용되는 기본적인 RGB/Depth 카메라는 실제 렌즈와 유사하게 시뮬레이션 가능하며, 다양한 Annotator 출력도 지원합니다.

Annotators란?

Isaac Sim에서 Annotator는 센서가 생성하는 이미지 외에 다양한 추가 Ground Truth 데이터 스트림을 자동 생성하는 기능입니다.

이 데이터는 머신러닝 학습, 로봇 인지, 검증 용도로 매우 유용합니다.

주요 Annotator 종류 및 설명:

Isaac Sim에서는 이 데이터를 .png, .json, .npy, ROS 메시지 등으로 출력 가능하며, Python API 또는 ActionGraph로 제어할 수 있습니다.

지원 기능:

• 초점 거리(focal length), FOV, 해상도, 센서 크기 설정

• 렌즈 왜곡 모델 (pinhole, fisheye 등) 적용
• 렌더링용 Render Product와 연동
• Annotators 지원: RGB, Depth, Normals, Motion Vectors, Instance Segmentation 등
• Python 또는 GUI 기반 생성 및 제어

활용 예:

• 객체 인식 데이터 수집용 시뮬레이션
• Deep Learning 기반 Vision 모델 학습용 Synthetic Data 생성
• ROS/SLAM 연동용 RGB-D 데이터 출력

3. RTX Sensors

https://docs.isaacsim.omniverse.nvidia.com/latest/sensors/isaacsim_sensors_rtx.html

NVIDIA RTX 가속 기술을 활용한 고정밀 거리·속도 감지용 센서군입니다. 라이다(Lidar), 레이더(Radar), 시각적 Annotators로 구성되어 있습니다.

하위 구성:

• RTX Lidar Sensor: Point cloud 출력, 회전 각도, FOV, 레이 밀도 조절 가능

• RTX Radar Sensor: 거리+속도 추출 (Doppler 효과 시뮬레이션)
• RTX Sensor Annotators: 시각화용 속성값 출력기
• Visual/Non-Visual Materials: 센서 반응을 위한 머티리얼 설정

활용 예:

• 자율주행차, AMR, 로봇 거리 탐지
• 센서 별 오브젝트 감지 능력 비교

시각적 재질 (Visual Sensor Materials)

RTX 센서가 감지하는 물체 표면의 시각적 속성 (예: 반사율, 흡수율 등)을 시뮬레이션합니다.

렌더링과 센서 반응 모두에 영향을 주며, 총 21개의 고정 재질(Material Type)이 제공됩니다.

비시각적 재질 속성 (Non-Visual Sensor Material Properties)

렌더링에는 영향을 주지 않지만, RTX 센서의 감지 여부나 반사 강도에 영향을 주는 설정값입니다.

이를 통해 시뮬레이션 환경에서 특정 오브젝트가 감지되거나 무시되도록 설정할 수 있습니다.

사용 목적:

• 센서 테스트 정확도 향상
• 특정 물체를 감지하거나 감추고 싶은 경우
• 실제 재질은 유지하되 센서 반응만 다르게 만들고 싶은 경우

4. Physics-Based Sensors

https://docs.isaacsim.omniverse.nvidia.com/latest/sensors/isaacsim_sensors_physics.html

물리 엔진(PhysX) 상호작용을 기반으로 구현된 센서로, 로봇의 내부 상태나 외부 접촉 등을 감지합니다.

지원 센서 목록:

• Articulation Joint Sensor: 로봇 관절의 상태 전체 감지(위치/속도/힘 등)

• Contact Sensor: 바닥 접촉 여부, 충돌 감지
• Effort Sensor: 관절에 가해진 토크만 측정
• IMU Sensor: 관성(가속도, 자이로) 정보 추출
• Proximity Sensor: 특정 거리 안에 물체가 존재하는지만 단순히 감지하는 센서(True/False)

활용 예:

• 로봇 보행 안정성 평가
• 조작기 팔의 힘/토크 분석
• 착지 판단, 낙하 감지

5. PhysX SDK Sensors

https://docs.isaacsim.omniverse.nvidia.com/latest/sensors/isaacsim_sensors_physx.html

PhysX SDK의 Raycast 기능을 활용한 가벼운 거리 감지용 센서입니다.

지원 항목:

• Generic Sensor: 커스텀 광선 기반 감지

• PhysX Lidar: 고정 라이다 시뮬레이션 (low-cost 버전)

• Lightbeam Sensor: 레이저와 유사한 일방향 감지기

활용 예:

• 단순 거리 기반 장애물 탐지
• 환경 변화 감지
• 계산량 낮은 센서 시뮬레이션

6. Camera and Depth Sensors (USD 에셋)

https://docs.isaacsim.omniverse.nvidia.com/latest/assets/usd_assets_camera_depth_sensors.html

자주 쓰이는 실물 센서 모델을 기반으로 한 USD 형태의 카메라 및 Depth 센서 자산 모음입니다.

포함된 센서:

활용 예:

• 특정 실물 센서와의 Sim-to-Real 정합성 테스트
• 실제 센서 위치/시야각 구성 복제

7. Non-Visual Sensors (USD 에셋)

https://docs.isaacsim.omniverse.nvidia.com/latest/assets/usd_assets_nonvisual_sensors.html

비시각 센서(IMU, Force, Contact 등)의 디지털 트윈용 자산 모음입니다.

자산 내용:

활용 예:

• 로봇 내부 물리량 추출 (힘, 가속도)
• 모션 추정, 제어 피드백 시스템 개발