인지-판단-제어 프로세스
- 인지(Perception)-판단(Decision-making)-제어(Control) 프로세스
- 자율주행 자동차 제어에서 가장 핵심적인 개념 중 하나
- 자율주행 자동차가 주변 환경을 이해하고, 어떻게 움직일지 결정하며, 그 결정을 실제 차량의 움직임으로 구현하는 일련의 과정을 가리킴
- 자율주행 자동차는 사람의 운전 방식과 유사하게 다음의 세 과정을 끊임없이 반복하며 주행함
- 주변 환경을 인식하고(인지),
- 현재 상황을 분석하여 다음에 취할 행동을 결정한 후(판단),
- 실제로 차량을 움직이는(제어)
- 이 세 단계는 유기적으로 연결되어 있으며, 각 단계의 정확성과 실시간성이 자율주행 시스템의 성능과 안전성을 결정함
1. 인지 (Perception) 단계
주변 환경을 이해하는 ‘눈과 귀’
- 단계 설명
- 차량 주변의 모든 물리적 정보와 동적 환경(다른 차량, 보행자, 차선, 표지판, 교통 신호 등)을 정확하게 파악하고, 이를 시스템이 이해할 수 있는 디지털 정보로 변환하는 단계
- 사람이 눈과 귀로 주변을 살피는 과정과 같음
- 주요 기술 및 수행 내용
- 다중 센서 데이터 수집
- 카메라(Camera)
- 영상 데이터를 통해 차선, 신호등, 표지판, 다른 차량, 보행자 등을 인식하고 분류
- 딥러닝 기반 객체 탐지(YOLO, SSD), 시맨틱 세그멘테이션(Mask R-CNN) 등 활용
- 라이다(LiDAR)
- 레이저를 발사하여 주변 3D 공간의 정밀한 거리 정보를 포인트 클라우드(Point Cloud) 형태로 생성
- 정확한 3D 객체 위치 및 크기 파악, 도로 경계면 인식에 사용
- 레이더(Radar)
- 전파를 이용해 주변 객체의 거리, 속도, 각도를 측정
- 악천후(안개, 비, 눈)나 야간에도 강하며, 주로 전방 차량 추돌 방지, 사각지대 감지에 활용
- 초음파 센서(Ultrasonic Sensor)
- 근거리 객체 감지(주차 보조 시스템)에 주로 사용
- GPS/IMU(관성 측정 장치)
- 차량의 절대 위치와 속도, 자세(롤, 피치, 요)를 파악
- GPS는 위성 신호로 위치를, IMU는 가속도계와 자이로스코프를 이용해 움직임을 측정
- 카메라(Camera)
- 센서 퓨전 (Sensor Fusion)
- 각 센서의 장점은 살리고 단점은 보완하기 위해 이종 센서에서 수집된 데이터를 통합하는 과정
- 칼만 필터(Kalman Filter)나 딥러닝 기반 퓨전 네트워크를 사용하여 오차를 줄이고, 주변 환경에 대한 더 견고하고 정확한 인지 정보를 생성
- 객체 인식 및 분류 (Object Detection & Classification)
- 수집된 센서 데이터를 바탕으로 차량 주변의 동적 객체(차량, 보행자, 자전거)와 정적 객체(도로, 차선, 표지판, 건물)를 정확히 탐지하고 종류를 분류
- 환경 모델링 (Environment Modeling)
- 인식된 정보를 바탕으로 차량 주변의 도로 상황, 교통 흐름, 다른 객체들의 상태 등을 가상적으로 모델링하여 판단 단계에 필요한 고수준 정보를 제공
- 고정밀 지도(HD Map)를 이용한 현재 위치 추정(Localization)도 이 단계에서 중요하게 수행됨
- 다중 센서 데이터 수집
2. 판단 (Decision-making) 단계
상황에 맞는 최적의 행동을 결정하는 ‘두뇌’
- 단계 설명
- 인지 단계에서 파악된 주변 환경 및 교통 상황 정보와 차량의 주행 목표(예: 목적지까지 안전하게 이동)를 바탕으로, 다음에 취할 최적의 주행 전략과 세부적인 경로를 결정하는 단계
- 사람이 복잡한 교통 상황에서 다음 행동을 계획하는 과정과 유사
- 주요 기술 및 수행 내용:
- 상황 분석 및 행동 예측
- 주변 차량, 보행자 등의 움직임 패턴을 분석하여 이들이 미래에 어떻게 행동할지 예측
- 예시
- 앞차가 언제 차선을 바꿀지, 보행자가 횡단보도를 건널지
- 시공간 예측 모델(예: RNN, LSTM)이 주로 사용됨
- 예시
- 주변 차량, 보행자 등의 움직임 패턴을 분석하여 이들이 미래에 어떻게 행동할지 예측
- 경로 계획 (Path Planning)
- 전역 경로 계획 (Global Path Planning)
- 출발지부터 목적지까지의 고수준 최적 경로를 설정(내비게이션 기능)
- HD 맵 정보를 활용
- 지역 경로 계획 (Local Path Planning)
- 현재 차량 주변 환경(차량 간 거리, 차선, 장애물 위치 등)을 실시간으로 반영
- 전역 경로를 따라가는 범위 내에서 안전하고 효율적인 단기 주행 경로를 생성
- 차선 유지, 차선 변경, 장애물 회피, 추월 등 다양한 상황을 고려
- 샘플링 기반 알고리즘(RRT, PRM)이나 최적화 기반 알고리즘(Spline Optimization) 사용
- 전역 경로 계획 (Global Path Planning)
- 행동 결정 (Behavior Planning)
- 생성된 경로를 따라가기 위해 어떤 주행 행동을 취할지 결정
- 예시
- 차선 변경, 속도 조절, 정지, 출발, 교차로 통과, 차선 유지, 추월 등을 결정
- 유한 상태 기계(Finite State Machine, FSM) 기반 규칙이나 강화 학습(Reinforcement Learning) 기반 모델 활용
- 예시
- 생성된 경로를 따라가기 위해 어떤 주행 행동을 취할지 결정
- 위험 평가 및 안전 제어
- 충돌 가능성을 지속적으로 평가
- 잠재적 위험이 감지될 경우 비상 제동, 급회피 등의 안전 조치를 결정
- 이 단계에서 결정된 내용은 제어 단계로 전달되어 즉시 실행됨
- 상황 분석 및 행동 예측
3. 제어 (Control) 단계
결정된 행동을 실제 움직임으로 옮기는 ‘손과 발’
- 단계 설명
- 판단 단계에서 결정된 주행 경로와 행동 계획을 실제 차량의 물리적 구동 장치(액추에이터)에 전달하여, 정밀하고 부드러운 움직임으로 구현하는 단계
- 사람이 핸들, 가속 페달, 브레이크를 조작하는 과정과 같음
- 주요 기술 및 수행 내용:
- 종방향 제어 (Longitudinal Control)
- 차량의 속도를 조절하는 제어
- 가속 페달(스로틀)과 브레이크를 제어하여 원하는 속도를 유지하거나, 감속 또는 가속하는 역할
- PID(비례-적분-미분) 제어기나 모델 예측 제어(MPC)가 널리 사용됨
- 횡방향 제어 (Lateral Control)
- 차량의 방향을 조절하는 제어
- 스티어링 휠을 조작하여 차선을 유지하거나, 회전하는 역할
- PID 제어, LQR(Linear Quadratic Regulator), MPC 등 적용
- 차량 동역학 모델 (Vehicle Dynamics Model)
- 차량의 물리적 특성(질량, 타이어 마찰 계수, 서스펜션 등)을 수학적으로 모델링
- 제어 명령이 실제 차량에 어떤 영향을 미칠지 예측하고 정밀하게 보상하여 정확한 움직임을 구현
- 액추에이터 제어 (Actuator Control)
- 제어 명령을 전기 신호로 변환하여 차량의 물리적 액추에이터(전자식 스티어링 모터, 전자식 브레이크 시스템, 엔진/모터 제어 장치)에 전달
- 이를 통해 스티어링 각도, 가속/제동력 등이 미세하게 조정됨
- 피드백 제어
- 실제 차량의 현재 상태(속도, 방향, 위치 등)를 지속적으로 센서로부터 피드백 받아
- 목표와의 오차를 계산하고 제어량을 보정하여 목표 궤적을 정확히 추종하도록 함
- 종방향 제어 (Longitudinal Control)
- 세 단계의 유기적 연결
- 인지-판단-제어는 독립적으로 작동하는 것이 아니라, 실시간으로 서로에게 피드백을 주고받으며 끊임없이 순환하는 과정임
- 인지된 정보가 판단의 입력이 되고, 판단의 결과는 제어로 이어지며, 제어 후 변화된 차량의 상태와 주변 환경은 다시 인지의 새로운 입력이 됨
- 이 순환 고리가 빠르게, 그리고 정확하게 반복될수록 자율주행의 성능과 안전성은 향상됨
- 자율주행 제어 실습에서는 다음 작업에 해당함
- 인지 과정: 영상으로 차선을 인식하는 것
- 판단 과정: 인식된 차선 정보로 조향 방향을 결정하는 것
- 제어 과정: 결정된 방향으로 모터를 움직이는 것
