강화 학습은 MDP (Markov Decision Process) 기반의 최적화 개념과 행동 심리학 개념인 시행착오를 결합한 인공지능 기반의 기계학습 알고리즘 중 하나이다. 강화 학습의 기본 구성은 Fig. 1에서 나타낸 것과 같이 크게 환경(Environment)과 에이전트(Agent)로 구성되어 있다. 에이전트는 현재 상태(State)를 관측(Observation)하고 임의의 행동(Action)을 선택한다. 이 때 환경은 에이전트에게 보상(Reward)을 주고 다음 상태를 나타내게 된다. 이 과정에서 에이전트는 지속적인 시행착오를 겪으며 보상을 최대화하는 방향으로 행동을 결정하는 학습 과정이 강화학습이다. DDPG는 강화학습 알고리즘의 종류 중 하나로, DPG (Deterministic Policy Gradient)와 DQN (Deep Q-network)의 개념을 결합한 알고리즘이다. DDPG는 연속적인 행동 공간(Action Space)을 가진 문제를 해결하기 위해 설계된 정책(Policy)에 해당되는 배우(Actor)와 가치 함수(Value Function)에 해당하는 비평가(Critic)에 대해 별도의 모델을 갖는 배우-비평가 기반의 강화학습 알고리즘이다[10]. 이 알고리즘은 DPG의 경사 기반 방법을 사용하여 최적의 정책을 찾는 것을 확률로 나타내어 연속적인 행동 공간에 적합한 장점을 가지고 있다. 그리고 DQN의 딥러닝 구조를 통해 기존 Q-러닝에서의 단점이었던 상태와 행동이 추가될수록 방대해지는 Q-테이블을 비선형 함수인 Q-함수로 근사시켜 모든 상태와 행동에 대한 Q값을 저장하지 않고도 학습이 진행될 수 있게 하면서 복잡한 환경에서도 학습할 수 있는 장점이 있다.

Fig. 1 
Basic structure of reinforcement learning

DDPG 알고리즘 구성요소는 Fig. 2에서 나타낸 것과 같이 배우, 비평가, 타겟 네트워크(Target Network) 그리고 경험 리플레이(Experience Replay)가 있다. 배우는 현재 상태를 입력으로 받아 결정론적인 행동을 출력하는 정책 네트워크이다. 비평가는 배우가 출력한 행동과 현재 상태를 입력으로 받아 그 행동을 취했을 때의 보상을 출력한다. 타겟 네트워크는 DQN에서 사용된 방법이며, 배우와 비평가가 훈련됨에 따라 바뀌는 가중치를 주네트워크와 동일한 아키텍처로 구성된 타겟 네트워크를 거쳐 가중치를 일정 비율만큼만 업데이트하는 소프트 업데이트 방식을 적용함으로써 훈련의 안정성을 높이는 방법이다. 경험 리플레이는 에이전트의 상태, 행동, 보상 등과 같은 경험을 저장하고 학습 시 무작위로 추출하여 사용함으로써 샘플들 간의 상관관계를 줄이고 효율적인 학습을 가능하게 하는 역할을 한다. 이와 같은 구성요소를 가진 DDPG는 연속적인 행동 공간에서 진행되는 물리 제어 작업에 주로 사용되고 그에 대한 보상함수의 설계 또한 중요하다. 보상함수는 비평가 네트워크에서 벨만 방정식으로 표현되며, 가장 간단한 형태로 식(1)과 같이 나타낼 수 있다.

Fig. 2 
DDPG architecture

여기서 Q(s, a)는 상태 s에서 행동 a를 취했을 때의 Q값이고 r은 보상, γ는 감가율 그리고 max_a’Q(s’, a’)는 다음 상태 s’에서 가능한 모든 행동 a’들 중 가장 큰 Q값을 나타낸다. 보상함수의 경우 정적 목표 상태가 있는 모든 작업에서는 거리를 기반으로 한 보상을 포함하며 본 연구에서 사용된 보상함수는 식(2)와 같이 나타내었다.

여기서 w는 가중치이며, x_s는 현가 상질량의 변위, x_t는 현가 하질량의 변위, x¨S는 현가 상질량의 가속도 그리고 x_u는 노면의 변위이다. 또한 알고리즘의 안정성과 수렴 속도를 높이기 위해 조기 종료 기능을 사용하였다. 조기 종료 조건은 식(3)과 같은 조건 현가장치의 최대 변위가 10 cm를 넘어갈 시 종료되는 것으로 결정하였다.

DDPG 알고리즘의 학습에 사용된 하이퍼파라미터는 Table 1에 나타내었으며, 배우-비평가 네트워크의 구성은 Fig. 3에 나타내었다. 현가장치의 힘 제어 범위는 –4,000 N에서 4,000 N으로 설정하였다.

Fig. 3 
Critic and actor network

MATLAB의 SIMULINK를 이용하여 1/4 차량 모델을 3가지 종류의 노면 상태에 대해 제어하는 실험을 구현하였다. 사용된 1/4 차량 모델은 Fig. 4와 같으며, 파라미터는 Table 2와 같다. 제어 방법은 PID제어와 DDPG 알고리즘을 랜덤 노면으로 학습한 모델과 범프 노면으로 학습한 모델로 제어하였다. Fig. 5에 본 연구에서 사용된 노면 모델을 나타내었다. 총 3가지의 노면모델을 사용했으며, Fig. 5(a)에서 나타낸 랜덤 노면 모델은 식(4)에서 나타낸 것과 같이 ISO 8608에 기반하여 특정 PSD(Power Spectral Density)를 갖는 백색 잡음 신호가 포함된 시계열 영역의 식을 이용하였다[12].

Fig. 4 
Quarter vehicle model

Fig. 5 
Road profile model

여기서 v는 차량 속도, n₀는 표준 공간 주파수, G(n₀)는 노면 거칠기 계수 그리고 w(t)는 단위 백색 소음이다. 사용된 파라미터의 값은 Table 3에 나타내었고 G(n₀)는 C-Class의 값을 사용하였다. w(t)는 2σ²ρv의 강도를 가진 단위 백색 소음신호이고 σ²는 노면 랜덤성의 공분산 그리고 ρ는 노면 거칠기 매개변수이며, 포장된 도로 상태를 고려하여 선택되었다[11]. Fig. 5(b)에서 나타낸 범프 노면 모델의 경우 식(5)에 나타내었다.

여기서 h는 범프의 높이, v는 차량 속도 그리고 L은 폭 길이이다. 파라미터는 국토교통부가 정한 규격으로 높이는 10 cm 그리고 폭은 3.6 m로 설정되었다. 또한 본 연구에서는 차량 속도가 15 km/h일 때 DDPG 알고리즘의 학습에 사용되었으며, 제어 결과 비교는 각각 15, 30, 60 km/h일 때 진행하였다. Fig. 5(c)에서 나타낸 정현파 노면 모델은 현가장치 성능 평가 방법의 하나인 EUSAMA 테스트를 참고하여 파라미터를 설정하였다. 최종적으로 사용된 시뮬레이션 모델은 Fig. 6에 나타내었다.

Fig. 6 
Simulation model

시뮬레이션 결과는 노면 종류에 따라 3가지의 결과로 도출되었다. 첫 번째로 랜덤 노면의 제어 결과는 Fig. 7에서 변위, 가속도, 제어력 그리고 가속도에 대한 PSD 그래프로 나타내었다. 비교의 편의를 위하여 Table 4에서 현가 상질량의 변위와 가속도에 대한 RMS (Root Mean Square) 감소율을 나타내었다. 랜덤 노면에 관한 결과는 범프 노면 모델로 학습한 DDPG 알고리즘의 성능이 PID 제어 결과보다 낮았고 Fig. 7(c)에서 확인할 수 있는 제어력 그래프에서도 불안정한 성능을 나타낸 것을 확인하였다. 하지만 랜덤 노면 모델로 학습한 DDPG 알고리즘의 성능은 변위의 경우 수동 현가장치의 성능보다 약 51%의 변위 감소율을 보였고 가속도의 경우 약 93%의 감소율로 우수한 성능을 가진다. 또한 더 정확한 결과 비교를 위해 가속도에 대한 PSD 그래프를 Fig. 7(d)에서 나타내었다. 가속도에 대한 PSD 그래프에서의 면적을 비교하여 Fig. 7(e)에서 나타내었고 수동 현가장치의 성능보다 약 99%의 가속도 감소율로 매우 뛰어난 성능을 가진 것을 확인하였다. 두 번째로 범프 노면 모델의 제어 결과는 Fig. 8, Tables 5, 6에서 나타내었다. Fig. 8(a)와 Table 5에서 확인할 수 있듯이 15 km/h의 차량 속도에 대한 제어 결과에서 최대 변위의 경우 약 0.08 m로 그리고 RMS 감소율 또한 약 34%로 랜덤 노면과 범프 노면으로 학습한 결과가 거의 비슷한 것을 확인할 수 있었다. 하지만 Table 6에서 가속도에 대한 RMS 감소율에서 약 -20% 정도의 성능 차이를 확인할 수 있었으며, 변위와 가속도 모두 차량 속도가 증가할수록 범프 노면으로 학습한 DDPG 알고리즘의 성능은 떨어지고 랜덤 노면으로 학습한 DDPG 알고리즘의 성능은 변위에서 평균 39.5% 그리고 가속도에서 평균 82.6%를 나타내었다. 세 번째로 정현파 모델의 제어 결과는 Fig. 9와 Table 7에서 나타내었다. Fig. 9에서 육안으로도 성능 차이를 확인할 수 있었으며, Table 7에서 현가상질량의 변위 및 가속도 모두 랜덤 노면 모델로 학습한 결과가 우수한 성능을 가지는 것을 확인하였다.

Fig. 7 
Results of random road

Fig. 8 
Results of bump road

Fig. 9 
Results of sinewave road

시뮬레이션 결과를 통하여 랜덤 노면에서 학습된 DDPG 알고리즘의 제어 성능이 기존 PID 알고리즘을 적용한 경우보다 우수한 것을 확인하였고, 범프 노면으로 학습한 알고리즘의 성능은 학습 과정에서 사용되었던 동일한 노면 조건 외에서의 성능이 떨어지는 것을 확인하였다. 추가로 Fig. 10에서 학습 과정 중 저장된 평균 보상을 확인한 결과, 랜덤 노면으로 학습한 알고리즘은 평균 보상 약 -40까지 범프 노면 보다 매우 빠르게 수렴한 것을 확인하였다. 최종적으로 사용된 가장 성능이 좋은 DDPG 모델은 랜덤 노면의 경우 에피소드 130번째 그리고 범프 노면의 경우 3913번째에서 훈련이 완료된 모델을 사용하였으며, 랜덤 노면으로 학습된 DDPG 모델이 다양한 노면 상태에 대해 좋은 성능을 나타내는 것을 확인하였다.

Fig. 10 
Average rewards per episode