아담 옵티마이저와 다양한 주기적 학습률 방법을 활용한 라플라스 영역 완전파형역산

Abstract

완전파형역산은 실제 자료와 모델링한 자료 사이의 차이를 나타낸 목적함수의 기울기를, 신경망 모델의 훈련은 레이블과 예측값 사이의 차이를 나타낸 손실함수의 기울기를 각각 사용하는 최적화 문제이다. 완전파형역산은 경사하강법, 가우스-뉴턴 방법 등 목적함수의 기울기를 활용하는 최적화 방법과 스탭랭스 파라미터를 함께 사용한다. 이때 스탭랭스 파라미터는 역산에 사용하는 모델을 얼마나 업데이트할지 결정하는 파라미터이지만 적절한 값을 찾기 어렵다는 문제가 있다. 신경망 모델의 훈련은 아담 옵티마이저, RMSProp, 모멘텀 옵티마이저 등 손실함수의 기울기를 활용하는 고속 옵티마이저와 학습률 파라미터를 함께 사용한다. 이때 학습률 파라미터는 신경망 모델의 가중치를 얼마나 업데이트할지 결정하는 파라미터이지만 적절한 값을 찾기 어렵기 때문에 성능기반 스케줄링, 지수기반 스케줄링, 주기적 학습률 방법 등 학습률 스케줄링 방법을 사용한다. 이러한 유사성을 바탕으로, 본 연구에서는 라플라스 영역 완전파형역산에 손실함수의 기울기와 기울기 제곱의 지수감소평균을 사용하는 아담 옵티마이저와 설정한 사이클마다 학습률이 주기적으로 변화하는 주기적 학습률 방법을 적용했다. 암염돔 수치모델에서 아담 옵티마이저와 주기적 학습률 방법을 적용한 라플라스 영역 완전파형역산을 수행했을 때, 고정 스탭랭스 파라미터를 사용한 경사하강법과 아담 옵티마이저 보다 향상된 역산 결과를 얻을 수 있음을 확인했다.

The full waveform inversion that uses objective function representing the error between the real seismic data and the modeled seismic data. and the training of the neural network that uses loss function representing the error between the label and the prediction are the optimization problems. The full waveform inversion uses the optimization methods using the gradient of the objective function, such as the gradient descent method and the Gauss-Newton method, and the step length parameter. The step length parameter determines how much to update the model for the inversion, but it is difficult to find the appropriate value. The training of the neural network model uses the various optimizers using the gradient of the loss function, such as the Adam optimizer, RMSprop, and Momentum optimizer, and the learning rate parameter. The learning rate parameter determines how much to update the weight of the neural network model, but it is difficult to find the appropriate value. Therefore some researchers use the learning rate scheduling methods, such as the performance-based scheduling, the exponent-based scheduling, and the cyclic learning rate method. Based on this similarity, I applied the Adam optimizer that uses the exponential decaying average of the gradient and the squared gradient of the loss function and the cyclic learning rate method that the learning rate is cyclicly changed during each cycles to the full waveform inversion in the Laplace-domain. In the salt dome model, I got the better inversion results using the Adam opitmizer with the cyclic learning rate method than using the gradient descent method and Adam optimizer with fixed step length parameter.