AutoML의 성능개선을 위한 Hyperparameter 최적화 연구

Abstract

기계학습 성능을 향상시키기 위하여, 다양한 학습 계층을 설계하거나, 특정 매개변수를 최적화 하는 연구가 활발히 진행되고 있다. 하지만, 기계학습과 관련하여 인문, 사회 및 다양한 위치에서 이와 같은 효율적인 시스템을 적용하고자 하나, 실제 시스템을 구축하는데 있어서, 기존의 연구 결과를 그대로 반영하여 학습하는 방법에는 문제가 있어왔다. 왜냐하면, 데이터의 특성이나, 사용자의 환경에 따라, 학습의 성능을 높이기 위해서는 학습계층을 합리적으로 설계하여야 하며, 또한 각 매개변수에 대하여 적절한 값의 정의가 필요하기 때문이다. 이와 관련하여, 최근 연구는 자율적 기계학습과 관련한 연구가 진행되고 있으며, 자율적 기계학습은 사용자가 학습에 필요한 여러 매개변수 설정 또는 성능향상을 위한 학습계층 설계와 같은 전문적 지식이 부족하여도 학습을 진행하는데 어려움이 없도록 하는 학습방법에 대한 연구를 의미한다. 따라서 자율적 기계학습은 학습에 사용되는 각 매개변수를 자동으로 특정 데이터 및 사용자 환경에 따라 설정하거나, 학습 계층을 구현하는 방법을 해결하는 것이고, 이러한 문제를 해결하기 위하여 자율적 기계학습에서는 크게 세부분으로 연구되고 있다. 첫 번째는 자율적 특징 학습(Automated Feature Learning)이며, 둘째는 학습계층에 대한 자동 설계(Architecture Search), 마지막으로 학습 모델에 대한 매개변수 자동 설정(Hyper-parameters Optimization)이다. 본 논문에서는 학습 모델에 대한 매개변수 자동설정과 관련이 있으며, 매개변수 자동설정은 기계 학습의 성능과 직접적인 관련이 있는 학습률(Learning Rate), Mini-batch size 및 정규화 계수(Regularization Coefficient) 와 같은 Hyperparameters를 말한다. 특히, 학습 성능과 직접 관련된 학습률에 중점을 두고 이를 개선 한다. 따라서 Exploration에 의존적인 구현을 위해 Gaussian 분포 대신 Gamma 분포를 이용한 Bayesian 최적화 기법을 사용한다. 또한, 목적함수의 결과 값을 Convex 한 형태로 제시하는 방법을 통하여 정확한 학습률을 예측함으로써, 최종적으로 성능이 개선되는 시스템에 대하여 설명하고자 한다.

Recently, in order to improve the performance of machine learning, researches are being actively conducted to design various learning layers or to optimize specific parameters. In particular, while attempting to apply such an efficient system in the humanities, society, and various positions in relation to machine learning, there has been a problem in the method of learning to reflect the results of existing researches in constructing the actual system. This is because, in order to improve the performance of learning according to the characteristics of the data and the user's environment, the learning layers must be reasonably designed, and the definitions of appropriate values are required for each parameter. In this regard, recent research has been conducted on autonomous machine learning, and autonomous machine learning refers to the study of the learning method that does not have difficulty in learning even if the user lacks professional knowledge such as setting various parameters for learning or designing the learning layer for improving performance. Therefore, autonomous machine learning can be regarded as a method of solving problems by automatically setting each parameter used for learning according to the their environment or providing an algorithm of necessary to autonomously implement the machine learning layers. Therefore, autonomous machine learning is to set up each parameter used for learning automatically according to specific data and user environment, or to solve a method of implementing the learning layers. To solve this problem, autonomous machine learning has been studied in three parts. The first is Automated Feature Learning, the second is Architecture Search for the learning layer, and the last is the Hyperparameters Optimization. In this paper, we are concerned with the parameter auto-setting for the learning model, which is directly related to the performance of machine learning, the learning rate, mini-batch size, and normalization coefficient. In particular, we focus on and improve learning rates directly related to learning performance. Therefore, the Bayesian optimization method using a Gamma distribution is used instead of Gaussian distribution for implementation dependent on exploration. In addition, we will describe a system that finally improves performance by predicting the correct learning rate through the method which is approximated convex hulls to the result of the objective function.