하둡 클러스터 환경에서 스파크를 활용한 빈발 패턴 마이닝에 관한 연구

Abstract

데이터 수집 및 저장 기술의 급속한 발전과 데이터 생성 및 전파(傳播)가 쉬어짐에 따라 데이터의 양이 폭발적으로 증가하는 빅데이터 현상으로 인해, 데이터 속에서 패턴을 발견하고 연관 규칙을 분석하기 위해, 멀티코어 및 GPU 연산 그리고 분산 처리와 같은 방식을 응용한 접근법이 요구되고 있다. 이러한 맥락에서, 본 연구는 빈발 패턴 마이닝의 주요 알고리즘의 특성을 고찰하고, 클러스터 컴퓨팅 환경에서 알고리즘을 적용하여 마이닝을 수행하는 데 있어서 고려될 수 있는 요인을 검토하였다. 그리고 분산된 환경에서 탐색하고자 하는 데이터에서 발생할 수 있는 패턴 중 질의(質疑) 된 요소에 대한 패턴을 위주로 탐색을 수행하고, 해당 요소와 관련된 빈발 패턴만을 빠르게 도출하는 방법을 제안하였다. 본 연구에서 제안하는 방법의 효율성 및 적합성을 검토한 후 적용 가능성을 위한 실험을 수행하기 위해, 빅데이터 처리를 위한 분산 컴퓨팅(Distributed Computing) 환경으로 Apache Hadoop, Apache Spark, Apache Zookeeper와 같은 오픈소스 프레임워크로 구성된 클러스터 시스템을 구축하고 실험을 진행하였으며, 클러스터 환경에서 제안 방법의 레코드 데이터 집계 단계까지 동작하는 것을 확인하였다. |Due to the big data phenomenon in which the amount of data explosively increases as data collection and storage technology rapidly develops and data generation and dissemination become easy, to find patterns in data and analyze related rules, Approaches that apply methods such as core and GPU operations and distributed processing are required. In this context, this study examines the characteristics of the main algorithms of frequent pattern mining and examines the factors that can be considered in performing mining by applying the corresponding algorithm in a cluster computing environment. And, among the patterns that can occur in the data to be searched in a distributed environment, the search is performed focusing on the pattern of the queried element, and a method of quickly deriving only the frequent patterns related to the element is established. To conduct experiments for applicability after reviewing the efficiency and suitability of the method proposed in this study, open source frames such as Apache Hadoop, Apache Spark, and Apache Zookeeper are used as a distributed computing environment for big data processing. A cluster system composed of work was built and an experiment was conducted, and it was confirmed that the proposed method operates up to the record data aggregation step in the cluster environment.