A Study on the Convergence of Big Data Platform and Machine Learning for Urban Safety
- Alternative Title
- 도시 안전을 위한 빅 데이터 플랫폼과 기계 학습의 융합에 관한 연구
- Abstract
- 세계의 경제규모와 도시화는 빠르게 발전하고 있으며, 도시화가 진행됨에 따라 도시 안전과 예방에 대한 필요성은 증가하고 있다. 그러나 도시화는 편리성과 생산 인구의 증가라는 장점도 있지만, 상대적으로 범죄율 증가라는 단점이 있다. 최근 컴퓨터, 네트워크, 센서 데이터 등 ICT 관련 기술들이 급격하게 발전하게 됨으로써 다양한 정보들을 실시간으로 수집, 융합 그리고 실생활에 필요한 다양한 예측 정보를 생성하여 사람들에게 제공하는 긍정적인 방향으로 진보하고 있다. 예를 들면 기계학습, 인공지능, 빅데이터 등 최신 기술들을 활용하여 범죄 패턴을 분석하는 다양한 접근 방법을 제시하고 있습니다. 본 연구의 목적은 날씨 데이터와 범죄 데이터를 실시간 및 온라인으로 수집하여 범죄 패턴 분석과 범죄률 예측에 활용하기 방법을 제안하고 있다.
본 연구의 주요 목표인 도시 안전에 필요한 정보 수집은 다양한 기술 방법들이 적용될 수 있으며, 실시간 수집되는 데이터 스트림 정보가 정확해야 되는데, 대부분의 경우 이러한 데이터 세트에는 누락되거나 오류 데이터가 포함될 수 있다. 이러한 결측 값은 정확도가 떨어질 수 있는 요인이 된다. 따라서 이러한 문제점들을 해결하기 위해 날씨 데이터에서 다중 목표 회귀 분석을 사용하여 여러 결측 값을 예측하는 랜덤 포리스트 알고리즘을 기반으로 결측 값을 찾는 방법을 제안하였다. 그리고 본 논문은 범죄 예측 패턴분석을 위해 Apache 스파크 시스템과 기계 학습 알고리즘을 사용하였으며, 사용한 데이터는 미국 시카고 시를 기반으로 한 실시간 기상정보와 범죄 데이터를 사용하였다. 수집된 데이터를 기반으로 14개 범죄의 단계별 범죄 분석을 실시하여, 범죄발생률에 대한 예측 값을 제시하였다.
본 연구의 목표는 국내는 물론 다양한 대도시에서 필요한 기상정보와 범죄 관련 데이터를 실시간으로 수집하여 데이터의 결측 값 처리와 수집된 정보를 융합하여 범죄율과 같은 예측 정보를 실시간으로 제공하기 위한 기반 시스템을 구축에 필요한 요소 기술을 개발하는데 있다.
- Author(s)
- Sontakke Palash Jayant
- Issued Date
- 2019
- Awarded Date
- 2019. 8
- Type
- Dissertation
- Publisher
- 부경대학교
- URI
- https://repository.pknu.ac.kr:8443/handle/2021.oak/23452
http://pknu.dcollection.net/common/orgView/200000223838
- Affiliation
- Pukyong National University Graduate School
- Department
- 대학원 정보시스템협동과정
- Advisor
- Kim Chang Soo
- Table Of Contents
- 1. CHAPTER 1. INTRODUCTION 1
1.1. Background 1
1.2. Study Objective 2
1.3 Structure of thesis 3
2. CHAPTER 2. LITERATURE REVIEW 4
2.1 Missing data imputation of climate dataset. 4
2.2 Crime data, machine learning and forecasting. 5
3. CHAPTER 3. WEATHER DATA AND BATCH PROCESSING TO DEAL WITH MISSING VALUES USING MACHINE LEARNING 8
3.1 Weather data collection and data-set 8
3.2 Features and model selection 9
3.3 Random Forest regression algorithm and prediction model 10
3.4 Predicted values and error rates 12
3.5 Mean and Predictive Imputation 14
4. CHAPTER 4. CRIME PATTERN ANALYSIS BASED ON MACHINE LEARNING AND BIG DATA USING APACHE SPARK 15
4.1 Data Description 16
4.2 Crime Analysis using apache spark 17
4.3 Predictive crime analytics with spark ML libraries 21
4.3 Results of Predictive analysis 23
5. CHAPTER 5. A STATISTICAL AND MACHINE LEARNING APPROACH FOR THE TIME-SERIES ANALYSIS OF THE NUMBER OF CRIMES. 26
5.1 ARIMA model in brief. 28
5.2 Methodology and crime forecasting 30
5.3 Result of forecasting 35
6. CHAPTER 6. FUTURE STUDIES AND CONCLUSION 37
6.1 Apache Spark overview 37
6.2 Real time weather data streaming using Apache spark 39
6.3 Architecture for future study 41
6.4 Conclusion 43
REFERENCES 44
ACKNOWLEDGEMENTS 47
- Degree
- Master
-
Appears in Collections:
- 대학원 > 정보시스템협동과정
- Authorize & License
-
- Files in This Item:
-
Items in Repository are protected by copyright, with all rights reserved, unless otherwise indicated.