데이터 분석의 기법과 프로세스: CRISP-DM, SEMMA, 그리고 그 응용

처음 데이터 분석 프로젝트를 시작할 때, 무엇부터 해야 할지 막막할 수 있습니다. 막연히 “데이터를 분석해야 한다”는 생각만 가지고 시작하면, 어느 시점에선지 무엇을 어떻게 진행해야 할지 혼란스러워지기 마련입니다. 하지만 데이터 분석은 구조적이고 단계적인 접근이 필요합니다. 이 과정에서 중요한 점은 “첫걸음을 잘 내딛는 것”입니다.

 

이때, 방법론이 도움이 될 수 있습니다. CRISP-DM이나 SEMMA와 같은 체계적인 분석 방법론을 따르는 것이 바로 그 첫걸음을 내딛는 데에 도움이 될 수 있습니다. 이 방법론은 각 단계에서 무엇을 해야 할지 명확히 제시해주므로, 프로젝트를 체계적으로 진행할 수 있도록 돕습니다. 분석 목표부터 데이터 준비, 모델링, 평가, 배포까지, 각 단계마다 필요한 작업을 명확하게 파악하고 순차적으로 진행할 수 있도록 하는 좋은 참고가 될 수 있습니다! 

 

1. CRISP-DM: 데이터 분석의 기본 프로세스

 

CRISP-DM(Cross-Industry Standard Process for Data Mining)은 데이터 마이닝과 분석의 표준 프로세스를 제시하는 모델로, 다양한 산업 분야에서 많이 사용됩니다.

 

저도 분석 공모전에 참여하거나 분석 업무를 받았을 때, CRISP-DM을 중심으로 프로세스를 계획하여 분석을 시작하곤 합니다. 처음 이 방법론을 배웠을 때는 감이 안잡혔는데, 여러 프로젝트를 하면 할 수록 중요성과 유용성이 점점더 실감된 경험을 하였습니다. 특히 분석 방향의 명확해 지는 데에 많은 도움이 되었습니다. 

CRISP-DM은 다음과 같은 6단계로 구성됩니다:

(광진구 빅데이터 공모전 참여의 예시를 하늘색으로 표기하였습니다)

• 1단계: 비즈니스 이해 (Business Understanding)
  • 데이터 분석을 시작하기 전에, 분석하려는 문제의 본질을 파악하는 것이 가장 중요합니다. 비즈니스 목표와 데이터 분석의 목표가 무엇인지 명확히 정의하고, 이를 통해 분석 방향을 설정합니다
  • 프로젝트(비즈니스) 목표는 광진구의 교통 혼잡도를 개선하는 것입니다. 이를 통해 주민들의 통행 시간을 단축시키고, 교통사고를 줄이는 것이 분석의 목표입니다.
• 2단계: 데이터 이해 (Data Understanding)
  • 데이터를 수집한 후, 데이터를 이해하는 단계입니다. 이 단계에서는 데이터를 살펴보고, 이상치나 결측치, 데이터의 분포 등을 분석하여 어떤 정보가 중요한지 파악합니다.
  • 데이터 수집 후, 교통량, 시간대별 차량 속도, 날씨 등 다양한 데이터를 분석하여 어떤 변수들이 교통 혼잡에 큰 영향을 미치는지 파악합니다.
• 3단계: 데이터 준비 (Data Preparation)
  • 데이터가 분석에 적합하게 준비되었는지 확인하는 단계입니다. 데이터 정제, 변환, 모델링에 필요한 형식으로 데이터를 준비합니다. 이 과정에서 많은 시간이 소요될 수 있습니다.
  • 교통 데이터를 정제하고, 결측치를 처리하며, 시간대별로 데이터를 정렬하여 분석에 적합한 형태로 변환합니다.
• 4단계: 모델링 (Modeling)
  • 실제 모델을 만들고, 다양한 기법을 활용하여 예측, 분류 등의 작업을 수행하는 단계입니다. 이 단계에서 중요한 점은 모델의 선택과 파라미터 튜닝입니다.
  • 교통 혼잡도를 예측하는 모델을 Prophet, ARIMAX, RandomForest 등을 활용하여 다양한 기법을 적용하고, 최적의 예측 모델을 도출합니다.
• 5단계: 평가 (Evaluation)
  • 모델이 비즈니스 목표를 충족하는지 평가하는 단계입니다. 모델의 성능을 측정하고, 이를 비즈니스 목표와 비교하여 최적의 모델을 선택합니다.
  • 모델의 예측 성능을 평가하여, 교통 혼잡도 예측의 정확성을 측정하고, 분석의 목표인 교통 문제 해결에 가장 잘 부합하는 모델을 선택합니다.
• 6단계: 배포 (Deployment)
  • 최종 모델을 실제 환경에 배포하는 단계입니다. 결과를 비즈니스에 반영하고, 모델을 유지보수하며 성능을 지속적으로 모니터링합니다.
  • 최적 모델을 교통 관리 시스템에 배포하고, 실시간 데이터를 바탕으로 교통 흐름을 모니터링하여 교통 정책을 개선하고, 효율적인 교통 관리를 지원하기 위한 서비스를 마련합니다. 

 

CRISP-DM은 구조화된 방식으로 데이터 분석 프로젝트를 수행할 수 있도록 돕습니다. 이 프로세스를 통해 데이터 분석 프로젝트가 체계적으로 진행될 수 있습니다.

 

 

2. SEMMA: 데이터 분석의 실용적인 접근

 

SEMMA(Sample, Explore, Modify, Model, Assess)는 SAS의 데이터 분석 프로세스를 따르는 방법론입니다. 이 방법론은 특히 SAS E-miner 도구와 함께 사용될 때 효과적인데, 각 단계는 다음과 같습니다:

 

• Sample: 분석에 적합한 샘플을 선택하는 단계입니다. 전체 데이터를 사용하기 어려운 경우 샘플링을 통해 데이터를 선택하여 분석에 활용합니다.
• Explore: 데이터를 탐색하고, 변수 간의 관계나 패턴을 찾아내는 단계입니다. 시각화 기법이나 통계적 분석을 통해 데이터의 특성을 이해합니다.
• Modify: 데이터 정제와 변환을 수행하는 단계입니다. 데이터의 품질을 높이기 위해 결측값 처리, 이상치 제거 등을 수행합니다.
• Model: 모델링을 통해 예측하거나 분류하는 단계입니다. 다양한 기법을 시도하며, 가장 적합한 모델을 찾습니다.
• Assess: 모델의 성능을 평가하는 단계입니다. 모델이 실제 데이터를 잘 예측하는지, 비즈니스 문제를 해결하는지 평가합니다.

 

3. MECE: 문제 해결을 위한 구조적 접근

 

MECE(Mutually Exclusive, Collectively Exhaustive)는 문제를 해결할 때 사용되는 사고방식으로, 문제를 겹치지 않게 분할하고 모든 가능성을 고려하는 방법입니다. 이 방법을 활용하면, 데이터 분석 시 중요한 요소를 놓치지 않고 체계적으로 분석할 수 있습니다.

 

• Mutually Exclusive: 각 항목이 서로 중복되지 않도록 문제를 분리합니다.
• Collectively Exhaustive: 모든 가능성을 다룰 수 있도록 문제를 분할합니다.

 

MECE 원칙을 따르면, 분석할 때 필요한 정보가 빠짐없이 다루어지며, 분석이 더 효율적이고 체계적으로 이루어집니다.

 

 

4. 실제 사례: 데이터 분석 기법의 적용

 

이제 CRISP-DM, SEMMA, MECE 원칙이 실제 데이터 분석에 어떻게 활용될 수 있는지 살펴봅시다.

 

예를 들어, 한 기업이 고객 이탈 예측 모델을 만들고자 한다면, 먼저 CRISP-DM의 비즈니스 이해 단계에서 “고객 이탈률을 예측하여 마케팅 전략을 개선하는 것”이 목표임을 설정합니다. 그런 다음 데이터 이해 단계에서 고객의 구매 패턴, 웹사이트 방문 기록 등을 파악하고, SEMMA의 Modify 단계에서 결측값 처리와 이상치 제거를 통해 데이터를 정제합니다. 마지막으로, 모델링 단계에서 여러 기법을 시도하고, 평가 단계에서 최적의 모델을 선택하여 기업의 실제 마케팅 전략에 적용합니다.