데이터 분석 개요

• 1. 데이터 분석 개요
  • 1.1 데이터 분석의 4단계 유형
  • 1.2 일반적인 데이터 분석 프로세스
  • 1.3 데이터 분석의 핵심 역량 및 도구
  • 1.4 데이터 분석의 도입 기대효과
• 2. 데이터 분석과 데이터 과학
  • 2.1 개략적인 비교
  • 2.2 세부 역할 및 특징 비교
  • 2.3 비즈니스 시나리오로 보는 예시
• 3. 탐색적 데이터 분석(EDA)
  • 3.1 EDA의 핵심 목적
  • 3.2 EDA를 수행하는 두 가지 축
  • 3.3 EDA의 일반적인 체크리스트
• 4. 기술 통계
  • 4.1 기술 통계의 두 가지 축
  • 4.2 기술 통계 vs 추론 통계
  • 4.3 데이터 분석에서 기술 통계가 중요한 이유

1. 데이터 분석 개요

• 데이터 분석(Data Analytics)은
  • 원시 데이터(Raw Data)를 수집, 정제, 변환, 모델링하여 의사결정에 도움이 되는 유용한 정보를 발굴하고 결론을 도출하는 체계적인 과정
  • 감이나 직관에 의존하던 의사결정을 ‘데이터 기반의 객관적 의사결정(Data-Driven Decision Making)’으로 전환하는 핵심 역할을 담당

1.1 데이터 분석의 4단계 유형

• ‘분석의 목적’과 ‘난이도’에 따라 구분됨
• 분석의 순서, 단계처럼 보이기도 하지만 각 단계를 준수할 필요는 없으며, 필요한 유형만을 선택해서 수행해도 무방함

• 기술 분석 (Descriptive Analytics): “무슨 일이 일어났는가?”
  • 과거 데이터를 요약하고 시각화하여 현상을 파악하는 단계
  • 예: 지난달 매출 보고서, 웹사이트 일일 방문자 수 추이
• 진단 분석 (Diagnostic Analytics): “왜 일어났는가?”
  • 현상의 원인을 파악하기 위해 데이터를 깊이 있게 파고드는(Drill-down) 단계
  • 상관관계나 인과관계를 분석
  • 예: 특정 연령대에서 매출이 급감한 원인이 결제 시스템 오류였음을 발견
• 예측 분석 (Predictive Analytics): “앞으로 무슨 일이 일어날 것인가?”
  • 과거 패턴과 통계적 모델, 머신러닝 등을 활용하여 미래의 결과나 트렌드를 예측하는 단계
  • 예: 향후 3개월간의 재고 수요 예측, 고객 이탈 확률 계산
• 처방 분석 (Prescriptive Analytics): “어떻게 해야 하는가?”
  • 예측된 결과를 바탕으로 최적의 시나리오나 해결책을 제시하는 가장 고도화된 단계
  • 예: 예상되는 재고 부족을 막기 위한 최적의 발주량 및 타이밍 자동 추천

1.2 일반적인 데이터 분석 프로세스

• 데이터 분석은 단발성 작업이 아니라 일련의 순환 과정을 거치며 고도화됨

[문제 정의] ➔ [데이터 수집] ➔ [데이터 전처리] ➔ [데이터 분석/모델링] ➔ [시각화 및 보고]

1. 문제 정의 (Define):
   • 해결하고자 하는 비즈니스 질문을 명확히 하고 분석 목적을 설정함
   • 예: 장바구니 이탈률을 5% 낮추기 위한 원인 분석
2. 데이터 수집 (Collection):
   • 분석에 필요한 데이터를 내부 DB, 로그 파일, 외부 API, 웹 크롤링 등을 통해 확보
3. 데이터 전처리 및 정제 (Preprocessing):
   • 데이터 분석에서 가장 많은 시간(대략 70~80%)이 소요되는 단계
   • 결측치(Missing value), 이상치(Outlier)를 처리하고 분석이 가능한 형태로 변환함
4. 탐색적 데이터 분석 및 모델링 (EDA & Modeling):
   • 통계적 기법, 그래프, 머신러닝 알고리즘 등을 활용하여 데이터의 변수 간 관계를 파악하고
   • 인사이트를 추출함
5. 시각화 및 보고 (Insight & Reporting):
   • 분석 결과를 대시보드나 보고서 형태로 시각화하여
   • 의사결정권자가 이해하기 쉽게 전달함

1.3 데이터 분석의 핵심 역량 및 도구

• 데이터 분석을 효과적으로 수행하기 위해서는 기술적 도구와 인지적 역량이 균형을 이루어야 함

• 데이터베이스 및 추출:
  • 대규모 데이터에서 필요한 부분을 뽑아내는 능력이 기본
  • 주요 도구: SQL
• 통계학 및 프로그래밍:
  • 데이터의 유의성을 검증
  • 자동화된 분석을 수행
  • 주요 도구: Python (Pandas, NumPy, Scipy), R
• 데이터 시각화 및 BI:
  • 복잡한 데이터를 직관적인 그래프나 인터랙티브 대시보드로 표현
  • 주요 도구: Tableau, Power BI, Excel, 라이브러리(Matplotlib, Seaborn)
• 도메인 지식 (Domain Knowledge):
  • 기술만큼이나 중요한 역량
  • 분석 대상 산업군(금융, 제조, 마케팅, 의료 등)에 대한 깊은 이해가 있어야 데이터의 진짜 의미를 해석할 수 있음

1.4 데이터 분석의 도입 기대효과

• 리스크 감소:
  • 추측이 아닌 데이터 증거를 기반으로 리스크를 최소화하는 선택을 할 수 있음
• 운영 효율성 제고:
  • 물류, 공급망, 제조 공정 등에서 낭비되는 자원을 파악하고 최적화할 수 있음
• 고객 경험 개선:
  • 고객의 행동 패턴을 분석하여 개인화된 서비스나 상품을 추천함으로써 만족도를 높임
• 신규 기회 포착:
  • 시장의 트렌드나 소비자의 숨은 니즈를 먼저 읽어내어 경쟁 우위를 확보

2. 데이터 분석과 데이터 과학

• 데이터 분석(Data Analytics)과 데이터 과학(Data Science)은 데이터를 다룬다는 점에서 자주 혼용되지만,
• 그 목적과 접근 방식, 주로 사용하는 기술에서 명확한 차이가 있음

2.1 개략적인 비교

구분	데이터 분석 (Data Analytics)	데이터 과학 (Data Science)
핵심 목표	과거와 현재의 데이터를 분석하여 의사결정을 위한 인사이트 도출	데이터 기반의 예측 모델 및 알고리즘 개발, 비즈니스 자동화
주요 질문	"무슨 일이 일어났는가?", "왜 일어났는가?"	"앞으로 무슨 일이 일어날 것인가?", "어떻게 자동화할 것인가?"
데이터 상태	대체로 정제된 정형 데이터 중심	정형 데이터 + 이미지, 텍스트, 음성 등 대규모 비정형 데이터
핵심 역량	통계학, 비즈니스 도메인 지식, 대시보드 시각화	머신러닝/딥러닝, 고급 수학(선형대수 등), 컴퓨터 공학
결과물	보고서, 대시보드(BI), 인사이트 제안서	AI 모델, 예측 알고리즘, 데이터 제품(Data Product)

2.2 세부 역할 및 특징 비교

• 데이터 분석 (Data Analytics)
  • 데이터 분석은 “이미 존재하는 데이터에서 의미를 찾는 과정”에 가까움

  • 비즈니스 문제를 해결하기 위해 데이터를 수집, 정제하고 통계적 기법을 적용하여 트렌드를 파악

  • 접근 방식:
    • 탐색적 데이터 분석(EDA)과 기술 통계(Descriptive Statistics)를 주로 사용
    • 현상을 진단하고 원인을 파악하는 데 집중
  • 주요 업무:
    • 매출 하락 원인 분석, 마케팅 캠페인 효율 검증, 고객 세분화(Segmentation), KPI 지표 대시보드 구축 등
  • 활용 도구:
    • SQL, Excel, Tableau, PowerBI, R/Python(Pandas, Seaborn) 등
• 데이터 과학 (Data Science)
  • 데이터 과학은 데이터 분석을 포함하는 더 넓은 개념
  • 수학, 컴퓨터 공학, 비즈니스를 융합하여 새로운 가치를 창출하는 과정

  • 알고리즘과 모델을 설계하여 미래를 예측하거나 시스템을 지능화함

  • 접근 방식:
    • 머신러닝, 딥러닝, 데이터 마이닝 등 고도화된 기술 사용
    • 데이터가 흐르는 파이프라인을 설계하고 시스템을 구축하는 엔지니어링적 성격도 강함
  • 주요 업무:
    • 추천 알고리즘 개발(예: 넷플릭스, 유튜브 추천), 사기 탐지(Fraud Detection) 시스템 구축, 이미지/자연어 처리 모델 생성 등
  • 활용 도구:
    • Python(Scikit-Learn, TensorFlow, PyTorch), R, Spark, Hadoop, 클라우드 인프라(AWS, GCP 등)

2.3 비즈니스 시나리오로 보는 예시

• 대형 이커머스 기업에서 ‘고객 이탈’이라는 문제를 해결하려고 할 때,

  • 데이터 분석가(Data Analyst): 🡲 과거 데이터 분석을 통한 원인 규명 및 해결책 제안

    • 최근 3개월간 이탈한 고객들의 데이터를 뜯어보니, 결제 단계에서 오류를 겪은 비율이 40%가 넘습니다.
    • 특히 20대 사용자의 이탈률이 급증했으니 UI/UX 수정이 필요합니다.

  • 데이터 과학자(Data Scientist): 🡲 예측 모델 개발 및 시스템 자동화

    • “고객의 행동 패턴(로그인 주기, 장바구니 체류 시간 등)을 실시간으로 학습하여, 향후 1주일 이내에 이탈할 확률이 80% 이상인 고객을 탐지하는 머신러닝 예측 모델을 만들겠습니다.
    • 이 모델을 기반으로 이탈 예상 고객에게 자동으로 할인 쿠폰을 발송하는 시스템을 구축하죠.”

• 요약
  • 데이터 분석은 데이터를 통해 현상을 이해하고 현명한 비즈니스 결정을 내리는 것에 집중
  • 데이터 과학은 데이터를 통해 미래를 예측하고, 이를 수행할 수 있는 지능형 시스템(AI/알고리즘)을 만드는 것에 집중

3. 탐색적 데이터 분석(EDA)

• 탐색적 데이터 분석(Exploratory Data Analysis, EDA)은
• 수집한 데이터셋을 본격적으로 모델링하거나 가설 검정을 하기 전에,
• 데이터의 특징을 파악하고 직관적으로 이해하기 위해 데이터를 다각도로 들여다보는 과정
  • 쉽게 말해 “데이터가 우리에게 무슨 이야기를 하고 있는지” 듣는 과정

• 통계학자 존 튜키(John Tukey)가 제안한 개념
• 데이터 분석 프로세스 중 전처리(Preprocessing)와 함께 가장 많은 시간과 노력이 투입되는 매우 중요한 단계

3.1 EDA의 핵심 목적

• 데이터의 구조 및 구조적 결함 파악:
  • 데이터의 행과 열의 수, 데이터 타입(숫자형, 범주형),
  • 결측치(Missing Value)나 이상치(Outlier)가 어디에 얼마나 존재하는지 확인
• 변수 간의 관계 파악:
  • 어떤 변수가 서로 밀접하게 연결되어 있는지(상관관계),
  • 특정 변수가 타겟 변수에 어떤 영향을 미치는지
  • 직관적으로 이해함
• 가설 수정 및 모델링 전략 수립:
  • 초기 가설이 맞는지 확인
  • 데이터의 분포를 고려하여
  • 어떤 머신러닝 알고리즘을 쓸지,
  • 혹은 어떤 피처 엔지니어링(Feature Engineering)이 필요할지
  • 방향을 잡음

3.2 EDA를 수행하는 두 가지 축

• EDA는 분석 대상 변수의 개수와 분석 방식에 따라 다음과 같이 분류함
  
  
• 요약 통계량 확인 (Non-graphical / 수치적 분석)
  • 그래프를 그리기 전, 숫자로 된 지표를 통해 데이터의 대략적인 윤곽 잡기
    • 기술 통계량:
      • 평균(Mean), 중앙값(Median), 최빈값(Mode), 사분위수(Quantiles), 표준편차(Standard Deviation) 등을 확인
    • 상관계수:
      • 피어슨(Pearson)이나 스피어만(Spearman) 상관계수를 통해 변수 간의 선형적 관계 강도를 숫자로 파악
• 데이터 시각화 (Graphical / 시각적 분석)
  • 인간의 시각은 숫자보다 패턴을 훨씬 더 잘 인지함
    • 통계 방법에 따라 규칙을 보는 것은 어렵지만, 데이터가 시각화되면 규칙은 매우 명확히 인지 가능
      • 예: 안스콤비의 4중주
      
  • 시각화를 통해 데이터의 분포와 특이점을 한눈에 파악
    • 단변량 분석 (변수 1개): 하나의 변수가 어떻게 분포되어 있는지 확인
      • 히스토그램(Histogram), 커널밀도추정(KDE): 연속형 변수의 분포 형태(왜도, 첨도) 파악
      • 박스 플롯(Box Plot): 사분위수 분포 및 이상치(Outlier) 식별에 탁월
    • 다변량 분석 (변수 2개 이상): 변수 간의 관계를 확인
      • 산점도(Scatter Plot): 두 연속형 변수 간의 상관관계 및 데이터의 군집 경향 파악
      • 히트맵(Heatmap): 여러 변수 간의 상관계수를 색상으로 표현하여 한눈에 파악

3.3 EDA의 일반적인 체크리스트

• 실무에서 EDA를 진행할 때는 보통 다음과 같은 질문을 던지며 데이터를 탐색함

  1. 데이터의 크기는 얼마인가?
     • Rows와 Columns의 수 확인
  2. 각 컬럼의 데이터 타입은 적절한가?
     • 날짜가 문자열로 되어 있거나, 범주형이 숫자로 되어 있지 않은가?
  3. 결측치(Null/NaN)가 존재하는가?
     • 존재한다면 이를 제거할 것인가, 평균값/중앙값 등으로 대체할 것인가?
  4. 이상치(Outlier)가 존재하는가?
     • 단순 입력 오류인가, 의미 있는 희귀 케이스인가?
  5. 종속 변수(Target)의 분포가 불균형(Imbalance)하지 않은가?
     • 예: 사기 탐지 데이터에서 사기 케이스가 0.1% 미만인 경우
  6. 변수 간에 강한 상관관계가 있는가?
     • 다중공선성 문제를 유발할 수 있는 변수가 있는지 확인

• EDA에 대한 명언 (수사학적 비유)
  • “만약 당신이 데이터를 충분히 오랫동안 고문한다면, 데이터는 무엇이든 자백할 것이다. (로널드 코스 (Ronald Coase))” — EDA는 고정관념을 가지고 데이터를 억지로 뜯어 맞추는 과정이 되어서는 안 됨
  • 편견 없이 데이터 자체의 패턴을 열린 마음으로 관찰하는 것이 성공적인 EDA의 가장 중요한 태도

4. 기술 통계

• 기술 통계(Descriptive Statistics)는
  • 수집한 데이터의 핵심적인 특징을 요약, 서술, 설명하는 통계학의 기초적인 방법론
  • 데이터 분석의 4대 유형 중 ‘기술 분석(Descriptive Analytics)’과 ‘탐색적 데이터 분석(EDA)’을 수행할 때 가장 먼저 활용되는 도구
  • 수백만 개의 원시 데이터(Raw Data)를 사람이 직관적으로 이해할 수 있도록 몇 개의 대표적인 숫자(통계량)나 그래프로 요약하는 과정

4.1 기술 통계의 두 가지 축

• 데이터를 요약하는 방식에 따라 크게 수치적 요약과 시각적 요약으로 나뉨

• 수치적 요약 (Numerical Summary)
  • 데이터의 분포와 특성을 숫자로 표현하는 방법
  • 크게 세 가지 관점에서 측정
    • A. 중심 경향성 위치 지표 (Measures of Central Tendency)
      • 데이터가 어떤 값을 중심으로 모여 있는지를 나타냄
        • 평균 (Mean):
          • 모든 데이터의 합을 개수로 나눈 값
          • 데이터의 전반적인 수준을 보여주지만,
          • 극단적인 이상치(Outlier)에 영향을 크게 받음
        • 중앙값 (Median):
          • 데이터를 크기순으로 정렬했을 때 정중앙에 위치하는 값
          • 이상치의 영향을 받지 않아 소득 분포 등을 나타낼 때 유용함
        • 최빈값 (Mode):
          • 데이터에서 가장 자주 등장하는 값
          • 주로 범주형(문자형) 데이터의 대표값을 구할 때 사용함
    • B. 산포도 / 산포 지표 (Measures of Dispersion)
      • 데이터가 중심으로부터 얼마나 멀리 퍼져 있는지를 나타냄
      • 데이터의 ‘다양성’이나 ‘불확실성’을 측정하는 기준이 됨
        • 범위 (Range):
          • 최댓값과 최솟값의 차이
          • 계산은 쉬우나 양 극단의 값만 반영한다는 한계가 있음
        • 사분위수 범위 (IQR, Interquartile Range):
          • 데이터를 4등분 했을 때, 상위 25%($Q_3$)와 하위 25%($Q_1$) 사이의 범위($Q_3 - Q_1$)
          • 데이터의 중심부 50%가 모여있는 구간을 뜻함
          • 이상치 판정의 기준으로 사용됨
        • 분산 (Variance):
          • 각 데이터가 평균으로부터 얼마나 떨어져 있는지(편차)를 제곱하여 평균한 값
        • 표준편차 (Standard Deviation):
          • 분산에 루트를 씌운 값
          • 분산은 제곱되어 단위가 왜곡되므로, 이를 원래 데이터의 단위와 맞춰주기 위해 사용함
    • C. 분포의 모양 지표 (Measures of Shape)
      • 데이터의 비대칭성과 뾰족한 정도를 나타냄
        • 왜도 (Skewness):
          • 데이터가 한쪽으로 얼마나 치우쳤는지(비대칭성)를 나타냄
            • 왜도 = 0: 좌우 대칭 (정규분포)
            • 왜도 > 0: 오른쪽으로 꼬리가 긴 모양 (왼쪽에 데이터가 밀집)
            • 왜도 < 0: 왼쪽으로 꼬리가 긴 모양 (오른쪽에 데이터가 밀집)
        • 첨도 (Kurtosis):
          • 데이터 분포의 중심이 얼마나 뾰족하거나 완만한지를 나타냄
          • 정규분포(첨도=3)를 기준으로 분포의 꼬리가 얼마나 폭이 넓은지(Heavy-tailed)를 평가함
• 시각적 요약 (Visual Summary)
  • 숫자로 된 통계량만으로는 놓치기 쉬운 데이터의 전반적인 형태를 시각적으로 확인하는 방법
    • 도수분포표 (Frequency Table):
      • 데이터를 일정 구간(계급)으로 나누고,
      • 각 구간에 속하는 데이터의 개수(도수)를 표로 정리한 것
    • 히스토그램 (Histogram):
      • 도수분포표를 막대그래프로 시각화한 것
      • 데이터의 연속적인 분포 형태를 파악하는 데 가장 널리 사용됨
    • 박스 플롯 (Box Plot):
      • 최솟값, $Q_1$, 중앙값, $Q_3$, 최댓값이라는 ‘5개 요약 수치(Five-Number Summary)’를 상자 모양으로 시각화한 것
      • 데이터의 치우침과 이상치를 한눈에 파악하기에 가장 좋음

4.2 기술 통계 vs 추론 통계

구분	기술 통계 (Descriptive Statistics)	추론 통계 (Inferential Statistics)
대상	현재 가지고 있는 데이터 전체 (수집된 데이터)	샘플(표본)을 통해 추정한 모집단 전체
목적	데이터의 특징을 명확하게 요약하고 묘사	표본을 바탕으로 모집단의 특성을 확률적으로 예측 및 검정
결과	사실에 기반한 요약 (불확실성 없음)	가설 검정 결과, 신뢰구간 (확률적 불확실성 존재)
예시	우리 학급 학생 30명의 수학 평균 점수는 75점이다.	출구조사 결과(표본), A 후보의 최종 당선 확률은 95%이다.

4.3 데이터 분석에서 기술 통계가 중요한 이유

• 기술 통계를 소홀히 하고 곧바로 고도화된 머신러닝 모델이나 추론 통계로 넘어가면 치명적인 오류를 범할 수 있음
  
  
• 이를 잘 보여주는 대표적인 사례가 ‘안스콤비의 4중주(Anscombe’s Quartet)’ 데이터셋
  • 기술 통계량(평균, 분산, 상관계수)이 소수점 둘째 자리까지 완벽하게 동일한 4개의 데이터셋
  • 숫자만 보면 네 데이터셋이 모두 같아 보이지만, 이를 시각화(산점도)해 보면 네 개의 모양이 완전히 다르게 나타남
    
    
• 평균과 분산 같은 **수치적 요약 정보만 믿어서는 데이터의 진짜 모습을 왜곡할 수 있으며,
• 반드시 시각적 요약(시각화)을 병행하여 데이터의 패턴과 이상치를 다각도로 검증해야 함