탐색적 데이터 분석

탐색적 데이터 분석

선박 100척의 자료를 받았다면 어떤 특징부터 살펴볼까?

• 선박은 보통 얼마나 빠른가?
• 선박마다 속도 차이가 얼마나 큰가?
• 유난히 빠르거나 느린 선박이 있는가?
• 승무원 수에 따라 속도가 달라지는 경향이 있는가?

탐색적 데이터 분석(Exploratory Data Analysis, EDA): 자료의 구조와 분포, 변수 사이의 관계를 살펴보며 특징과 추가 질문을 찾는 과정.

• 기술 통계로 자료의 특징을 수치로 요약하고, 그래프로 분포와 패턴 확인
• 결측치와 이상치 후보를 찾아 자료의 상태 점검
• 발견한 특징을 바탕으로 질문과 가설을 발전시키고, 후속 분석 방법 선택

확인적 데이터 분석(Confirmatory Data Analysis, CDA): 미리 정한 가설과 분석 방법에 따라, 데이터를 이용해 가설을 평가하는 과정.

flowchart LR
  D[데이터 분석] --> E[탐색적 분석: 특징과 질문 발견]
  D --> C[확인적 분석: 미리 정한 가설 평가]
  E -->|활용| F[기술 통계]
  E -->|활용| G[데이터 시각화]

기술 통계와 시각화는 확인적 분석에서도 활용 가능.

실습 준비

• ship.xlsx: 선박 100척의 정보를 담은 자료
• 내려받은 ship.xlsx를 현재 폴더에 둔 뒤 코드 실행

import pandas as pd

df = pd.read_excel("ship.xlsx")
df[["ship_name", "speed"]].head()

  ship_name  speed
0  Ship_001   19.0
1  Ship_002   18.6
2  Ship_003   22.8
3  Ship_004   19.8
4  Ship_005   16.1

• 한 행: 선박 한 척의 정보
• ship_name: 선박을 구분하는 이름
• speed: 선박 속도, 단위는 노트

df.shape  # (행 수, 열 수)

(100, 13)

• 자료 크기: 100행, 13열

기술 통계

기술 통계(descriptive statistics): 수집한 자료의 특징을 빈도, 평균, 표준편차 등의 수치로 요약하는 방법.

• 중심경향치: 평균·중앙값처럼 자료를 대표하는 중심값
• 분위수: 자료를 크기순으로 정렬했을 때 일정 비율의 위치를 나타내는 경계값
• 변산성 측정치: 범위·IQR·분산·표준편차처럼 자료의 퍼짐 정도를 나타내는 값

변수의 종류

변수의 의미와 종류에 따라 적절한 요약 방법 선택.

• 범주형 변수(categorical variable): 종류나 집단을 나타내는 변수
  • 예: 선박 종류, 혈액형, 고향
  • 숫자로 표시해도 수량을 뜻하지 않으면 범주형. 예를 들어 선박 종류를 1, 2, 3으로 표시한 경우
  • 범주별 빈도와 비율로 요약. 순서가 있어도 범주 사이의 간격이 일정하다는 뜻은 아님
• 수치형 변수(numerical variable): 개수나 측정한 양을 나타내는 변수
  • 예: 승무원 수 crew_size, 속도 speed, 무게, 거리
  • 평균이나 표준편차 등으로 요약 가능