[통계] Day 3-3 데이터 분포 가정과 가정 검토

데이터 분석을 위해 확률 분포 모형을 선택하고 분석하는 과정에서 데이터 분포의 가정을 세우고 검토하는 과정은 매우 중요합니다. 올바른 가정을 세우고 검토하지 않으면 잘못된 결과를 도출할 수 있습니다. 이를 위해 데이터 분포 가정과 가정 검토에 대해 알아보겠습니다.

1. 데이터 분포 가정

데이터 분석을 위해서는 데이터가 어떤 확률 분포를 따르는지를 가정하는 것이 필요합니다.
예를 들어, 데이터가 정규 분포, 이항 분포, 포아송 분포와 같은 특정한 확률 분포를 따른다고 가정합니다.
데이터 분포의 모양과 특징을 파악하여 적절한 확률 분포 모형을 선택합니다.
이 가정에 따라 모수 추정 및 통계적 검정을 수행하여 데이터를 분석합니다.

2. 가정 검토

데이터 분포 가정을 세우고 분석을 진행할 때, 이 가정이 실제 데이터와 얼마나 일치하는지 검토해야 합니다.
가정이 맞지 않으면 잘못된 결과를 얻을 수 있으므로, 가정의 타당성을 확인하는 것이 중요합니다.
가정 검토는 시각적 평가와 통계적 평가로 나눌 수 있습니다.

시각적 평가: 히스토그램, 확률 밀도 그래프, QQ 플롯 등을 사용하여 데이터 분포의 형태를 시각적으로 확인합니다.

히스토그램: 데이터를 구간으로 나누어 각 구간에 속하는 데이터의 빈도를 막대 그래프로 표현합니다. 데이터의 분포 형태를 직관적으로 파악할 수 있습니다.
확률 밀도 그래프: 데이터 분포를 부드러운 곡선으로 표현한 그래프입니다. 히스토그램보다 더 부드러운 분포 모양을 확인할 수 있습니다.
QQ 플롯 (Quantile-Quantile Plot): 실제 데이터의 분위수와 가정한 분포의 분위수를 비교하는 그래프입니다. 점들이 대각선에 가깝게 분포할수록 두 분포가 유사한 것을 나타냅니다.

 

통계적 평가: 데이터의 평균, 분산, 왜도, 첨도와 같은 통계량을 계산하여 가정이 맞는지를 확인합니다.

 

확률적 평가: 카이제곱 검정, 안정성 테스트 등을 통해 가정의 타당성을 통계적으로 평가합니다.

예시: 실제 데이터가 정규분포를 따른다고 가정하고, 정규성 검정을 수행하여 p-value를 계산합니다. 만약 p-value가 일정한 유의수준보다 작다면, 가정한 분포와 데이터가 일치하지 않을 수 있습니다.

 

정보 기준: 복잡한 모델과 간단한 모델 중 어떤 모델이 데이터를 더 잘 설명하는지를 평가합니다.

 

데이터 분포 가정과 가정 검토를 통해 선택한 확률 분포 모형이 실제 데이터와 얼마나 일치하는지를 확인하고, 이를 바탕으로 정확한 데이터 분석을 수행할 수 있습니다.