샘플 수 산출의 목적
통계적 가설을 검증하기 위해 실험을 하게 되면 반드시 필요한 것이 샘플이다. 샘플은 기본적으로 많을 수록 두 집단간의 유의성을 증명하기에 좋으며 샘플 수가 적으면 통계적 결과에 대한 신뢰도가 떨어지게 된다. 하지만 샘플 수가 너무 많으면 현실적으로 샘플을 구하기 어려울 뿐 만 아니라 높은 비용, 시간 투자 등의 면에서 실험의 효율성이 떨어지게 된다. 따라서 두 집단간의 유의성이 있다면 그것을 증명할 만큼의 최소한의 샘플이 몇개인지를 구하는 것이 중요하다.
샘플 수 산출을 위해 알아야 할 기초 개념
- 가설 검증
가설에는 크게 귀무가설, 대립가설이 있다. 귀무 가설은 두 집단 (예를 들어 대조군과 신약 후보물질)간의 효과성에 차이가 없다는 가설이고, 대립가설은 귀무가설을 기각할 정도로 두 집단간의 유의한 차이가 있다는 가설이다. 가설의 맞고 틀림을 검증하는데 쓰이는 것이 통계적 분석인데, 이것이 "가설", 즉 반드시 사실과 일치하리라는 보장이 없다는 데에서 오류가 발생할 가능성이 있다. 오류에는 Type 1 Error, Type 2 Error 가 있는데, Type 1 Error (alpha) 는 만약 어떤 연구자가 통계 분석 후, 두 집단간의 유의한 차이가 있다는 결론을 내렸지만 실상은 그렇지 않을 때 발생하는 오류이며 Type 2 Error (beta)는 이와는 반대로 결론은 두 집단간의 유의한 차이가 없다는 결론을 내렸지만 사실은 유의한 차이가 있었을 때 발생하는 오류이다. 통상적으로 Type 1 Error 가 발생할 확률을 significance level (유의 수준, alpha) 이라고 하며, 통상적으로 0.05의 값을 사용한다. 반대로, 오류를 범하지 않고 두 집단간의 유의한 차이가 있을 때 실제로 맞게 그렇다고 결론을 내릴 수 있는 정도를 Statistical Power (검정력) 이라고 하며 1-beta로 나타낼 수 있다. 통상적으로 실험에 필요한 샘플 수를 구할 때 Statistical power가 0.8이 되도록 설정한다.
- Effect size (효과 크기)
Effect size란 두 집단간의 차이가 얼마나 큰지를 나타내는 지표로, 통계 분석 기법 마다 다르게 표현된다. 앞서 설명한 바로는 두 집단의 평균의 차이에만 초점을 맞추어 설명했지만 통계 분석 기법은 그게 다가 아니다. 두 집단간의 상관관계도 검증할 수 있다. 우선, t-test 같은 경우는 두 집단의 평균이 유의하게 다른지를 검증하는 통계 방법으로, 여기서 사용되는 effect size 지표는 'd' 로 나타내며 이것은 두 집단의 평균의 차이를 표준편차로 나눈 것이다. 즉 표준 편차에 비해 두 집단의 평균이 얼마나 큰지를 나타내는 것이다. Pearson's correlation test 와 같이 두 집단간의 상관관계를 분석하는 경우에는 'r' 이 effect size이며 흔히 우리가 알고 있듯, -1 에서 1까지의 범위를 갖는다. r=0 이면 두 집단의 상관관계가 완전히 없는 것, r=1 이면 두 집단간 완벽하게 정비례 하는 선형 상관관계가 있는 것, r= -1이면 두 집단간 완전히 반비례 하는 선형 상관관계가 있는 것을 의미한다.
샘플 수 산출 하는 기본 방법
통계 기법마다 실험에 필요한 샘플 수를 산출하는 공식은 조금씩 다르지만, 공통적인 부분을 가장 단순하게 표현한다면, 대조군과 실험군간의 차이에 비해 두 집단 공통의 분산을 확인 하는 공식이라는 점이다. 실험에 필요한 샘플 수는 significance level (alpha)은 낮고 statistical power (1-beta)는 크고 표준편차가 크고 effect size가 작을 수록 커진다. 즉, 앞서 말한 조건을 충족할 수록 두 집단의 유의성을 적은 샘플로는 증명하기 어렵다는 뜻이다.
'데이터 사이언스' 카테고리의 다른 글
순수학문 전공자가 데이터 사이언티스트로 전향 하는 이유 (0) | 2023.09.17 |
---|---|
SK 디스커버리 데이터사이언티스트 포지션 면접 후기 (0) | 2023.07.11 |
PowerBI 에서 한국지도명 인식이 잘 되지 않을 때 해결 방법 (0) | 2022.09.16 |
for loop과 fig, ax 사용하여 그림 그리기 (0) | 2022.07.23 |
머신러닝 Feature engineering 이 중요한 이유 (0) | 2022.05.20 |