P-value란 무엇이며 Bayesian 통계와는 어떠한 차이가 있는가

P-value의 정의

- P-value의 맨 앞글자인 ‘p’는 probability, 즉 확률을 의미한다. 구체적으로는, 귀무가설이 맞는데도 마치 귀무가설을 기각하는 것 같이 극단적인 결과가 나올 확률이다. 이걸 좀 더 수학적으로 풀어서 설명하자면 랜덤으로 select 한 sample에서 계산된 test statistic이 귀무가설이 맞다는 가정하에서 관측된 값 (critical value 안에 있는 값들) 보다 극단적인 값이 나올 확률이다.

 

- 모집단이 정규분포를 따르고 평균과 표준편차를 안다는 가정 하에서는 쉽게 Z statistic을 계산하고 이에 따라 P-value를 계산할 수 있다, 예를 들어 어떤 장비에 사용되는 특정 부품의 길이가 평균 1.5cm 여야 하는 제품이 있는데 만약 그 길이가 1.5보다 크거나 작으면 고장의 원인이 된다고 한다. 직원이 400개의 부품을 랜덤 하게 가져와서 직접 길이를 재어보니, 평균적으로 1.504 cm 였다. 모집단의 표준편차가 0.075라고 가정하면 모집단의 볼트 길이에 이상이 있을지에 대한 답을 할 수 있도록 도와주는 지표가 바로 P-value이다.

 

- 이것을 3단계로 나누어 P-value를 계산해 볼 수 있다.

1. 제일 먼저, 가설을 수립한다. 귀무가설은 모평균이 1.5와 같다는 것, 대립가설은 1.5와 다르다는 것.

2. 그 다음에는 표본 평균에서 모평균을 뺀 값을 표준오차로 나눠준 값인 Z-statistic을 계산하며 이때 1.07이라는 값이 나온다.

3. 이를 기존에 통계학자들이 작성해 놓은 표를 통해 Z-statistic이 1.07보다 클 확률에 2를 곱해준 0.2486이라는 값이 P-value가 되며 이는 0.05보다 크므로 귀무가설을 기각할 수 없게 된다.

즉, 모평균과 표본평균에 차이가 있음을 증명하지 못하는 것이다. 이런 식으로 p-value는 연구자들이 세운 가설이 맞는지에 대한 결론을 내릴 수 있는 유용한 도구의 역할을 한다.

 

- 하지만 이에도 한계가 있다. 사람들이 암묵적으로 정해놓은 0.05라는 기준이 너무 주관적이기 때문에 P-value가 0.05보다 낮다고 반드시 귀무가설을 기각하기에는 이를 뒷받침할 근거가 빈약하다. 그리고 결정적으로, 표본의 크기가 증가할수록 P-value는 낮아지게 되어 있다. 아무리 두 집단 간의 차이가 거의 없어도 두 집단의 표본의 크기가 극단적으로 큰 경우, p-value는 0.05보다 작아져 두 집단 간에 유의한 차이가 있는 것처럼 보일 수도 있다.

Bayesean 통계

- Bayesian 통계 에서는 p-value를 사용하지 않으며 parameter (예를 들어 모집단의 평균)가 상수로서 존재하는 것이 아니라 이것도 분포를 갖는 변수인 것으로 간주한다. Bayesian 통계의 접근 방법은 일단 Prior probability, 기존에 이미 흔하게 알려진 어떤 사건의 발생 확률을 알아내고, 실험이나 관측을 통해 새로운 증거를 획득한 다음 이 공식을 활용해서 posterior probability를 구하는 것이다.

 

- Posterior는 어떤 사건이 발생하면, 그것을 증거로 하여 가설이 참일 확률을 나타낸다. 예를 들어, 콧물이 나는 증상이 발생하면 그것을 증거로 해서 감기 바이러스 양성이라는 가설이 참일 확률이다. 이건 Likelihood를 prior에 곱한 값을 Marginal로 나눈 값이다. Likelihood는 가설이 참일 때, 증거에 해당하는 어떤 사건이 발생하는 확률이다. 예를 들어, 감기바이러스 양성일 때 콧물이 날 확률이다. Prior는 흔히 알려진 감기 바이러스의 양성률이다. Marginal은 모든 가능한 가설을 전부 각각 고려했을 때 증거에 해당하는 사건이 발생하는 확률이다.예를 들어서, 콧물이 난다는 증상이 발생한다고 해도 꼭 감기에 걸렸기 때문이라는 보장은 없다. 매운 음식을 먹었을 때 콧물이 날 수도 있다. 이때, 매운 음식을 먹은 사건이 발생했을 때 콧물이 일어날 확률에 매운 음식을 먹었을 확률을 곱한 값, 감기에 걸린 사건이 발생했을 때 콧물이 일어날 확률에 감기에 걸린 사건이 참인 확률을 곱한 값을 다 더해주면 이게 Marginal이 된다.

 

결국 Bayesean theorem 공식이 의미하는 바는, 모든 여러가지 가설이 일어날 경우들을 다 고려했을 경우에 비해서 특출 나게 내가 관심이 있는 특정한 한 가지 가설이 참일 때 증거에 해당하는 현상이 관찰될 확률의 비율을 구하는 것이다.