[Stat] p-value

Math

1. p-value(유의확률)

  • 귀무가설이 맞다고 가정했을 떄, 현재의 검정 통계량과 같은 표본 데이터가 발생할 확률
  • 즉, 현재 검정통계량과 같거나, 더 극단적인(extrem), 더 희귀한(are) 값이 나올 확률
    • 유의확률이 매우 작으면, 귀무가설이 맞다는 가정하에서는, 현재 검정 통계량이 발생할 가능성이 매우 낮다는 의미 $\rightarrow$ 귀무가설 기각

2. 회귀계수 가중치의 신뢰구간 or 오차범위

  • 1) 단일계수 t-test(Single Coefficient t-test)

    • 검정 통계량: 정규화된 모수오차$\dfrac{\hat{w}_i - 0}{se_i}$
    • $H_{0} : 회귀계수 w_i = 0$

  • 2) F-검정: 전체 회귀 계수가 모두 의미 있는지 확인

    • $H_0 : w_1, \cdots, w_i = 0$

3. 표준오차

  • 표본평균의 표준편차: 모평균과 표본평균 사이에 얼마나 오차가 발생하는가
  • 모집단에 대한 정보 제공 없음
    • 표본표준편차: $s_x = \dfrac{1}{n-1} \sqrt{\sum_{i=1}^n (x_i - \bar{x})^2}$
    • 표준오차: $s.e(\hat{x}) = \dfrac{s_x}{\sqrt{n}}$

3. p-value: 유의할 점

  • 데이터가 많아지면, 표준오차는 작아짐
  • p-value는 data와 null hypothesis의 거리를 측정하는 것이므로 데이터가 많아지면 p-value는 siginificant로 나옴
    • 예컨대, $\hat{\beta} = 1, SE( \beta ) = 0.2$라면 $\hat{beta}$은 0으로부터 SE단위(0.2) 5만큼 떨어져 있는 것

reference

< !-- add by yurixu 替换Google的jquery并且添加判断逻辑 -->