[Stat] 결정계수(Coefficient of Determination, r squared)

결정계수($R^2$, Coefficient of Determination)

$$R^2 = 1 - \dfrac{RSS}{TSS}=\dfrac{ESS}{TSS} \\ TSS = RSS + ESS\\ RSS = \sum_{i=1}^{N} (y_i - \hat{y}_i)^2 \\ TSS = \sum_{i=1}^N (y_i - \bar{y})^2$$

• y값이 퍼진 정도보다, $\hat{y}$가 퍼진 정도가 클 수는 없음
  • 직관적으로 생각해보면, $\hat{y}$이 산점한 y의 중앙을 뚫고 지나가기 때문에 이해가능
• 기하학적으로 보면, $\hat{y}$는 잔차$e$를 최소화하는 값을 찾았기 때문에(OLS) 아래와 같이 설명 가능

$$||y||^2 = ||\hat{y}||^2 + ||e||^2$$

• 아래 그림에서는:
  • $||y||^2 = ||b||^2$
  • $||\hat{y}||^2 = ||A\hat{x}||$
  • $||e||^2 = ||b-A \hat{x}||^2$

(https://slideplayer.com/slide/2342847/)

조정결정계수 (adjusted $R^2$)

• 독립변수 갯수에 따라 결정 계수의 값을 조정

질문

• 상수항 없을 때 결정계수값이 높은 이유?
  • 계산시 TSS가 커짐 -> $R^2$가 커짐
• with intercept $$R^2 = 1 - \frac{\sum_i (y_i - \hat y_i)^2}{\sum_i (y_i - \bar y)^2}$$
• without intercept $$R_0^2 = 1 - \frac{\sum_i (y_i - \hat y_i)^2}{\sum_i y_i^2}$$
• reference:
  https://stats.stackexchange.com/questions/26176/removal-of-statistically-significant-intercept-term-increases-r2-in-linear-mo