Quantile Loss

• 아래 quantile loss를 최소화하면 분위회귀선을 찾을 수 있음 $$L(\xi_i|\tau) = \tau \cdot \xi_i \text{ if } \xi_i \ge 0 \\ \text{ else } (\tau-1) \cdot \xi \\ \text{where } \tau = quantile, \xi_i = y_i - \hat{y_i}$$
• quantile loss는 MAE의 연장 또는 weighted MAE로 볼 수 있음
  • Mean Absolute Error(MAE)를 최소화하는 문제를 풀면 median regression 구함(중앙값 회귀선)
• quantile loss는 0.5 quantile 이하에 대해서는 중앙값 회귀선을 아래로 끌어내리고, 0.5 quantile 이상에 대해서는 중앙값 회귀선을 위로 끌어올리게 됨
  • q=0.5 보다 작을 때는, y_pred > y_observed에 대해 loss 페널티를 크게 줌((1-q) * |error|) eg. q=0.3 -> |loss|*0.7
    • 따라서 더 아래에 있는 데이터를 맞추려고 함.
  • q=0.5 보다 클 때는, y_pred < y_observed에 대해 loss 페널티를 크게 줌(q * |error|). eq. q=0.9 -> |loss|*0.9
    • 따라서 더 위에 있는 데이터를 맞추려고 함.
• eg. q=0.3
  • y_pred 아래의 y_observed에 대한 loss 계산(y_pred > y_observed): loss * (1 - 0.3) <- loss 패널티가 상대적으로 큼. 때문에 중앙값 회귀선을 아래로 당기게 됨.
  • y_pred 위의 y_observed에 대한 loss 계산(y_pred < y_observed): loss * (0.3)

---

• figure 1.는 figure 2. 맨 왼쪽(x=0)에 대해 loss를 계산한 과정.
• 이를 통해 x=0일 때 q=0.3의 y_pred=3을 확일할 수 있음.
  • red cell이 y_pred. 좌에서 우로 가면서 y_pred를 변경하면서 loss값을 계산.

• figure 1.
  

• figure 2.