Probability Notation

Math

Basic Notation

대문자X는 확률변수random variable. 소문자x는 density fucntion의 인자argument.
$f(x;\theta)$: random variable X의 pdf로서, parameter가 $\theta$일 때 실수값 x의 상대적 값 출력
$f(x, \theta)$: joint density로서, 확률변수 X와 확률변수 $\Theta$ 가 각각 $(x, \theta)$일 때 상대적 값 출력
$f(x|\theta)$: conditional dist로서 확률변수 $\Theta$가 주어졌을 때 확률변수 X의 분포
$f_X(x)$ 는 확률변수 X의 밀도함수
- eg. $Pr(X \ge x) = F(x)$
- X가 확률변수이고 x는 어떤 실수값이라면, $Pr(2 \le x \le 5) = \int_2^5 f_{X}(x) \,dx$ 라고 적을 수 있음
실수값(constant로 주어진)과 random variable을 구분할 필요가 있음
- f(X|Y): conditional on some random event occurring
- $f(x; \mu, \sigma)$: f(x) given $\mu$ and $\sigma$
$f_X(x|X, \mu, \sigma)$: X density function에 argment로 $X, \mu, \sigma$를 받음

$f_X(x;\theta) \text{where } \theta=(\mu, \sigma^2)$
- x: random variable X가 가질 수 있는 실수값
- $\theta$는 확률모형의 모수(parameter) 집합을 대표하는 기호
Gaussian Random Variable의 pdf는:
- eg. $f_X(x;\theta) = f_X(x; \mu, \sigma^2) = \dfrac{1}{\sqrt{2 \pi \sigma^2}} \exp \left( {-\frac{ (x-\mu)^2 }{ 2 \sigma^2} } \right )$
  - 일반적인 확률변수 모형에서는 $\theta$ 고정, x는 변수
  - 즉, 모형$f_X$은 정해져있고, 실수값x가 발생할 상대적 값을 출력
반대로 우도 추정문제에서는, x는 실현되었고(알고 있는 값), $\theta$를 모르기 때문에, $\theta$에 대한 함수임을 notation에 반영
- $\mathcal{L}(\theta;x) = f_X(x|\theta)$