[프로그래머스 스쿨 AI] Weak 6 확률이론
1. 확률 변수( Random Variable)
대문자 X, Y : 확률 변수
소문자 x, y : 확룰 변수가 가질 수 있는 값
확률 P(확률)는 집합 S의 부분집합을 실수값에 대응시키는 함수
P[X =x] 확률변수 X가 x값을 가질 확률?
P[ X < x] 확률변수 X가 x보다 작을 확률?
X = x, X < x
2. 연속확률 변수
누적분포함수(cumulative distribution function, CDF): $ F(x) = P[X \in ( - \infty , x)] $
누적분포함수 F(x)를 가진 확률변수 X에 대해서 다음을 만족하는 함수 $ f(x) $ 가 존재한다면 X를 연속확률 변수라고 부르고 $ f(x) $ 를 X의 확률밀도함수라고 부른다
$ f(x) = \int ^x _\infty f(t)dt$
확률 변수를 명확히 하기 위해 $ F_X(x), fx(x) $로 쓰기도 한다
혼란이 없을경우 $ f_X(x) $ 대신 $p_X(x), p_x(x), p(x)를 사용하기도 한다.
$ p(x) \geq 0, \int ^\infty _{- \infty} p(x) =1 $
3. 확률변수의 성질
1.덧셈법칙
$p(X) = \sum _Y p(X, Y) $
2. 곱셈법칙
$ p(X, Y) = p(X|Y)p(Y) = p(Y|X)p(X)$
3.베이즈 확률 :
$ P(Y|X) = \frac{p(X|Y)p(Y)}{\sum_Y p(X|Y)p(Y)}$
$ posterior = \frac{likelihood \times prior}{normalization} $
posterior : 사후확률
likelihood : 가능도(우도)
prior : 사전확률
normaliztion : Y와 상관없는 상수. X의 경계확률(margina) p(X)
그림으로 보니깐 편하다
4. 확률변수의 함수
확률변수 $ X $ 의 함수 $ Y = g(X) $ 와 역함수 $w(Y) = X $가 주어졌을 때 다음이 성립한다.
$ p_y(y) = p_x(x)|\frac{dx}{dy}|$
k차원의 확률변수 벡터$ x = (x_1, ... , x_k) $ 가 주어졌을 때 , k개의 x에 관한 함수들 $ y_i = g_i(x) for i = 1, ... , k $ 는 새로운 확률변수벡터 $ y = (y_1 ,...,y_k) $를 정의 한다 간략하게$ y =g(x)$로 나타낼 수 있다.
만약 $ y= g(x) $ 가 일대일 변환인 경우 $ (x = w(y)로 유일한 해를 가질 때), y 의 결합확률밀도함수 는
$ p_y(y_1, ..., y_k) = p_x(x_1, ..., x_k)|J| $
야코비안 $J = \begin{bmatrix}
\frac{dx_1}{dy_1} & \frac{dx_1}{dy_2} & \cdots &\frac{dx_1}{dy_k} \\
\frac{dx_2}{dy_1} & \ddots & & \vdots \\
\vdots & & & \\
\frac{dx_k}{dy_1} & \cdots & & \frac{dx_k}{dy_k}
\end{bmatrix}$
예제
$P_{x_1,x_2}(x_1,x_2) = e^{-(x_1 +x_2)}, x_1 >0, x_2 >0 $ 라고 하자
$ y_1 = x_1, y_2 = x_1 + x_2 $ 에 의해서 정의되는 y의 pdf는?
$ x_1 = y_1 , x_2 = y_2 - y_1 $
J =
$ \begin{bmatrix}
1 & 0\\
-1 & 1
\end{bmatrix}$
간단히
서로 상관이 없으면 0
상관이 있으면 값 구하기
행렬곱을 구하면 대각선 끼리 곱하니깐
1이 된다
$ f_{y_1,y_2} (y_1,y_2) = f_{x_1,x_2}(x_1, x_2) |J| = f_{x_1,x_2}(y_1, y_2 -y_1 ) = e^-{y_1 +(y_2-y_1)} = e^{-y_2} $
그리고
$ y_1 = x_1 $ 인데 $ x_1 > 0 $ 이니깐 $ y_1 = ($어떤값$> 0)$
$ y_2 = x_1 + x_2 $ 인데 $ x_1 = y_1 , x_2 > 0 $ 이니깐 $ y_2 = y_1 + ($어떤값$ >0) $ y_2 > y_1 $
이렇게 된다
그러면
이러한 그림의 영역이되고
이것을 위에 지수로그에 넣으면
$ f_{y_1} (y_1) = \int ^\infty _ {y_1} e^{-y2}dy_2 = e^{- \infty} - (e^{-y_1}) = -e^{-y_1} $
CDF Technique
확률변수 X가 CDF F_X(x)를 가진다고 하자. 연속확률분포함수 U ~ UNIF(0,1) 의 함수 정의되는 다음확률변수 Y를 생각해보자.
$ Y = F^{-1} _X (U) $
확률변수 Y는 확률변수 X와 동일한 분포를 따르게 된다.
$ F_Y(y) = P[Y \leq y] $
$= P[F_X ^{-1} (U) \leq y] $
$= P[U \leq F_X(y)] $
$= F_X(y) $
# smapling random points within a circle with radius r
# inverse transform sampling
# cdf: F(d) = d**2 /. r**2
# inverse cdf : r * (u**0.5)
import turtle
import math
import random
wn = turtle.Screen()
alex = turtle.Turtle()
alex.hideturtle()
r = 200
for i in range(5000):
u = random.random()
d = r * (u**0.5)
theta = random.random()*360
x = d * math.cos(math.radians(theta))
y = d * math.sin(math.radians(theta))
alex.penup()
alex.setposition(x, y)
alex.dot()
turtle.update()
wn.mainloop()여기서 u를 루트를 씨운이유는 1보다 작을때는 루트를 하면 자연수에서 제곱한것과 같게되기때문이다
5. 기댓값 (Exoectations)
기대값 : 확률분포 p(x)하에서 $ f(x) $ 의 평균값
이산확률분포 : $ \mathbb{E} [f] \approx \frac{1}{N} \sum^N_{n=1}f(x_n) $
연속확률분포 : $ \mathbb{E} [f] = \int p(x)f(x)dx $
여러개 변수들의 함수
$ \mathbb{E}_x [f(x,y)] = \sum_{x}f(x,y)p(x) $
y 에 대한 함수임을 상기할것
$ \mathbb{E}_{x,y} [f(x,y)] = \sum_{y}\sum_{x}f(x,y)p(x,y) $
조건부 기댓값
$ \mathbb{E}_{x} [f|y] = \sum_{x}f(x)p(x|y) $
이것에 대하여는
6. 분산(variance), 공분산(covariance)
$ f(x) $. 의 분산(variance): $ f(x) $ 의 값들이 기댓값 $ \mathbb{E} [f] $ 으로부터 흩어져 있는 정도
$ var[f] = \mathbb{E}[(f(x) - \mathbb{E}[f(x)])^2] = \mathbb{E}[f(x)^2] - \mathbb{E}[f(x)]^2 $
$ var[x] = \mathbb{E}[x^2] - \mathbb{E}[x]^2 $
두 개의 확률변수 x,y에 대한 공분산(covariance)
$ cov[x,y] = \mathbb{E}_{x,y}[\{x-E[x]\}\{y - \mathbb{E}[y]\}] $
$ = \mathbb{E}_{x,y}[xy] - \mathbb{E}[x]\mathbb{E}[y]$
$ X,Y $ 가 각각 확률변수의 벡터라고 할 때
$ cov[X,Y] = \mathbb{E}_{X,Y}[\{X-E[X]\}\{Y^T - \mathbb{E}[Y^T]\}] $
$ = \mathbb{E}_{X,Y}[XY^T] - \mathbb{E}[X]\mathbb{E}[Y^T] $
cov[X] =cox[X,X]
7.빈도주의 대 베이지안
확률을 해석하는 두가지 다른 관점 : 빈도주의 (frequentist), 베이지안(Bayesian)
빈도주의 : 반복가능한 사건들의 빈도수에 기반
베이지안: 불확실성을 정량적으로 표현
모델의 파라미터 w(예를 들어 다항식 곡선 근사문제에서의 계수 w)에 대한 우리의 지식을 확률적으로 나타내고 싶다면?
w에 대한 사전지식 $p(2) \Rightarrow $ 사전확률(prior)
새로운 데이터 $D = {t_1 ,... , t_N } $ 를 관찰하고 난뒤의 조선부확률 $ p(D|w) \Rightarrow $ 우도함수(likelihood funtion).특정 w 값에 대해 $D$ 의 관찰값이 얼마나 가능성이 있는지를 나타냄. W에관한함수임을 기억할것
$ p(w|D) = \frac{p(D|w)p(w)}{p(D)} $
p(w|D) 는 D 관찰하고 난 뒤의 w에 대한 불확실성을 표현
사후확룰(posterior) $ \propto $ 우도 (likelihood) $ \times $ 사전확률(prior)
반면, 빈도주의는 w가 고정된파라미터이고 최대우도와 같은 '추정자'를 사용해서 그 값을 구한다. 구해진. 파라미터의 불확실성 부트스트랩 방법을 써서 구할수 있다
베이지안 관정의 장점
사전확률을 모델에 포함시킬 수 있다.
동전을 던져서 세번마다 앞면이 나왔을때
최대우도 : 앞면이 나올확률은 1이됨
베이지안: 극단적인 확률을 피할 수 있음
8. 정규분포 (Gaussian Distribution)
단일변수 x를 위한 가우시안 분포
$ \mathcal{N}(x| \mu , \sigma ^2) = \frac{1}{2\pi \sigma ^{1/2}} exp\{-\frac{1}{2\sigma^2}(x -\mu)^2\} $
가우시안 분포가 정규화됨 (normaliazed)를 보일 것임. 즉,
$ \int ^ {\infty } _{-\infty } \mathcal{N} (x | \mu,\sigma^2)dx =1 $
정규분포 : 정규화(Normaliztion)
$ I = \int ^ {\infty } _{-\infty } exp(-\frac{1}{2 \sigma ^2}x^2) dx $
$ I^2 = \int ^ {\infty } _{-\infty } \int ^ {\infty } _{-\infty } exp(-\frac{1}{2 \sigma ^2}(x^2+ y^2)) dxdy $
$ = \int ^ {2\pi } _{0 } \int ^ {\infty } _{0} exp(-\frac{1}{2 \sigma ^2}(r^2)) rdrd\theta $
$ = \int ^ {2\pi } _{0 } \{-\sigma ^2 exp(-\frac{1}{2 \sigma ^2}r^2) |^{\infty}_{0} \}d\theta $
$ = \int ^{2\pi}_{0} \sigma^2 d\theta $
$ = 2 \pi \sigma^2 $
$ I = \sqrt{2 \pi \sigma^2} $
정규분포 기댓값
$ \mathbb{E} = \int ^ {\infty } _{-\infty } \mathcal{N} (x | \mu,\sigma^2)xdx $
$ \mathbb{E} = \int ^ {\infty } _{-\infty } \frac{1}{\sqrt {2 \pi \sigma^2 }} exp\{ -2 \frac{1}{2\sigma^2} (x- \mu )^2 \} xdx $
$ \mathbb{E} = \int ^ {\infty } _{-\infty } \frac{1}{\sqrt {2 \pi \sigma^2 }} exp\{ -2 \frac{1}{2\sigma^2} y^2\}(y+\mu) dy $
$ \mathbb{E} = \int ^ {\infty } _{-\infty } \frac{1}{\sqrt {2 \pi \sigma^2 }} exp\{ -2 \frac{1}{2\sigma^2} y^2\}ydy + \mu \int ^ {\infty } _{-\infty } \frac{1}{\sqrt {2 \pi \sigma^2 }} exp\{ -2 \frac{1}{2\sigma^2} y^2\}dy$
$ 0 + \mu \cdot 1 $
= $ \mu $
정규분포 분산
$ \frac{d}{dy} \int ^{\infty}_{-\infty} \mathcal{N}(x|\mu, y)dx = 0 $
$ \frac{d}{dy} \int ^{\infty}_{-\infty} \{\frac{1}{\sqrt{2\pi y}} exp\{-\frac{1}{2y}(x - \mu )^2\}dx $
$ = \int ^{\infty}_{-\infty} \{( \frac{d}{dy} \frac{1}{\sqrt{2\pi y}}) exp\{-\frac{1}{2y}(x - \mu )^2\} + \frac{1}{\sqrt{2\pi y}}( \frac{d}{dy}exp\{-\frac{1}{2y}(x-\mu)^2\})\}dx $
$ = -\frac{1}{2}\frac{1}{\sqrt{2\pi}}y^{-3/2} \int ^{\infty}_{-\infty} exp\{-\frac{1}{2y}(x - \mu )^2\}dx + \frac{1}{2y^2}exp\{-\frac{1}{2y}(x - \mu )^2\}dx $
$ = -\frac{1}{2}\frac{1}{\sqrt{2\pi}}y^{-3/2}\sqrt{2 \pi y} + \frac{1}{2y^2}var[x]\ $
$ =-\frac{1}{2y} + \frac{1}{2y^2}var[x] $
$ var[x] = y = \sigma^2 $
위는 공부더해야함 모르겟음
정규분포 최대우도해
$ X = (X_1 ,..., x_N)^T $ 가 도립적으로 같은 가우시안분포로부터 추출된 N개의 샘플들이 라고 할 때,
$ p(X| \mu, \sigma^2 ) = p(x_1, ... , x_N| \mu, \sigma ^2) = \prod^{N} _{n=1} \mathcal{N} (x_n|\mu ,\sigma ^2) $
$ ln p(X|\mu,\sigma ^2) = -\frac{1}{2\sigma^2} \sum^{N}_{n=1} (x_n - \mu)^2 - \frac{N}{2}ln\sigma^2 - \frac{N}{2}ln(2\pi) $
$ \frac {\partial}{\partial\mu}ln p(X|\mu, \sigma^2) $
$ = \frac {\partial}{\partial\mu} \{-\frac{1}{2\sigma^2} \sum ^N _{n=1} (x_n - \mu)^2 - \frac{N}{2}ln \sigma^2 - \frac{N}{2}ln(2\pi) \} $
$ = \frac {\partial}{\partial\mu} \{-\frac{1}{2\sigma^2} \sum ^N _{n=1} (x_n - \mu)^2 - \frac{N}{2}ln \sigma^2 - \frac{N}{2}ln(2\pi) \} $
$ = \frac{1}{\sigma^2}\{(\sum^{N}_{n=1} x_n)-N_{\mu} \} $
$ \mu_{ML} = \frac{1}{N}\sum^{N}_{n=1} x_n $
분산값:??
$ y= \sigma^2 $
$ \frac {\partial}{\partial\mu}ln p(X|\mu, y) $
$ = \frac {\partial}{\partial y} \{-\frac{1}{2}y^{-1} \sum ^N _{n=1} (x_n - \mu_{ML})^2 - \frac{N}{2}ln y - \frac{N}{2}ln(2\pi) \} $
$ = \frac{1}{2}y^{-2} \sum ^{N}_{n=1} (x_n - \mu _{ML})^2 - \frac{N}{2}y^{-1} $
$ y_{ML} = \sigma^2_{ML} = \frac{1}{N} \sum^{N}_{n=1}(x_n - \mu_{ML})^2 $
곡선 근사 (Curve Fitting) : 확률적 관점
학습데이터 : $ X = (x_1, ... , x_N)^T , t = (t_1, ... , t_N)^T $
목표값 t 의 불확실성을 다음과 같이 확률 분포로 나타낸다.
$ p(t|x,w,\beta ) = \mathcal{N} (t|y(x,w),\beta^{-1} $
파라미터 : w, \beta
파라미터들의 최대우도해를 구해보자.
우도함수
$ p(t|X, w,\beta) = \prod ^N _{n=1} \{y(x_n,w) -t_n \} \beta ^{-1} $
로그우도함수
$ln p (t|X,w,\beta ) = - \frac{\beta}{2} \sum ^N _ {n=1} \{ y(x_n,w) -t_m\}^2 - \frac{N}{2}ln\beta - \frac{N}{2} ln(2\pi) $
w에 관해서 우도함수를 최대화 시키는 것은 제곱합 오차함수 를 최소화 시키는 것과 동일
$ \beta $의 최대우도해
$ \frac{1}{\beta_{ML}} = \frac{1}{N} \sum ^{N}_{n=1}\{y(x_n,w_{ML})-t_n\}^2 $
예측분포
$ p (t|x, w_{ML}, \beta_{ML} )= \mathcal(t|y(x,w_{ML}),\beta^{-1}_{ML} $
사전확룰 포함
파라미터 w 의 사전확률을 다음과 같이 가정하자
$ p(w|\alpha ) = \mathcal{N} (w|0, \alpha^{-1}I) = (\frac{\alpha}{2\pi})^{(M+1)/2}exp\{-\frac{\alpha}{2}w^Tw\} $
w의 사후확률은 우도함수와 사전확률의 곱에 비례한다.
$ p(w|X, t, \alpha, \beta ) \propto p(t|X, W,\beta )p(w|\alpha) $
이 사후확률을 최대화시키는 것은 아래 함수를 최소화 시키는 것과 동일하다.
$ \frac{\beta}{2}\sum^N_{n=1} \{ y(x_n,w) - t_n\} ^2 + \frac{\alpha}{2}w^TW $
이것은 규제화된 제곱합 오차 함수를 최소화 시키는 것과 동일하다 ($ \lambda = \alpha | \beta $).
최종단계 : 완전한 베이지안 곡선 근사
이제까지 t의 예측분포를 구하기 위해 여전히 w의 점추정에 의존해왔다, 완전한 베이지안 방법은 w의 분포로 부터 확률의 기본법칙만을 사용해서 t 의 예측분포를 유도한다.
$ p(t|x,X,t) = \int p(t|x,w)p(w|X,t)dw $
이 예측분포도 가우시안 분포라는 사실과 그분포의 평균벡터와 공분산 행렬을 구하는 방법을 다음에 알아볼 것이다.