[프로그래머스 스쿨 AI] Weak 3 엔트로피

1. 자기정보 (self- information): i(A) A : 사건 $i(A) = log_b(\frac{1}{P(A)})= -log_b P(A)$ 확률이 높은 사건: 정보가 많지 않음 예) 도둑과 개 개가 안짓을 확률>>>?? 정보가 많이 필요함 정보의 단위 b = 2: bits b = e: nats b = 10: hartleys 그냥 단위 많다 특성 $i(AB) = log_b(\frac{1}{P(A)P(B)}) =log_b(\frac{1}{P(A)}) + log_b(\frac{1}{P(B)})$ = i(A) + i(B) $P(H) = \frac{1}{8} , P(T) = \frac{7}{8}$ $ i (H) = 3 $비트, $i(T) = 0.193$ 비트 왜인지 모르겟다 엔트로피는 자기 정보의 평..