Parametric Density Estimation: Binary variable distribution

Overview

N개의 측정이 주어졌을 때, 확률밀도함수를 찾는 것이 density estimation이다.

 

Parametric distribution을 나타내는 방법은 변수에 따라 달라진다.

이산확률변수이면  binomial, multinomial로 나타낸다.

연속확률변수는 Gaussian, Dirichlet(베이즈 통계학)으로 나타낸다.

 

 Binary Variable Distribution

이산확률변수 중 베르누이 분포는 다음과 같이 나타낼 수 있다.

베르누이 분포 정의

 

데이터를 베르누이 분포에 맞추기 위해서는 MLE(Maximum likelihood estimation)을 이용해서 다음과 같이 표현 가능하다.

 

 

 

mAP(mean Average Precision)를 사용하려면 prior 분포를 알아야 한다.

 

prior를 알기 위해서 우리는 베이즈 법칙을 이용할 수 있다.

베이즈 법칙은 사전 확률(prior)을 새로운 관측값을 이용해 갱신함으로써 사후 확률(posterior)을 업데이트하는 방식이다.

conjugacy에 의해 prior는 likelihood와 같은 형태를 취해야한다.

Beta distribution이 베르누이 분포와 유사한 형태를 가지므로 사용 가능하다.

베타 분포는 베이지안 추론에서 자주 등장하는 분포이다.

베이지안 추론은 다른 확률 분포의 parameter를 추정할 때 보통 사용하는데, 해당 분포의 모수가 가질 수 있는 모든 경우의 수를 확률 분포로 나타낸다.

 

 

 

Multimodal variables에 대한 분포를 나타낼 때는 다음과 같은 규칙을 따른다.

State는 오직 하나의 값이 1인 K 차원의 벡터일 때, 확률 분포는 다음과 같이 나타낼 수 있다.

μ에 대한 prior는 conjugate prior로 나타내는데, 다음과 같이 나타난다.

추가적으로 모든 μ 를 더했을 때 1이 되어야하므로, normalize가 필요하다.

이 때 normalized Dirichlet distribution을 사용한다.