[인공지능 및 기계학습 개론] 3.2 Conditional Independence

이번 포스팅에서는 Conditional Independence에 대해서 알아보도록 하겠습니다.

 

http://www.edwith.org/machinelearning1_17/lecture/10586

[LECTURE] 3.2. Conditional Independence : edwith

 

---

 

지난 포스팅에서 Bayes Classifier에 대해 알아보면서, 다음과 같은 식을 얻었었습니다.: $$ f^{\text{Bayes}}=\argmax_{y=1,\ldots,K} P(X=x|Y=y)P(Y=y) $$ 그래서 class conditional density $P(X=x|Y=y)$와 class prior $P(Y=y)$를 각각 구해서 계산하는 방향으로 생각하기로 했었는데요. 아래의 예를 통해서 상황을 살펴보도록 하겠습니다.

 

 

이 예를 보시면 feature가 총 6개이고 각 feature당 나올 수 있는 선택지가 2개라고 가정하고 있습니다. 이에 따른 EnjoySpt는 Yes/No의 두 가지 선택지를 가지고 있고요. 이랬을 때 $P(X=x|Y=y)$의 경우 나올 수 있는 경우의 수가 feature의 갯수 $d=6$, class의 갯수 $k=2$에 대해 $ (2^d-1)k $개 임을 알 수 있습니다. feature의 수가 많아지면 많아질수록 exponentially 커지기 때문에 감당이 되지 않죠. 그리고 지금은 각 feature당 선택지를 2개로 제한했지만, 실제 예에서는 훨씬 더 많은 선택지를 가질 수 있기에 문제가 더 커집니다. 반면 class prior $P(Y=y)$의 경우에는 $k-1$개의 경우의 수만이 필요하기 때문에 상대적으로 부담이 덜합니다. 결국 class conditional density 파트를 잘 처리해야 하는데, 이 부분을 잘 처리하기 위해 가정을 하는 것이 바로 feature간의 conditional independence가 되겠습니다.

 

---

 

세 random variable $X,Y,Z$에 대하여, $Z$ 하에서 $X$가 $Y$와 conditionally independent하다는 것은, $$ P(X=x|Y=y,Z=z)=P(X=x|Z=z) $$ 를 만족하는 것을 뜻합니다. 즉, 주어진 상황하에서 $Y=y$가 전제된 $X=x$의 확률이나 그렇지 않은 확률이나 같은 상황을 뜻하는 것입니다. 여기서 중요한 점은 $Z=z$의 존재성인데요. 이와 비슷한 것이 바로 marginally independent입니다.  두 random variable $X,Y$가 주어졌을 때, $X$가 $Y$와 marginally independent하다는 것은 $$ P(X=x|Y=y)=P(X=x) $$가 되는 상황을 의미합니다. 

 

---

 

이 둘의 차이가 무엇일까요? 강의에서 소개된 예를 살펴보도록 하겠습니다.

 

 

위 그림과 같이 commander가 officer A, B에게 명령을 하는 상황이라고 생각해보겠습니다. 이 때 commander가 A 모르게 B에게만 Go! 라고 명령을 한 상황이라면, 직접 명령을 받지 않았음에도 불구하고 A는 B가 움직이는 것을 보고 따라서 Go! 할 확률이 약간은 더 있을 수도 있을 것입니다. 즉, 이를 수식으로 표현해보면 $$ P(\text{Officer A = Go | Officer B = Go}) > P(\text{Officer A = Go}) $$로 표현할 수 있겠습니다. 이는 Commander를 생각하지 않고 A와 B의 의사결정만 보았을 때 A의 결정에 B의 행동이 관여가 되는 상황으로 이해할 수 있고, 이런 경우를 marginally dependent한 상황이라고 합니다. marginally라는 단어를 붙이고 있지만, 이것이 사실 우리가 고등학교 때부터 배워온 확률변수간의 독립의 개념입니다. 즉, 확률변수 $X,Y$가 서로 (marginally) independent라는 것은 $$ P(X|Y)=P(X) $$ 인 것을 뜻하고, 이는 bayes formula에 의해 정리해보면 $$ P(X,Y)=P(X)P(Y) $$와 같습니다.

 

한편, commander가 A, B에게 Go! 라고 말한 상황이라고 말한 상황이라 생각해보겠습니다. 그러면 둘 다 상관에게 Go! 라고 직접 명령을 들은 상태이기 때문에, 이 경우엔 눈치보고 가네마네를 결정하진 않을 것입니다. 즉, A의 결정에 있어 B의 결정이 영향을 주지 않고, 그 반대도 마찬가지인 상황이죠. 즉, 이를 수식으로 표현하면 아래와 같습니다.: $$ \begin{aligned} &P(\text{Officer A = Go | Officer B = Go, Commander = Go}) \\ &= P(\text{Officer A = Go | Commander = Go}) \end{aligned} $$ 이러한 상황을 conditionally independent라고 하는 것입니다. 여기서의 condition 역할을 하는 것이 바로 Commander의 명령인 것입니다.

 

---

 

이렇게 conditional independence에 대해서 간단히 알아보았고, 이를 바탕으로 다음 포스팅에서 Naive Bayes Classifier를 다뤄보도록 하겠습니다.