이번 포스팅에서는 Entropy와 Information Gain에 대해서 알아보도록 하겠습니다. http://www.edwith.org/machinelearning1_17/lecture/10582 [LECTURE] 2.4. Entropy and Information Gain : edwith - 신승재 www.edwith.org Entropy는 Uncertainty를 계량화한 것이라 보시면 됩니다. 그래서 entropy가 클수록 더 큰 uncertainty를 갖는 것이라 해석을 할 수 있습니다. 불확실성에 대한 얘기를 하는 것이기 때문에 feature들이 deterministic한 대상이 아닌 random variable로서 간주됩니다. 이를 formulate하면 아래와 같습니다.: $$ H(X)\colo..
