수학 기록지

이번 포스팅에서는 Logistic regression paramter에 대해서 알아보는 시간을 갖도록 하겠습니다. http://www.edwith.org/machinelearning1_17/lecture/10592 [LECTURE] 4.3. Logistic Regression Parameter Approximation 1 : edwith - 신승재 www.edwith.org 지난 포스팅([인공지능 및 기계학습 개론] 4.2 Introduction to Logistic Regression)에서 logistic regression에 대한 식을 다음과 같이 구했었습니다.: $$ P(Y|X)=\frac{e^{X\theta}}{1+e^{X\theta}} $$ 이 때의 $\theta$를 구하기 위해 MLE를 복기해..

이번 포스팅에서는 Logistic Regression에 대해서 소개해보도록 하겠습니다. http://www.edwith.org/machinelearning1_17/lecture/10591 [LECTURE] 4.2. Introduction to Logistic Regression : edwith - 신승재 www.edwith.org 강의에서는 logistic function과 sigmoid function이 약간 잘못 설명이 되어있는 듯 하여 정정하고자 합니다. 사실 치명적인 오류라기보다는 때에 따라 이렇게 불렀다 저렇게 불렀다 하는 감이 없지않아 있는데, 그래도 처음 정의할 때만큼은 제대로 해야 헷갈리지 않으므로 여기서 확실히 정의하고 가고자 합니다. 우선 Logistic function이란 다음의 꼴을..

이번 시간에는 Decision Boundary에 대해서 알아보도록 하겠습니다. http://www.edwith.org/machinelearning1_17/lecture/10590 [LECTURE] 4.1. Decision Boundary : edwith - 신승재 www.edwith.org 아래의 그림을 같이 보도록 하겠습니다. 이 그림은 점선이 한 세트이고, 실선이 한 세트입니다. 점선의 경우를 살펴보면, 아래 그림처럼 색칠한 부분을 택했을 때, 택하지 않은 부분만큼은 risk로써 작용할 것입니다. 마치 주사위를 한 번 던져서 1의 눈이 나오는 확률을 구하고 싶다면, 그렇지 않은 경우가 리스크로 작용하는 것처럼 말이죠. 여기서 decision boundary에 해당하는 가운데 만나는 부분을 보면, 당연..

이번 포스팅에서는 Naive Bayes Classifier에 대해서 알아보도록 하겠습니다. http://www.edwith.org/machinelearning1_17/lecture/10587 [LECTURE] 3.3. Naive Bayes Classifier : edwith - 신승재 www.edwith.org 앞의 포스팅들에서 이미 다 준비를 해놨기 때문에 간단하게 정리할 수 있을 것 같습니다. 2022.08.20 - [AI/인공지능 및 기계학습 개론] - [인공지능 및 기계학습 개론] 3.1 Optimal Classification [인공지능 및 기계학습 개론] 3.1 Optimal Classification 이번 포스팅에서는 Optimal Classification에 대해서 알아보도록 하겠습니다. ..

이번 포스팅에서는 Conditional Independence에 대해서 알아보도록 하겠습니다. http://www.edwith.org/machinelearning1_17/lecture/10586 [LECTURE] 3.2. Conditional Independence : edwith - 신승재 www.edwith.org 지난 포스팅에서 Bayes Classifier에 대해 알아보면서, 다음과 같은 식을 얻었었습니다.: $$ f^{\text{Bayes}}=\argmax_{y=1,\ldots,K} P(X=x|Y=y)P(Y=y) $$ 그래서 class conditional density $P(X=x|Y=y)$와 class prior $P(Y=y)$를 각각 구해서 계산하는 방향으로 생각하기로 했었는데요. 아래의 ..

이번 포스팅에서는 Optimal Classification에 대해서 알아보도록 하겠습니다. http://www.edwith.org/machinelearning1_17/lecture/10585 [LECTURE] 3.1. Optimal Classification : edwith - 신승재 www.edwith.org 기본적으로 Classifier는 측정값과 실제값의 차이를 최소화하여 misclassification 확률을 최소화 하려고 하죠. 즉, 아래의 식을 만족하는 $f^*$를 optimal classifier라고 합니다. $$ f^*\coloneqq\argmin_f P(f(X)\neq Y) $$ 이렇게 하게끔 하는 classifier는 여러 종류가 있을텐데, 그 중에서 Bayes Classifier란 i..

이번 포스팅에서는 Linear regression에 대해 알아보도록 하겠습니다. 강의 목록에는 다르게 적혀있는데 아무래도 중간에 바뀌고 수정이 되지 않은 것 같습니다. http://www.edwith.org/machinelearning1_17/lecture/10583 [LECTURE] 2.5. How to create a decision tree given a training dataset : edwith - 신승재 www.edwith.org Machine learning은 결국 주어진 input과 output을 바탕으로 둘 사이의 관계를 나타내주는 함수를 찾는 것이 목적이죠. 이 함수의 modeling으로써 대표적인 예가 바로 linear regression입니다. 말 그대로 linear한 관계로 mo..

이번 포스팅에서는 Entropy와 Information Gain에 대해서 알아보도록 하겠습니다. http://www.edwith.org/machinelearning1_17/lecture/10582 [LECTURE] 2.4. Entropy and Information Gain : edwith - 신승재 www.edwith.org Entropy는 Uncertainty를 계량화한 것이라 보시면 됩니다. 그래서 entropy가 클수록 더 큰 uncertainty를 갖는 것이라 해석을 할 수 있습니다. 불확실성에 대한 얘기를 하는 것이기 때문에 feature들이 deterministic한 대상이 아닌 random variable로서 간주됩니다. 이를 formulate하면 아래와 같습니다.: $$ H(X)\colo..

이번 포스팅에서는 결정나무(Decision Tree)에 대해서 간략히 알아보도록 하겠습니다. http://www.edwith.org/machinelearning1_17/lecture/10581 [LECTURE] 2.3. Introduction to Decision Tree : edwith - 신승재 www.edwith.org 지난 포스팅까지는 Rule based 형태로 접근해보았는데, general case와 specific case를 두었음에도 그 range내에 들어가지 못하는 case가 더러 발생하거나, 하나의 hypothesis로 특정이 되지 않아서 결정에 혼선이 생기는 경우까지 있었습니다. 이번에는 decision tree가 어떻게 작동하는 것인지 간략히 알아보고자 합니다. Decision tre..

이번 포스팅에서는 지난 포스팅에서 다룬 예를 몇몇 algorithm을 토대로 살펴보도록 하겠습니다. http://www.edwith.org/machinelearning1_17/lecture/10580 [LECTURE] 2.2. Introduction to Rule Based Algorithm : edwith - 신승재 www.edwith.org [인공지능 및 기계학습 개론] 2.1 Rule Based Machine Learning Overview에서 다뤘던 예를 이어서 보겠습니다. 분류모형을 만들고자 하는데, 그 중 첫번째 알고리즘으로 Find-S Algorithm이라는 것이 있습니다. 이 알고리즘은 Null hypothesis $\mathbf{h}_0=$를 시작으로 instance를 하나씩 받으면서 l..