티스토리

Hokni's EE
검색하기

블로그 홈

Hokni's EE

hokni-ee-95.tistory.com/m

개인 공부장

구독자
0
방명록 방문하기

주요 글 목록

  • Lecture 5 : Logistic Regression & Maximum Likelihood Estimation (3) Overfitting and Underfitting 머신 러닝은 데이터들에 대한 예측 모델을 만들어 주는 것인데, 이때 training에 사용되는 data들 말고도 다른 데이터들 에도 적용될 수 있도록 일반화된 학습 과정을 가져야한다. 너무 training data에만 맞춰서 복잡하고 너무 세세하게 예측 하는 모델을 만들어 낸다면, 오히려 새로운, 기존에 없던 데이터들이 들어왔을 때 오류가 더 커지는 문제가 발생한다. ex) 위와 같은 classifier를 만들었다고 가정해보자. 위에서 주어진 training data들을 활용하여 error 가 0 %인 완벽한 classifier를 만들 경우를 가정한다. 이떄 이렇게 만들어진 모델의 best case는 아래와 같이 test data(training dat.. 공감수 1 댓글수 0 2020. 10. 18.
  • Lecture 5 : Logistic Regression & Maximum Likelihood Estimation (2) Maximum Likelihood Estimation likelihood(가능도)가 뭔지 알기 위해서는 probability(확률)와 likelihood(가능도)의 차이점에 대하여 구분해야한다. probability는 고정된 분포, pdf에서의 면적을 의미한다. 이미 고정된, 구해진 분포에서 특정 데이터 값이 나올 확률, 즉 주어진 pdf의 면적을 의미한다. 하지만, likelihood는 특정 data point가 이 분포로부터 나왔을 가능도를 의미한다. 즉, 특정 data(고정된 값)에서의 추정 pdf의 높이(y값)을 의미한다. L(theta; D) => 특정 data가 변할 수 있는 분포에서 나올 확률 이러한 likelihood를 수치적으로 구하는 방법?? 각 데이터 샘플들에서 후보로 사용되는 분포에.. 공감수 0 댓글수 0 2020. 10. 17.
  • Lecture 5 : Logistic Regression & Maximum Likelihood Estimation (1) CONTENTS Logistic Regression Logistic Regression for Multiple Class problem Maximum Likelihood Estmation(MLE) Nonlinear Logistic Regressoin and Regularization Logistic Regression A machine learning model used for two-class pattern classification 본질적으로 2가지의 클래스를 분류하기위해서 사용되는 머신러닝 모델이며, 기본적으로 supervised Learning이다. 따라서 dataset이 주어질 때, input data X와 label Y가 주어지는데, label Y는 0 또는 1로 두가지만 존재한다. 어떠한 i.. 공감수 0 댓글수 0 2020. 10. 17.
  • Lecture 4 : Bayesian Classifiers (3) Bayes Classifier의 단점(한계점) 베이즈 분류기를 사용할 때에는 주로 Poseterior Probability를 최대화 시켜주는 decision을 내리는데, posterior probability를 직접적으로 구할 수 없기에 Bayes 정리를 이용하여 Likelihood function으로 대신 decision을 내린다. 하지만 크게 두가지 문제가 존재하는데, 첫번째 문제는 Gaussian 분포를 따른다고 가정했던 likelihood들이 사실상 가우시안분포가 아닐 수도 있다는 것이다. multivariate likelihood이지만 가우시안 분포를 따르지 않는 경우에는 거의 실현 불가능하다. 두번재 문제는 high dimension을 갖는 가우시안 분포의 경우 계산이 굉장히 복잡해진다는 것이.. 공감수 0 댓글수 0 2020. 10. 17.
  • Lecture 4 : Bayesian Classifiers (2) Minimum - Error - Rate Classification posterior probability을 최대화 시켜주는 값이 discriminant function을 최대화 시켜주는 값으로 대응시켜준다. posterior probability 또는 bayes formula를 이용하여 likelihood function을 discriminant function으로 정해준다. 계산의 편리성을 위해 likelihood function에 자연로그를 씌워준 값을 discriminant function으로 사용한다. 이때, input vector x가 multivariate gaussian distribution을 갖는다고 가정하자. 위의 pdf, 즉 likelihood function을 이용하여, discr.. 공감수 0 댓글수 0 2020. 10. 16.
  • Lecture 4 : Bayesian Classifiers (1) CONTENTS Bayes Discriminant Function Linear Discrimiant Analysis (LDA) Quadratic Discriminant Analysis (QDA) Naive Bayes Classifier Review d-dimensional random vector는 d개의 랜덤변수로 이루어진 vector를 의미한다. 즉, X = [X1, X2, ... , Xd] 총 d개의 랜덤변수 Xi가 vector X의 성분을 이룬다. 랜덤변수들은 그 평균과 variance로 표현이 가능하다. Vector Mean : ex) X = [length heigh weight] ^T 이면 u1은 length의 평균, u2는 height의 평균, u3는 weight의 평균 Covariance .. 공감수 1 댓글수 0 2020. 10. 16.
  • Lecture 3 : Bayesian Decision Theory (2) CONTENTS Bayesian Decision Theory Generalized Bayesian Decision Theory Generalized Bayesian Decision Rule 일반화된 베이즈 선택에 사용되는 용어들은 다음과 같다. 오메가 = 클래스들로 이루어진 set이다. A는 decision의 결과로, 취할 행동을 의미한다. (ex. 이 과일은 바나나다! or 이 생선은 연어이다!) Decision을 내리는 행위 람다는 잘못된 decision을 내렸을 때의 loss를 의미하며, 실제 class가 w(j)일 때, a라는 action의 loss를 의미한다. Generalized Bayesian Decision Rule => minimize the expected loss (=Risk) in .. 공감수 0 댓글수 0 2020. 10. 16.
  • Lecture 3 : Bayesian Decision Theory (1) CONTENTS Bayesian Decision Theory Generalized Bayesian Decision Theory Classification Unknown Input(X)가 주어졌을 때, 예측 모델(classifier)를 사용하여 Y를 예측해내는데, 이 때의 Y는 label로 discrete value이다. output이 continuous하던 linear regression과는 달리 output이 discrete하다. Probabaility Review Conditional Probability x2라고 가정하였을 때, x1이 나올 확률 ex) P(banana | Yellow) => 해당 과일의 색이 Yellow일 때 그 과일이 banana일 확률. 보통 P(label | input) 으로.. 공감수 0 댓글수 0 2020. 10. 16.
  • Lecture 2 : Linear Regression and Gradient Descent (3) CONTENTS Linear Regression with Mean Square Error (MSE) Gradient Descent Algorithms ( Batch Gradient Descent / Stochastic Gradient Descent / Mini-batch Gradient Descent) Data Preprocessing for Gradient Descent in practice 1. feature scaling : 서로 다른 feature 값들이 값은 범위의 값들을 갖도록 만들어줌으로써, 만들어준 모델이 더 빠르게 train되고, 더 쉽게(convergent) train되도록 만들어준다. Max-min normalization의 경우 feature 값들을 (해당 value - min) /.. 공감수 0 댓글수 0 2020. 10. 16.
  • Lecture 2 : Linear Regression and Gradient Descent (2) CONTENTS Linear Regression with Mean Square Error (MSE) Gradient Descent Algorithms ( Batch Gradient Descent / Stochastic Gradient Descent / Mini-batch Gradient Descent) Batch Gradient Descent (BGD) 주어진 Training data에 Q개의 instance가 존재한다고 가정하자. 이때의 MSE(Mean square Error)를 구하면 다음과 같다. P = E[d*X] : cross correlation vector R = E[X*X] : input correlation matrix 위의 MSE를 가지고 Gradient Descent 방식을 사용하여 .. 공감수 0 댓글수 0 2020. 10. 16.
  • Lecture 2 : Linear Regression and Gradient Descent (1) CONTENTS Linear Regression with Mean Square Error (MSE) Gradient Descent Algorithms ( Batch Gradient Descent / Stochastic Gradient Descent / Mini-batch Gradient Descent) Least Square Estimation을 사용하여 구한 최적의 w 벡터 값, 즉 솔루션을 Pseudo Inverse Solution이라고 한다. 이는 Fast, analytic 한, 즉 closed form의 solution이다. 하지만 multicollinearity issue가 존재한다면 closed 형태의 솔루션을 구할 수 없다는 문제와, k 또는 n이 매우 커지게 되면 computational .. 공감수 0 댓글수 0 2020. 10. 16.
  • Lecture 1 : Regression & LSE (3) CONTENTS Important Terms in Regression Problem Regression Model( Univariate /Multivariate /General Linear Regression) Least Square Estimation General Linear Regression Univariate/ multivariate linear regression 모델같은 경우는 line 또는 hyperplane으로 근사화를 해준다. 하지만 곡선이라던가 linear하지 않은 데이터셋같은 경우에는 모델링이 불가능하다. 따라서, 조금더 복잡한 경우의 regression모델을 만들어주기 위해서 단순 1차항들의 선형결합(linear combination)이 아 닌, Polynomial이나 다른 ter.. 공감수 0 댓글수 0 2020. 10. 16.
  • Lecture 1 : Regression & LSE (2) CONTENTS Important Terms in Regression Problem Regression Model( Univariate /Multivariate /General Linear Regression) Least Square Estimation Multivariate Linear Regression Input이 1개이던 univariate linear regression과는 달리, Input의 변수가 여러개인 경우의 모델을 multivariate linear regression이라고 한다. (input vector's dimension is more than 1) x = [x1, x2, ..., xd] : d-dimension feature vector Univariate linear regre.. 공감수 0 댓글수 0 2020. 10. 16.
  • Lecture 1 : Regression & LSE (1) CONTENTS Important Terms in Regression Problem Regression Model( Univariate /Multivariate /General Linear Regression) Least Square Estimation Regression - Given X, predict Y based on f() where predicted output Y is continous real-value. Regression은 supervised Learning 의 일종이다. 입력값 X와 그 입력에 대응되는 Y가 포함되는 training set을 주고 variable들 간의 관계를 파악하는 것, 즉 Y = f(X)에서 f( )를 찾아내는 것이 목표이다. f( )는 linear/ non-li.. 공감수 0 댓글수 1 2020. 10. 15.
    문의안내
    • 티스토리
    • 로그인
    • 고객센터

    티스토리는 카카오에서 사랑을 담아 만듭니다.

    © Kakao Corp.