전체 글19 Chapter 10. Unsupervised Learning Textbook : An Introduction to Statistical Learning 표, 그래프는 위 textbook 참조 Unsupervised Learning(비지도학습) features $X_1, X_2, ..., X_p$에 대한 설명변수 $Y$가 없음 → supervised learning에 비해 주관적이다. 장점 : data를 얻기가 쉽다 → unlabled data가 labeled data에 비해 얻기 쉬움 Principal Components Analysis(PCA, 주성분분석) first principal components(첫 번째 주성분) : $X_1, X_2, ..., X_p$에서 가장 큰 분산을 가지게 되는 이 변수들의 normalized linear combination $.. 2023. 8. 31. Chapter 9. Support Vector Machine Textbook : An Introduction to Statistical Learning 표, 그래프는 위 textbook 참조 Maximal Margin Classifier Hyperplane p차원 hyperplane : p차원 공간을 2개로 이등분 $$\beta_0+\beta_1X_1+\beta_2X_2+...+\beta_pX_p=0$$ Separating Hyperplane 파란색 class의 관측치에 $y_i=1$, 보라색 class 관측치에 $y_i=-1$를 label 할수 있음 $$Y_i=1 \rightarrow \beta_0+\beta_1X_1+\beta_2X_2+...+\beta_pX_p>0$$ $$Y_i=-1 \rightarrow \beta_0+\beta_1X_1+\beta_2X_2+.. 2023. 8. 31. Chapter 7. Moving Beyond Linearity Textbook : An Introduction to Statistical Learning 표, 그래프는 위 textbook 참조 Polynomial Regression(다항식 회귀) 비선형적 설정 : 선형회귀를 확장하여 다항식 함수로 대체 $$y_i=\beta_0+\beta_1x_i+\beta_2x_i^2+\beta_3x_i^3+...+\beta_dx_i^d+\epsilon_i$$ Logistic regression에 사용 $$Pr(y_i>250|x_i)=\frac{exp(\beta_0+\beta_1x_i+\beta_2x_i^2+\beta_3x_i^3+...+\beta_dx_i^d+\epsilon_i)}{1+exp(\beta_0+\beta_1x_i+\beta_2x_i^2+\beta_3x_i^3+...+.. 2023. 8. 29. Chapter 6. Linear Model Selection and Regularization Textbook : An Introduction to Statistical Learning Subset Selection Best Subset Selection p개 설명변수의 모든 가능한 조합 각각에 대해 \(2^p\)개의 모든 모델을 적합하여 최고의 모델을 찾는다. Forward stepwise selection 설명변수가 0개인 모델에서 시작해 모든 설명변수가 모델에 포함될 때까지 한번에 하나씩 설명변수를 추가한다. 1개의 0모델과 k번의 iteration에서 p-k개의 모델을 적합한다. 적합 모델 수는 \(1+p(p+1)/2\)개이다. best selection model에 비해 계산적 장점이 있지만 모든 \(2^p\)개 모델 중 가능한 최고의 모델을 찾는다는 보장은 없다. Backward ste.. 2023. 8. 29. Chapter 5. Resampling Methods(재표본추출 방법) Textbook : An Introduction to Statistical Learning Cross-Validation(교차검증) Validation Set Approach 관측치들을 임의로 두 부분, training set과 test set으로 나눔 LOOCV(Leave-One-Out C-V) 하나의 관측치 \((x_1, y_1)\)가 검증셋으로 사용되고 나머지 관측치는 훈련셋을 구성 위를 n번 반복해서 n개의 MSE를 얻어서 평균치를 사용 $$CV_{(n)}=\frac{1}{n}\sum_{i=1}^{n}MSE_i$$ 검증셋 기법과 비교해 편향이 훨씬 작고 여러 번 수행해도 항상 동일한 결과가 얻어지는 장점이 있음. 모델을 n번 fitting해야 하므로 계산시간이 오래 걸린다. K-fold C-V 관.. 2023. 8. 28. Chapter 4. Classification(분류) Textbook : An Introduction to Statistical Learning (표, 그래프는 위의 textbook 참조) Logistic Regression(로지스틱 회귀) Logistic fuction $$p(X)=\frac{e^{\beta_0+\beta_1X}}{1+e^{\beta_0+\beta_1X}}$$ Odds $$\frac{p(X)}{1-p(X)}=e^{\beta_0+\beta_1X}$$ Logit(log odds) $$log\left ( \frac{p(X)}{1-p(X)} \right )=\beta_0+\beta_1X$$ Likelihood function(가능도 함수) $$l(\beta_0, \beta_1)=\prod_{i:y_i=1}p(x_i)\prod_{i':y_i'=0}.. 2023. 8. 28. Chapter 3. Linear regression Textbook : An Introduction to Statistical Learning RSS(Residual sum of squares) $$RSS=\sum_{i=1}^{n}(y_i-\hat{y_i})^2$$ $$R^2=\frac{TSS-RSS}{TSS}=1-\frac{RSS}{TSS}$$ 연습문제 풀이 1. 표의 p-value에 대응하는 귀무가설 및 결론 TV 귀무가설 : 라디오 광고와 신문 광고가 고정일 때, TV 광고는 sales에 영향이 없다. p-value < 0.05로 95%신뢰수준에서 귀무가설을 기각한다. 즉, 라디오 광고와 신문 광고가 고정일 때, TV 광고는 sales에 영향이 있다. radio 귀무가설 : TV 광고와 newspaper 광고가 고정일 때, radio 광고는 sale.. 2023. 8. 27. Chapter 2. Statistical Learning Textbook : An Introduction to Statistical Learning 연습문제 풀이 1. 더 유연한 방법 vs. 덜 유연한 방법 (a) 표본의 크기가 크고 설명 변수의 수가 작은 것 -> 표본이 크므로 더 유연한 방법 사용 (b) 설명변수의 크기가 크고 관측치의 수가 작은 것 -> 표본이 작아서 덜 유연한 방법 사용 (c) 설명변수들과 반응 변수 사이의 상관관계가 비선형적 -> 비선형적 상관관계를 가지므로 더 유연한 방법 사용 (d) 오차항들의 분산이 높다 -> 덜 유연한 방법 사용. 유연한 방법은 분산을 더 높일 수 있다. 2. 분류 or 회귀? 추론 or 예측? n과 p는? (a) 미국 내 상위 500개 회사 자료 - 각 회사 이익, 직원 수, 업종, CEO 연봉 포함. 어떤 요.. 2023. 8. 26. 이전 1 2 3 다음
